De toekomst van synthetische media.

Wat zijn synthetische media?

Synthetische media zijn verschillende media, zoals foto’s, video’s, teksten of geluidsfragmenten, die zijn gecreëerd of gemodificeerd door kunstmatig intelligente (AI) software. Dit soort AI-software kan realistische voorbeelden maken of bestaande media dermate aanpassen, dat er geheel nieuwe media ontstaan.

Het wordt mogelijk om volledig nieuwe én geloofwaardige video’s te creëren, onderling gezichten in video’s te verwisselen, iemands stem na te maken, geloofwaardige teksten te genereren en objecten in video’s of foto’s weg te poetsen alsof ze er nooit geweest zijn. Kunstmatig intelligente software wordt onze creatieve assistent. (Ps: alle foto’s in dit artikel zijn gecreëerd door AI-software)

Met dit soort software wordt het mogelijk om nieuwe ideeën te genereren op basis van bestaande voorbeelden. Dat zijn dus geen letterlijke kopieën, maar volkomen nieuwe variaties. De foto’s, video’s, teksten of geluidsfragmenten worden gecreëerd door de ‘verbeeldingskracht’ van de slimme software. AI-software wordt daarmee een ideeënmachine.

Die slimme software heeft in de afgelopen jaren steeds meer menselijke vaardigheden van ons overgenomen, zoals kijken, luisteren, spreken en lezen. En nu worden de eerste veelbelovende vervolgstappen gezet op het gebied van verbeeldingskracht.

Fotomodellen, katten en Airbnb

Bekend zijn de voorbeelden van fotomodellen, mensen, katten, CV’s of Airbnb-pagina’s die in het echt helemaal niet bestaan. Je kent misschien ook wel de deepfake-technologie waarbij het gezicht van de ene persoon wordt verwisseld met dat van een ander. En inmiddels maakt kunstmatig intelligente software ook muziek, op basis van voorbeelden die menselijke artiesten eerder bedacht hebben. Dit soort kunstmatige intelligente software is inmiddels ook in staat teksten samen te stellen op basis van bestaand materiaal. Of juist rechts-extremistische manifesten te schrijven. Sommige van die teksten (afkomstig van AI) zijn niet te onderscheiden van teksten die door mensen geschreven zijn. En er zijn ook de eerste voorbeelden van digitale avatars die moeiteloos teksten voorlezen in verschillende talen. Synthetische kunst-uitingen zijn ook zeer de moeite waard. De mens heeft daarbij een ondergeschikte rol..

Creativiteit voor iedereen

Synthetische media zullen het proces van creativiteit democratiseren en dus voor iedereen beschikbaar maken. Mensen kunnen steeds makkelijker en goedkoper zélf creatieve content maken, bijvoorbeeld video’s van hoge kwaliteit produceren met zichzelf in de hoofdrol. Verder wordt het mogelijk snel een tekst te laten genereren door een kunstmatig intelligent systeem, eventueel als eerste opzet voor een artikel of als idee voor een leuke invalshoek. Ook kun je samenwerken met dit soort AI-software om volledig nieuwe verhalen te schrijven. De auteur doet een voorzet, de machine creëert een verhaal en de auteur schaaft dat bij. Zo kan de auteur sneller en makkelijker nieuwe verhalen maken, die wellicht veel origineler zijn dan eerder, toen er geen samenwerking met kunstmatig intelligente software was. Het is nu al heel goedkoop om zelf content te maken, maar de prijs wordt alleen nog maar lager, terwijl de kwaliteit omhoog gaat. Creativiteit wordt zo een proces wat zich afspeelt tussen mens en machine.

Voorbeeld: Synthesia

Neem dit voorbeeld: Synthesia. Met deze software kun je een digitale avatar maken. De enige input is tekst. Van deze geschreven tekst maakt de kunstmatig intelligente software vervolgens een digitale avatar die jouw tekst voorleest.

Het uiterlijk van deze avatar is bijna niet van echt te onderscheiden. Enkel de synthetische stem verraadt nog het verschil met een mens van vlees en bloed.
Dit soort software zorgt voor democratisering van videoproductie. Videoproductie beschikbaar voor iedereen. Je hebt geen studio nodig, geen microfoon, geen acteurs, geen camera’s. Alles wat je maakt gebeurt op je computer. Met de snelheid waarin je normaal gesproken een e-mail schrijft, maak je dan een video met een digitale presentator.

Je kunt de software gebruiken om bedrijfspresentaties te genereren, instructievideo’s voor software te maken of het gebruiken voor interne communicatie.

Ben je een internationaal bedrijf? Dan vertaalt deze software in 39 talen. Ben je een woningbouwvereniging met meertalige huurders? Dan is deze software bijvoorbeeld ideaal om je huurders iets uit te leggen.
Je kunt deze AI-software gebruiken om geautomatiseerd van ieder product in een webshop een individuele productvideo te produceren. Of als verkoper van vastgoed van ieder appartement in een complex een unieke video produceren. Omdat de bron van input bestaat uit tekst, kun je dus ook heel makkelijk voornaam, achternaam, afdeling en dat soort gegevens verwerken en vervolgens een volledig gepersonaliseerde video maken.

Nu is videoproductie vaak nog een statisch en lineair proces. Je maakt een video ergens op locatie met een medewerker, acteur, technicus en geluidsman. Een tijdrovend proces. En niet te vergeten: alles moet er in een keer goed opstaan. En daarna is het klaar. Af. In de toekomst wordt dit anders. Wordt het produceren van video veel meer een continu proces. Verandert er inhoudelijk iets? Nieuwe video! Heb je een leuke invalshoek? Nieuwe video!

Mee-fantaserende machines

Synthetische media systemen creëren nieuwe content en creëren zo nieuwe ideeën. Ze doen oneindig creatieve suggesties (bijvoorbeeld bij het schilderen van een landschap) en maken variaties op onze eigen creatieve input, of het nu gaat om video, tekst, muziek enzovoort. In de toekomst weten we niet meer of iets is gegenereerd door een computer, is bedacht door een mens of – wat ook nog kan – daadwerkelijk heeft plaatsgevonden in de realiteit.

Bestaande werelden kunnen in de toekomst door software worden gekloond tot oneindige ‘lookalikes’: een digitale virtuele wereld. Ideaal om bijvoorbeeld zelfrijdende auto’s mee te trainen of het werk voor gamedesigners makkelijker te maken.

…. Lees mijn artikel ‘Deepfakes’, een krachtig middel voor complotbedenkers.

Het is niet moeilijk enthousiast te zijn over dit nieuwe landschap van mogelijkheden. Wij zullen als mensen op het gebied van creativiteit en innovatie steeds meer de interactie kunnen aangaan met kunstmatig intelligente machines. Op sommige vlakken zullen zij het creatieve proces enorm vergroten door met grote snelheid nieuwe ideeën te genereren. Sommige ideeën lijken in eerste instantie wellicht onnozel of zelfs hallucinogeen, maar soms zijn ze verrassend vernieuwend en inspirerend. En dan gaat het dus niet alleen over visuele input, maar ook over tekst en taal.

Supergeavanceerde auto-complete software

Een bekend voorbeeld van dit soort tekst-technologie is het taalmodel GPT-3. Het is een AI-systeem dat is getraind om zelfstandig geloofwaardige teksten te genereren. Het GPT-3 systeem kan in feite één ding heel erg goed: het volgende woord in een bepaalde zin voorspellen. Daardoor kan GPT-3 volledige teksten produceren die lijken op teksten die een mens heeft geschreven. Het computersysteem heeft daarbij overigens geen weet van de ‘betekenis’ van woorden, maar is vooral goed in het doen van woord-voorspellingen. Het is dus eigenlijk een supergeavanceerde auto-complete functie, zoals je dat als simpele versie misschien ook herkent van de woordsuggesties die je telefoon geeft, wanneer je aan het typen bent.

….Luister naar mijn podcast LTTF over synthetische media en “De digitale ideeënmachine” 

In de toekomst zullen dit soort kunstmatig intelligente systemen complete e-mailberichten voor ons gaan schrijven. Dan hoeven wij die berichten enkel en alleen nog door te lezen, voordat we ze goedkeuren, waarna het bericht kan worden verstuurd. Het is zelfs voorstelbaar dat in de wat verdere toekomst kunstmatig intelligente systemen namens ons reageren op gemakkelijk te beantwoorden e-mails. Dat klinkt nu nog futuristisch, maar de kwaliteit van dat soort GPT-3 autocomplete-software gaat met sprongen vooruit. En wie weet gaat het aanvullen van onze zinnen in e-mails, blogs en berichten op sociale media door GPT3-achtige software in de toekomst heel natuurlijk aanvoelen. Vertalen van grote stukken tekst wordt over niet al te lange termijn in dat geval nagenoeg perfect en zal vrijwel in realtime kunnen plaatsvinden. Ook behoort het schrijven van een samenvatting door AI-software, op basis van een lang artikel of een whitepaper, zeker weten tot de mogelijkheden.

GPT-3 software is inmiddels al een goede ‘hypothese creërende machine’. Zo creëert het op deze website nu al ideeën voor startups. Sommige heel onnozel, maar andere ideeën zijn weer briljant. Synthetische media systemen zijn dan als het ware mee-fantaserende machines. En er zijn nog veel meer gebieden waar we hulp gaan krijgen van kunstmatig intelligente software die content gaat maken, bedenken of aanpassen. Soms met hulp van mensen, soms redelijk autonoom.

Synthetische spraak

We zien overigens niet alleen dat generatieve AI-software wordt gebruikt bij beeld- en tekstgeneratie, maar ook bij audio. Niet alleen zien we generatieve AI-computersystemen die muziek creëren, maar zelfs de menselijke stem laat zich door AI genereren. Sommige bedrijven zijn er al in geslaagd om synthetische stemmen te genereren die niet meer van echt te onderscheiden zijn, zoals Google’s Wavenet. De robot-stem is al lang niet blikkerig en houterig meer, maar vrijwel niet meer van echt te onderscheiden. Ook is het mogelijk om je eigen stem te klonen.

Toepassingen van synthetische spraak en voice cloning: Spotifyreclame kan bijvoorbeeld snel worden gepersonaliseerd wanneer een reclame-stem ook jouw naam gebruikt. Nieuwslezers kunnen 24 uur per dag het nieuws voorlezen, zolang ze maar gevoed worden met nieuwe teksten. De stem van je dierbaren kun je klonen zodat je ook na overlijden tegen ze kunt praten via je smart speaker. Het wordt makkelijker om een audioboek uit te brengen naast je gewone boek.
Slechte scenario: Wanneer dit feilloos werkt, kun je iemand anders van alles laten zeggen in een audio fragment. Smaad, reputatieschade, chantage, identiteitsfraude.
Rapper Jay-Z heeft overigens recent nog bezwaar gemaakt tegen voice cloning video’s waarin hij zogenaamd Billy Joel’s ‘We Didn’t Start the Fire’ rapt.
Het is logisch dat voice cloning haar intrede doet in de muziekindustrie. Van artiesten zijn er immers voldoende audiosamples om slimme AI-systemen mee te trainen. Het roept wel de vraag op: is iemand eigenaar van zijn of haar eigen stem?
Dat hangt van een aantal factoren af. Of je bijvoorbeeld een publiek figuur bent of niet. En of een video bedoeld is voor satire, of je geld wilt verdienen met een nep-album of het gebruikt om iemand in een kwaad daglicht te zetten.

Gepersonaliseerde product placement

Synthetische media maken het in de toekomst mogelijk om films, video’s en games te personaliseren op basis van de gebruiker. Iedere individuele gebruiker krijgt dan specifieke beelden te zien, passend bij zijn of haar profiel. Hou je van Gucci-kleding? Dan krijg je dat te zien in een videogame. Hou je meer van duurzame Kuyichi-kleding? Dan krijg je wellicht kledingstukken van de nieuwste collectie te zien in een video die je kijkt. Hou je van BMW? Dan is de auto die gebruikt wordt in de nieuwste aflevering van ‘Homeland’ misschien wel – speciaal voor jou – een BMW. Natuurlijk is dit toekomstmuziek, maar synthetische media maken geïndividualiseerde product placement mogelijk. De kwaliteit van het creëren van content neemt toe, terwijl de prijs voor het maken heel laag wordt.

Katten gecreëerd door kunstmatige intelligentie

Digitaal gekloonde beroemdheden

Artiesten en beroemdheden maken met synthetische media software digitale versies van zichzelf: een digitale kloon of avatar die hen online kan vertegenwoordigen. Acteurs kunnen hun digitale opwachting maken in een film, zonder fysiek bij de opnames geweest te zijn. En doordat hun stem gekloond wordt, is het ook mogelijk hiermee ergens anders op de wereld voice-overs te produceren voor reclamecommercials. Een digitale chatbot beantwoordt tegelijkertijd online vragen die door fans gesteld worden, maar dan ook nog eens in de tone of voice van de beroemdheid zelf.

De digitale stemmen van beroemdheden zullen waarschijnlijk tevens door commerciële bedrijven worden ‘ingehuurd’ om persberichten, inhoudelijke rapporten of websiteteksten voor te lezen met hun karakteristieke stemgeluid. Voice cloning van beroemdheden als commerciële bedrijfstak is erg interessant, omdat het alleen in het begin een investering van tijd vraagt. Daarna kunnen beroemdheden hun stem oneindig vaak en lang uitlenen aan derden, zonder er zelf nog tijd in te hoeven investeren, terwijl ze wel de inkomsten incasseren.

Digital avatars

Digital avatars zijn digitale versies van mensen. Ze bestaan enkel en alleen in de virtuele wereld. Ze zijn, zeker aan de buitenkant, een geloofwaardige afspiegeling van het menselijk uiterlijk. In de toekomst zal de kwaliteit ervan alleen maar toenemen. Niet alleen in het uiterlijk en de manier van bewegen, maar ook in spraak en conversatie.

…Luister naar mijn podcast LTTF over “Oneindig creatieve machines“.

Overal waar we informatie opvragen, kunnen in de toekomst digital avatars zijn. Ze vertellen ons de vertrektijden van de bus, trein en vliegtuig. En ze kunnen 24 uur per dag, zowel online als op de televisie, de nieuwste berichten aan ons voorlezen. Breaking news kan worden gebracht door deze spraakrobots. Op elke moment van de dag, 24/7, lezen ze ons het weerbericht voor, nemen onze bestellingen op bij fastfood restaurant en doen op sommige plekken zelfs een korte intake. Het hoeft niet uit te maken waar je als consument bent: vanuit je luie stoel thuis, op je smartphone of op de locatie zelf.

Digital avatars kunnen worden getraind in het beantwoorden van de ‘veelgestelde vragen’, die in groten getale bij de klantenservice binnenkomen. Een groot voordeel: deze virtuele ‘medewerkers’ zijn schaalbaar en kunnen met gemak tienduizend gesprekken per minuut voeren. Ze zijn vriendelijk, dienstbaar, ze volgen altijd de protocollen, zijn nooit moe of chagrijnig, ze vermijden conflicten en leren steeds meer inlevingsvermogen aan.

De potentiële markt voor dit soort software, waarbij digitale avatars de meest gestelde vragen voor een bedrijf gaan beantwoorden, is immens. Wanneer deze software goed werkt en consumenten wennen aan het idee dat ze met een machine in gesprek te zijn, zal deze oplossing gemeengoed worden. Een gevolg is dat personeel dat voor hun werk eenvoudige vragen van klanten moet beantwoorden, daarbij gedeeltelijk of in het geheel zou kunnen worden vervangen door deze software.

Digital avatars zul je ook tegenkomen in de opleidings- en trainingsindustrie. Heeft je werkgever nieuwe software in gebruik genomen? Een Digital Avatar legt het je uit in een gepersonaliseerde video met je eigen naam, functie en soepel gesproken in je eigen taal.

Maken en aanpassen

Synthetische media bieden vele voordelen en kansen: overleden acteurs kunnen bijvoorbeeld gemakkelijker dan ooit weer ‘tot leven worden gewekt’ in nieuwe films met deepfake-achtige technologie. (Waneer er wordt gesproken over deepfakes worden vaak de video’s bedoeld waar gezichten worden verwisseld.)

…. meer weten over deepfakes? lees dan mijn rapport: “Deepfake technologie: The Infocalypse” 

Acteurs hoeven bepaalde scènes niet meer over te doen en dialogen kunnen achteraf worden aangepast. Advertenties laten zich gemakkelijk aanpassen aan meerdere taalgebieden, zodat het niet opvalt dat de Nederlands gesproken reclame vanuit het Duits is nagesynchroniseerd. Stuntmannen hoeven in films minder gevaarlijk werk te doen en historische figuren kunnen in het heden digitaal tevoorschijn komen en zo onderwijs voor leerlingen interessanter te maken.

Synthetische media zijn een nieuwe revolutie in het medialandschap. Na de opkomst van massamedia, het internet, sociale media / web 2.0 is dit de vierde mediarevolutie. Wacht niet te lang met het pakken van de kansen, zou ik zeggen…

Uitgelichte lezingen

Machines met verbeeldingskracht

1# Machines met verbeeldingskracht

Kunstmatig intelligente systemen worden onze creatieve assistent. Ze gaan ons inspireren en helpen nieuwe dingen te creëren. AI-Software als digitale ideeënmachine.

Machines met verbeeldingskracht zijn geen science fiction meer. Check deze hoog gewaardeerde lezing!

Bekijk lezing