Deepfakes creëren onsterfelijkheid

“Deepfakes creëren onsterfelijkheid”

SYNOPSIS

Gedurende de studie CMD ben ik vaak tegen de termen Artificial Intelligence en Deep Learning aangelopen. Deze technologieën vind ik erg fascinerend waardoor ik hier zelf mee aan de slag wilde gaan. Toen ik de film Joker (2019) had gezien vond ik het erg jammer dat Heath Ledger (1979 – 2008), de Joker uit de film The Dark Night, deze rol niet had. Naast dat acteurs een rol spelen in een film, speelt hun gezicht ook een belangrijke rol in jouw gevoel over een film (New York Film Academy, 2014).  Wanneer een acteur komt te overlijden worden toekomstige films veelal gespeeld door een andere acteur. Met Artificial Intelligence en Deep Learning kunnen overleden acteurs opnieuw tot leven worden gewekt op het witte doek. Door middel van het maken van een deepfake heb ik Heath Ledger opnieuw tot leven gewekt als de Joker in de trailer van de film.

Heath Ledger
Joaquin Phoenix

CONTEXT, SCOPE EN DEFINITIE

Mijn fascinatie voor Artificial Intelligence en Deep Learning is ontstaan omdat de technologie zelf media kan creëren. Met behulp van krachtige hardware kan AI zelf beelden, teksten en andere synthetische media genereren (Mohamed, 2020).  Dit is iets wat ik erg interessant vind, omdat het aantoont hoe ver de mensheid is gekomen wanneer het aankomt op technologie. 

Tijdens de Amerikaanse presidentsverkiezingen in 2016 zat het internet vol met nep nieuws (de Bruin, 2019). Hoewel sommige mensen zeggen dat dit nepnieuws een marginaal effect heeft gehad op de uitkomst van de verkiezingen, is de wijze waarop het nepnieuws aangeboden wordt drastisch veranderd (Evers, 2018). Er was altijd een gezegde: “The camera never lies” maar tegenwoordig kan je met AI en Deep Learning video’s manipuleren naar alles behalve de waarheid. Deze gemanipuleerde video’s noemen we deepfakes. Wanneer deze video’s strategisch ingezet worden, kunnen ze een grote bijdrage leveren aan het verspreiden van nepnieuws en een grote impact hebben op bijvoorbeeld verkiezingen.

Deepfakes zijn gemanipuleerde video’s waarin gebruik wordt gemaakt van de technologieën: Artificial Intelligence en Deep Learning (Mohamed, 2020). Gedurende de vier jaar dat ik CMD studeer zijn de termen Artificial Intelligence en Machine/Deep Learning vaak voorbij gekomen. Hierdoor wilde ik graag zelf een keer dieper in deze technologie duiken en was het vak seminar daar een geschikte kans voor.

In dit project ben ik zelf gaan experimenteren met Artificial Intelligence & Deep Learning. Nog specifieker: met deepfakes en synthetisch gegenereerde beelden en geluid.

Maar is AI en Deep Learning niet alleen weggelegd voor academici? In dit onderzoek wil ik gaan ontdekken hoe ik zelf kan experimenteren met AI en Deep Learning zonder dat ik hier vooraf enige kennis over heb, wat ik hiermee kan maken en waar ik het voor kan gebruiken. In dit onderzoek heb ik de volgende hoofd- en deelvragen opgesteld:

Hoe ontwikkel je een deepfake video zonder kennis over AI en Deep Learning?

Om deze hoofdvraag te kunnen beantwoorden heb ik de volgende deelvragen onderzocht:

  • Wat zijn deepfakes en hoe worden ze gemaakt?
  • Wat zijn de gevaren van deepfakes?
  • Hoe herken je een deepfake video?
  • Waar kan je een deepfake video voor gebruiken?

Ik verwacht in dit project de benodigde informatie en tools voor het maken van een deepfake te kunnen vinden op het internet. Ik verwacht dat er voldoende literatuur beschikbaar is om dit project te kunnen maken.

METHODE EN AANPAK

Middels het inzetten van verschillende onderzoeksmethoden heb ik resultaten gekregen die bijgedragen hebben aan het totale creatieve proces. Ik heb gedurende het project de volgende onderzoeksmethoden toegepast: Literature Study, Expert interview en Inspiratieonderzoek. Daarnaast heb ik de gemaakte ontwerpen getest bij verschillende personen.

Literature study

Mijn project is begonnen met de vraag: “waar moet ik beginnen?” Ik ben feitelijk begonnen met het intypen van: “How to make a deepfake video” op google. Al snel kwam ik terecht bij verschillende tools die claimden een deepfake video te kunnen maken.  Zodoende kwam ik er achter dat er een verschil is tussen low-fi en hi-fi deepfake videos. Een face-swap van Snapchat of Instagram wordt ook al gezien als deepfake video (Duivestein, 2019). Ik heb er voor gekozen de low-fi tools te vermijden en aan de slag te gaan met de meer cryptische, diepgaandere tools omdat deze uitdagender en meer verdiepend zijn.

Faceswap filter op Snapchat (Marco, 2018)

Maar wat is een deepfake nou echt en hoe verhoudt zich dit dan tot AI? Deepfakes zijn een combinatie van Deep Learning en fake (Witness, 2020). Deep Learning is een onderdeel van Machine learning, dat met AI technologie het menselijke brein kan nabootsen in het herkennen en maken van patronen die beslissingen maken. Het is een onderdeel van machine learning en wordt ook wel Neural learning of deep neural networks genoemd (Hargrave, 2019).

Deepfakes kunnen echter al zonder enige kennis over de technologie gemaakt worden, dit betekent echter wel dat de kwaliteit van de deepfakes ook af zal nemen (Duivestein, 2019).

In het verleden was de deepfake-technologie alleen beschikbaar voor ontwikkelaars en academici. Vandaag de dag zijn er verschillende tools en software beschikbaar voor iedereen. Een goed voorbeeld is de app: FaceApp. (Duivestein, 2019)

Doordat de technologie toegankelijker is geworden, zijn er ook meer gevaren met zich meegekomen. Buiten entertainment doeleinden hebben deepfakes ook een duistere kant. Veel personen en celebrities zijn met deepfakes in pornografische video’s terechtgekomen (CNN, 2019). Het Amsterdamse bedrijf Deeptrace, dat zich heeft gespecialiseerd in AI, had in september 2019 ongeveer 15.000 deepfake videos online gevonden. Ongeveer 96% daarvan waren deepfakes met pornografische content erop. Volgens Danielle Citron (2019), rechtendocent aan Boston University: “Deepfake technology is being weaponised against women.” (Sample, 2020)

Gelukkigerwijze wordt de technologie ook voor goede doeleinden gebruikt. Zo heeft de stichting ProjectReVoice deepfake-technologie gebruikt voor het opslaan en klonen van mensen hun stemmen die lijden aan de ziekte ALS (Lorica, 2019). Daarnaast wordt de technologie gebruikt voor het vertalen van tekst om een boodschap bijvoorbeeld in verschillende talen te kunnen vertellen (Synthesia, z.d.). Ook in de kledingindustrie wordt de technologie gebruikt om jezelf in online kleding winkels te kunnen plaatsen en de kleding online te kunnen passen (Ma et al., 2017, pp. 1–11).

Omdat de technologie zich in een sneltreinvaart ontwikkeld, wordt de herkenning van een deepfake ook steeds moeilijker (Sample, 2020). In Oktober 2019 hebben Microsoft, Facebook en Amazon de Deepfake Detection Challenge opgezet (Deepfake Detection Challenge, z.d.). Dit is een evenement dat het onderzoek naar deepfakes en de detectie hiervan stimuleert.

Interview expert:

Naast literatuuronderzoek heb ik ook een interview gehouden met AI expert S. Leijnen van het lectoraat Intelligent Data Systems aan de Hogeschool Utrecht. Leijnen gaf de volgende definitie over deepfakes:

“Dan moet je beginnen met het woord fake, dat is makkelijk, dat is gewoon wat niet echt is. Het woord deep komt van Deep Learning vandaan. Het heet Deep Learning omdat machine learning een set is aan technieken om complexe modellen te bouwen, dat noemen we dan AI. Omdat ons brein ook een soort statistieken machine is, kan je daar dus intelligent gedrag en voorspellingen uithalen. Daar hebben we dus algoritmes voor. Een van die algoritmes zijn neurale netwerken en nou is dus gebleken dat een van de grote doorbraken van het afgelopen decennium is dat wanneer je neurale netwerken maakt met meerdere lagen, dus diepte, dat die heel goed leren en resultaten opleveren. Dat noemen we dan Deep Learning, een onderdeel van machine learning. Bij deepfakes maak je dus fake videos en daarvoor gebruik de die Deep Learning techniek. Het is een netwerk met meerdere lagen achter elkaar.” 

Inspiratieonderzoek:

Naast het literatuur- en kwalitatief onderzoek heb ik ook inspiratieonderzoek gedaan naar wat anderen hebben gemaakt met de technologie. Zo ben ik via de feedbackmomenten terechtgekomen bij de website thispersondoesnotexist. Dit is een website waarin verschillende foto’s te zien zijn van personen die niet echt zijn. Alle foto’s op de website zijn gemaakt met deepfake technologie, specifieker met GAN’s (Generative Adverserial Networks), een trainingsmethode waarin patronen herkent en gemaakt worden (Duivestein, 2019).

   

Fictief persoon via thispersondoesnotexist
Fictief persoon via thispersondoesnotexist

Via youtube ben ik terechtgekomen bij meerdere deepfake video’s waarin entertainment en comedy de doelstelling is.

Deepfake video van Barack Obama
Deepfake video van Bram Krikke in Temptation Island

Youtubers VFXChris Ume, Next Face en Ctrl Shift Face zijn drie relevante experts als het aankomt op het maken van deepfakes via dezelfde methode die in dit project wordt gebruikt.  De content van deze drie experts heb ik als inspiratiebron gebruikt voor mijn experimenten.

Synthesia gebruikt deepfakes voor educatieve doeleinden door een video in verschillende talen te kunnen afspelen.

Tot slot bestaat er ook nog iets als een duet spelen met een AI. Je begint zelf met het spelen van de muziek en de AI zal met je mee gaan spelen.

.

.

UITVOERING EN EXPERIMENTEN

De afgelopen weken ben ik aan de slag gegaan met het ontdekken van AI en Deep Learning door verschillende experimenten met de technologieën te doen. De experimenten zijn onderverdeeld in drie categorieën: Video, Audio en Afbeeldingen.

Video

Ik ben als eerste in aanraking gekomen met de open-source tool op github genaamd Deepfacelab. Dit is een tool waarmee je een training model kan maken voor het creëren van een deepfake video. De tool is een script dat je moet opstarten via Python, een programmeertaal voor applicaties. 

Interface met het codeerprogramma Pycharm en de tool DeepFaceLab

Ik ben begonnen met experimenteren tussen twee video’s met daarin twee BN’ers: Mark Rutte & Arjen Lubach.

Als eerste zijn alle frames uit de twee video’s geknipt en zijn de gezichten gecentreerd.

Hierna zijn de gezichten gescand door middel van face tracking.

Nadat allebei de gezichten uitgelijnd zijn kan de trainingsmodule beginnen met het leren van een trainingsmodel:

Dit is het resultaat na 144 iteraties, dit is na ongeveer 5 minuten het programma aangehad te hebben.
Dit is het resultaat na 120.000 iteraties, dit is na ongeveer 24 uur trainen.

Nadat het Deep Learning voor ongeveer 24 uur heeft aangestaan heb ik de beelden samengevoegd met dit resultaat:

Over de kwaliteit van de deepfake valt nog veel te twisten. Ik had van dit experiment wel geleerd welke hoeken van een gezicht ik moet vermijden bij het maken van deepfakes. Zo was mijn dataset van Rutte niet voldoende en heb ik het programma niet lang genoeg laten trainen met de juiste instellingen. Toch was dit experiment erg waardevol omdat het mij veel kennis heeft gegeven over AI en Deep Learning.

Audio

Naast deepfake video’s heb ik ook geëxperimenteerd met audio. Via github ben ik terecht gekomen bij software om je stem te kunnen klonen. Wederom is deze software alleen te bedienen via Python dus stond mij weer een uitdaging te wachten om dit werkend te krijgen.

Pycharm, programma om de python codeertaal te kunnen schrijven, lezen en uitvoeren.
Interface van Real-Time-Voice-Cloning-Master

Met deze tool heb ik een aantal audiofragmenten kunnen genereren op basis van mijn input en stem.

Ik vind de stem persoonlijk lijken op die van mijzelf. Natuurlijk merk je nog wel veel robot-achtige geluiden erdoorheen en is de intonatie niet hetzelfde. Op dit moment is het ook nog alleen mogelijk om Engelse training datasets te gebruiken hiervoor.

Afbeeldingen

Naast audio en video heb ik ook gekeken of er te experimenteren viel met het genereren van afbeeldingen en/of personen. Ik was op het idee gekomen om zelf personen te genereren op basis van alle afbeeldingen van mannen op de CMD Utrecht Facebook groep.

Ik ben begonnen met het handmatig downloaden van verschillende afbeeldingen van mannelijke leden van de groep.

Na het hebben van een grote dataset (ongeveer 250~ foto’s), heb ik de gezichten gecentreerd en dezelfde resolutie gegeven. Ik heb voor nu de gezichten geblurred in verband met privacy van de personen.

   

Na dit gedaan te hebben voor alle afbeeldingen heb ik op basis van een pre-trained model dataset de gezichten een model laten trainen. De uitkomsten waren erg verrassend.

Na 48 uur trainen

Na 6 uur trainen

Hoewel geen van deze afbeeldingen realistisch gezien op een persoon lijkt, vind ik het toch erg gaaf om te zien hoe AI en Deep Learning vormen en beelden kunnen maken die in de buurt komen van een persoon. Met betere hardware en meer tijd zouden de uitkomsten van veel betere kwaliteit kunnen zijn.

Rationale, Onderbouwing Eindproduct

Wanneer ik de film Joker (2019) had gezien kon ik alleen maar denken: “Waarom speelt Heath Ledger toch niet in deze film?”. Niks ten koste aan de Oscarwaardige prestatie van Joaquin Phoenix, maar toch vond ik de film niet compleet zonder het gezicht van de Joker uit de Batman film: The Dark Knight (2008).  Nadat ik mij weken lang gestort had op het onder de knie krijgen van kennis over AI, Deep Learning en deepfakes, was de vraag vanuit de docenten: “Wat ga je nu doen met deze kennis?”. Er bleef voor mij een vraagstuk over waar ik deepfakes voor kon gaan gebruiken. Wanneer ik onlangs de live-action-film Aladdin (2019) zag en de geest gespeeld zag worden door Will Smith, in plaats van overleden acteur Robin Williams (1951-2014), was het voor mij duidelijk. Ik ga met de opgedane kennis over deepfakes overleden acteurs opnieuw tot leven wekken in de nieuwe films waar zij voor bestemd waren. Wanneer je een bepaalde connotatie hebt met een acteur bij een rol, is het lastig van de film te genieten wanneer hij of zij vervangen is door een ander. (New York Film Academy, 2014). Door middel van een deepfake kan je deze dubbele connotatie en connectie aan een rol of karakter in een film terugbrengen.

Typecasting is the process by which a particular actor becomes strongly identified with a specific character 

Robin Williams als de geest in de film Aladdin (2019)
Origineel: Will Smith als de geest in de film Aladdin (2019)

Als eindproduct heb ik een deepfake video gemaakt met beelden uit de trailer en de film Joker (2019). In de deepfake video is Joaquin Phoenix vervangen door overleden Heath Ledger.

Conclusie

Dit project heb ik als zeer leerzaam ervaren. Hoewel ik mijzelf bij aanvang een redelijk grote uitdaging had gegeven, bleef het allemaal goed haalbaar. De gedeelde interesse in AI, Deep Learning en deepfakes met anderen op het internet is groot. Er is een grote hoeveelheid mensen actief bezig met het ontwikkelen en stimuleren van deze technologieën op het gebied van media. Hierdoor is het voor anderen die ook graag willen experimenteren hiermee erg toegankelijk.

Ik hoop dat ik mensen met mijn seminar project heb kunnen inspireren met wat er al mogelijk is op het gebied van AI en Deep Learning. Zeker voor iemand met gewoon een simpele desktop-pc is er al erg veel haalbaar. Toch blijft de hardware een belangrijke factor in het maken van media met AI en Deep Learning. Er wordt nu al aangegeven dat de huidige computerhardware op de markt de enige barrière is voor nog betere synthetische media en deepfakes. Met name op het gebied van entertainment en films voorspel ik dat er in de toekomst nog meer gebruik van AI en Deep Learning wordt gemaakt. Zo denk ik dat er in de toekomst bijvoorbeeld in films opties zijn tussen verschillende acteurs, talen en omgevingen. Wel zou je dan nog de vraag kunnen stellen of het artistieke aspect van een film dan niet in het geding komt omdat het dan veelal nep is.

Follow-up

In een vervolgproject zou ik erg graag een deepfake met de combinatie tussen audio en video willen maken. Met de huidige middelen en tijd is het voor mij alleen mogelijk de keuze te maken tussen audio óf video. Ik denk dat wanneer je deze twee combineert ze elkaar versterken en een eindproduct van hogere kwaliteit neer kan zetten. Daarnaast is het altijd belangrijk om een nog grotere uitdaging op te zoeken.

Reflectie

Middels de STARR methode reflecteer ik op de situatie die zich heeft voorgedaan dit project.

Situatie: Ik heb 8 weken de tijd gehad om een creatief onderzoek te doen naar een eigen fascinatie gedurende het seminarproject. De situatie speelde zich voor 95% af bij mij thuis. Andere betrokkenen waren testpersonen en een expert. De eerste aantal weken waren bestemd voor onderzoek waarna ik via een creatief proces tot een eindproduct werkte.

Taak: Ik heb mijzelf verdiept in de technologie Deep Learning, specifieker, deepfakes en synthetisch gegenereerde media. De rol die ik speelde was de onderzoekende, geinteresseerde CMD’er die zich graag verdiept in de technologie en kennis achter Deep Learning.

Actie: Ik heb de onderzoekende, nieuwsgierige rol aangenomen. Ik had een duidelijk beeld van wat ik wilde gaan doen en ben meteen aan de slag gegaan met onderzoeken en experimenteren. Ik reageerde erg vlot en reactief op de resultaten van het onderzoek. Op basis van de resultaten heb ik keuzes gemaakt in mijn creatieve proces en is het project in de goede banen geleid.

Resultaat: Het resultaat van mijn handelen is een goed gedocumenteerd creatief proces en onderzoeksopzet (research proposal). Het resultaat van mijn handelen heeft ook soms wat frustratie opgeleverd omdat het maken van een deepfake veel tijd vergt en door een fout veel tijd verloren kan gaan. Anderen reageerden positief op mijn resultaat waardoor ik de motivatie had om verder te gaan.

Reflectie: Ik ben tevreden met het resultaat van het project. Ik heb een creatieve zoektocht doorlopen op basis van een persoonlijke fascinatie en heb dit project als zeer leerzaam en leuk ervaren. Ik verwacht al de leerdoelen te hebben gehaald en ik hoop dat ik anderen met mijn seminar project heb kunnen inspireren. Omdat het gebruik van de desbetreffende technologie veel rekenkracht en tijd vereist is het de noodzaak om je tijd goed in te plannen en voorbereid te zijn op fouten, stroomuitval en andere onvoorziene evenementen. In het vervolg zou ik hier een beter plan voor verzinnen om zo efficient met de tijd om te gaan. Daarnaast is het thuiswerken een uitdaging voor iedereen. In een vervolgcursus zal ik mijn werkplek beter inrichten om zo min mogelijk afleiding te krijgen.

English Summary

Fascinated by the technologies Artificial Intelligence and Deep Learning I am experimenting with tools and programs available online. By doing alot of experiments I am exploring the technology to finally create my very own deepfake video. With this technology I am resurrecting a dead actor back on the screen. In this project you will find a deepfake video of the 2019 film Joker, starring the late Heath Ledger from the 2008 film The Dark Knight.

Gideon Smorenburg – 1696987

Literatuur:

Citron, D. (2019, 1 juli). How deepfakes undermine truth and threaten democracy. Geraadpleegd op 10 mei 2020, van https://www.ted.com/talks/danielle_citron_how_deepfakes_undermine_truth_and_threaten_democracy

CNN. (2019, 1 januari). Inside the Pentagon’s race against deepfake videos. Geraadpleegd op 3 mei 2020, van https://edition.cnn.com/interactive/2019/01/business/pentagons-race-against-deepfakes/

de Bruin, E. (2019, 25 januari). Vlak voor verkiezing Trump floreert het nepnieuws. Geraadpleegd op 1 mei 2020, van https://www.nrc.nl/nieuws/2019/01/25/vlak-voor-verkiezing-trump-floreert-het-nepnieuws-a3651674

Deepfake Detection Challenge (DFDC). (z.d.).  Join the Deepfake Detection Challenge. Geraadpleegd op 18 mei 2020, van https://deepfakedetectionchallenge.ai/

Duivestein, S. (2019, 5 september). Zo makkelijk is het om zelf een deepfake (of deepnude) te maken. Geraadpleegd van https://www.marketingfacts.nl/berichten/zo-makkelijk-is-het-om-zelf-een-deepfake-of-deepnude-te-maken
.

Evers, F. (2018, 3 januari). Impact van fake news is verwaarloosbaar. Geraadpleegd op 11 februari 2020, van https://www.demorgen.be/nieuws/impact-van-fake-news-is-verwaarloosbaar~b235e4f9/?referer=https%3A%2F%2Fwww.google.com%2F

Hargrave, M. (2019, 1 mei). How Deep Learning Can Help Prevent Financial Fraud. Geraadpleegd op 6 mei 2020, van https://www.investopedia.com/terms/d/deep-learning.asp

Lorica, B. M. L. (2019, 7 november). A world of deepfakes. Geraadpleegd op 6 mei 2020, van https://www.oreilly.com/radar/a-world-of-deepfakes/

Ma, L., Jia, X., Sun, Q., Schiele, B., Tuytelaars, T., & van Gool, L. (2017). Pose Guided Person Image Generation. Pose Guided Person Image Generation. Geraadpleegd van https://papers.nips.cc/paper/6644-pose-guided-person-image-generation.pdf
.
Mohamed, S. (2020, 26 maart). VIDEO: JE GELOOFT JE OGEN NIET! (En da’s maar goed ook). Geraadpleegd van https://decorrespondent.nl/11038/video-je-gelooft-je-ogen-niet-en-das-maar-goed-ook/16612373970346-ee6460c1
.
New York Film Academy. (2014, 7 juli). Avoiding Being Typecast (And How To Recover If You Are). Geraadpleegd van https://www.nyfa.edu/student-resources/avoiding-being-typecast/
.

Sample, I. (2020, 13 januari).What are deepfakes – and how can you spot them? Geraadpleegd op 3 mei 2020, van https://www.theguardian.com/technology/2020/jan/13/what-are-deepfakes-and-how-can-you-spot-them

Synthesia. (z.d.).Synthesia | AI-driven Video Generation. Geraadpleegd op 6 mei 2020, van https://www.synthesia.io/

Witness. (2020, 3 februari). Prepare, Don’t Panic: Synthetic Media and Deepfakes. Geraadpleegd op 20 mei 2020, van https://lab.witness.org/projects/synthetic-media-and-deep-fakes/

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *