DIY: Deepfake It Yourself

Synopsis

Iemand zijn identiteit stelen en een video opnemen waarin diegene alles zegt wat jij maar wilt zonder dat hij of zij daar ooit toestemming voor heeft gegeven. Deepfakes zijn volop in ontwikkeling. Het is niet meer iets dat alleen in films gebeurt: iedereen met een krachtige computer kan dit en het zal niet lang duren tot je ze ook op je smartphone kan maken. Op dit moment kan je al een deepfake maken met wat kennis van HTML en Javascript. Er zitten veel ethische kwesties aan deepfakes vast. Het is belangrijk als designer die met deepfakes werkt om goed na te denken over hoe en waarvoor je ze toepast en wat voor effect dat heeft op de privacy van anderen.

Inleiding

In 2017 heeft het grootste woordenboek van Engeland het woord ‘Fake news’ uitgeroepen tot woord van het jaar. De term fake news (of nepnieuws) is door Donald Trump groot gemaakt in zijn politieke campagne in 2016. Hij gebruikte de term in veel van zijn tweets en speeches om bepaalde beledigingen uit de weg te werken. Sinds 2016 is nepnieuws een term dat niet meer weg te slaan is uit de media (Van der Horst, 2018). De afgelopen twee jaar is er een nieuwe soort nepnieuws in opkomst; deepfakes. Dit is de mogelijkheid om, aan de hand van online gevonden beeldmateriaal, iemand alles te laten zeggen wat je maar wilt in een video. Ik heb een grote fascinatie voor big data en machine learning. De mogelijkheid om met deze technologie iemands gezicht te “stelen” vind ik naast technisch ook ethisch heel interessant. Mensen zijn al snel bang voor deze technologie, omdat het video’s niet meer betrouwbaar maakt. Hier ben ik het niet mee eens. Ik denk dat deze technologie veel nieuwe creatieve mogelijkheden gaat brengen, alleen zullen we ons hier wel op moeten voorbereiden.

Figuur 1: Voorbeeld van een deepfake (Buzzfeed, 2018).

Context, scope en definitie

De eerste deepfake komt uit 2017; dit was een pornografische video met het gezicht van de actrice Gal Gadot. De technologie is echter niet zo nieuw als mensen denken. In Hollywood wordt de technologie al jaren gebruikt om een digitaal gezicht op dat van een acteur te zetten (zie figuur 2). Deze technologie wordt ‘Facial Motion Capture’ genoemd (Goggin, 2019).

Figuur 2: In de film Furious 7 is het gezicht van een overleden acteur op het gezicht van zijn broer geplaatst (Giardina, 2019).

Deepfakes zijn te maken via applicaties die online beschikbaar zijn gesteld. Door middel van zelflerende algoritmes wordt een gezicht op het gezicht van een ander gezet (Van Hooijdonk, 2019).

Hoofdvraag

Op welke manier zal de deepfake technologie zich de komende vijf jaar ontwikkelen?

Deelvraag
  1. Welke technologieën zitten eraan te komen met betrekking tot deepfakes?
  2. Welke gevaren zitten er aan deepfakes?
  3. Wanneer mag je wel en wanneer mag je niet een deepfake maken?
  4. Kunnen Nederlanders deepfake beelden onderscheiden van echte beelden?
  5. Hoe makkelijk is het om een deepfake te maken?

Methode en aanpak

Aanpak

Voor dit project bleek deskresearch een van de belangrijkste onderzoeksmethodes omdat het onderwerp nog heel nieuw is. Deze methode heb ik gebruikt om de deelvragen één tot en met drie te beantwoorden (zie kopje: resultaten van het onderzoek). Om deelvraag vier te beantwoorden heb ik een online enquête afgenomen (zie figuur 3). Als laatste heb ik om deelvraag vijf te kunnen beantwoorden veel geëxperimenteerd met het maken van deepfakes (zie figuur 4, 5, 6 en 7).

Figuur 3: Resultaten van een enquête waar deelnemers moesten aangeven welke van de drie video’s wel of niet een deepfake video was. (Klik hier om de enquête te bekijken)

Figuur 4: poging om een deepfake video te maken met een algoritme-gedreven applicatie.

Figuur 5: poging om een deepfake video te maken met After Effects.

Figuur 6: screenshot van een algoritme-gedreven applicatie aan het werk.

Figuur 7: een poging om een live deepfake video te maken.

Resultaten van het onderzoek

Welke technologieën zitten eraan te komen met betrekking tot deepfakes?

Deepfakes zullen visueel beter worden en moeilijker zijn om te onderscheiden van echte video’s. Door deze verandering zal er een vraag ontstaan naar technologieën die deepfakes kunnen onderscheiden van echte video’s. Dit zou kunnen door een AI los te laten op de video’s of door deze te uploaden door middel van een blockchain om zo hun echtheid te waarborgen (Van Hooijdonk, 2019).

In de komende jaren zal er naast verbetering in het visuele aspect van deepfakes ook een verbetering komen in de audio. Er zullen tools komen die het mogelijk maken om iemand zijn stem te vervormen om bepaalde zinnen te zeggen (Neudert, 2018).

Welke gevaren zitten er aan deepfakes?

Deepfakes zorgen ervoor dat mensen minder vertrouwen hebben in video’s. Het probleem hiermee is dat dit wantrouwen ook een effect kan hebben op echte video’s. Deepfakes zijn ook makkelijk in te zetten om iemand zijn identiteit te stelen. Hiermee kunnen bijvoorbeeld politici aangevallen worden met deepfakes om hun politieke campagne tegen te werken (Villasenor, 2019).

Wanneer mag je wel en wanneer mag je niet een deepfake maken?

Nederland heeft nog geen wetgeving tegen het maken van deepfakes. Op dit moment is het dus totaal nog een ethische kwestie of het maken van deepfakes wel of niet mag (Mediawijsheid, 2019). In het begin van 2019 kwam de rijksoverheid met een campagne dat mensen alert zou moeten maken over nepnieuws. Deze campagne is bedoeld om de invloed van nepnieuws tegen te gaan tijdens de Europese verkiezingen (NOS, 2019).

Er zijn ook particulieren partijen die zich inzetten om nepnieuws tegen te gaan. Zo bestaat er een organisatie genaamd Drog dat zich inzet om de jeugd alerter te maken voor nepnieuws door in een workshop zelf nepnieuws te maken (VPRO Tegenlicht, 2018b).

Op welke manier zal de deepfake technologie zich in de komende vijf jaar ontwikkelen?

Naar verwachting zullen er meer en vooral ook betere tools online komen om deepfakes te maken. Waar het nu nog noodzakelijk is om een hele goede computer te hebben om deepfakes te kunnen maken, zal dit in de toekomst makkelijk met je smartphone kunnen. Deze ontwikkeling zal veel schade kunnen veroorzaken aan bijvoorbeeld politieke campagnes. Ook zal dit ervoor zorgen dat de overheid wetten moet gaan maken die deepfake technologie zal gaan verbieden. Nieuwe programma’s zullen nodig zijn om deepfakes en ander nepnieuws te kunnen onderscheiden van echte content.

Uitvoering en experimenten

Doel

Het doel van mijn experimenten was om een manier te vinden om mensen mee te nemen in de wereld van de deepfakes.

Experimenteren
  1. De traditionele manier

Zoals in figuur 4, 6 en 7 te zien is heb ik geprobeerd om deepfakes te maken aan de hand van algoritme-gedreven programma’s. Dit is de meest gebruikte manier om deepfakes te maken. Ook heb ik geprobeerd om ditzelfde te doen in After Effects, dit is te zien in figuur 5.

  1. Anti-deepfakes

Ook heb ik gewerkt aan een tool dat het internet veilig moet maken van deepfakes: Een cross-platform software dat strijd voor een betrouwbaar internet. Een systeem waarmee het mogelijk wordt om neppe content op het internet te onderscheiden van betrouwbare content.


Figuur 8: Schetsen uit mijn dummy voor de anti-deepfake tool.

  1. De waarde van een gezicht

Toen ik helemaal vastliep ben ik in opdracht van Leanne Wijnsma de HU-bieb ingegaan om inspiratie op te doen voor een mogelijke uitwerking. Hieronder in figuur 9 is het resultaat hiervan te zien.

Figuur 9: Schetsen uit mijn dummy over de waarde van iemands gezicht.

  1. VR chatbot

Als laatste heb ik gewerkt aan het maken van een VR-chatbot waarmee je kan praten met een deepfake van een beroemdheid (zie figuur 10).

Figuur 10: video: een chatbot gemaakt in HTML5 dat reageert op je stem.

Eindwerk

Een deepfake maken is niet meer iets van de toekomst, of iets dat alleen in Hollywood gemaakt kan worden. Iedereen kan een deepfake maken, het enige wat je nodig hebt is wat kennis van HTML5 en een computer. Ik heb een digitale tool gemaakt waarmee je iedereen zijn gezicht kan stelen door middel van 1 foto. Dit gezicht zal dan via de webcam van je computer op je gezicht geprojecteerd worden door middel van face tracking.

Figuur 11: het proces om de digitale deepfake tool te maken.

Figuur 12: een video van de digitale deepfake tool in werking.

Figuur 13: tweede video van de werking van de digitale deepfake tool.

Zelf uitproberen

Link: https://timovossen.nl/tracker/index.html

Browser: Google Chrome

Apparaat: Laptop (tablet en mobiel werkt niet!)

*belangrijk is om Google Chrome toegang tot je webcam te geven.

Evaluatie en conclusie

Het was voor mij een lang project met veel hoogte- en dieptepunten. De grootste les die ik meeneem uit dit project is dat ik moet leren sneller tevreden te zijn met mijn werk. Door het hele project heen was mijn werk nooit goed genoeg voor mij en dat zal het ook nooit gaan worden. Ik vond het ontzettend moeilijk om tevreden te zijn met mijn vooruitgang en door te kunnen gaan naar de volgende stap.

Toekomstperspectief

Het is een eng idee dat jouw gezicht niet meer alleen van jouzelf is. Het is belangrijk voor ons als designers samen met de autoriteiten in gesprek te blijven over de ethische kwesties achter deepfakes. Hoe gaan wij er samen voor zorgen dat mensen veilig beeldmateriaal online kunnen zetten en wat doen we tegen schadelijke deepfakes die dan toch online komen. Door in plaats van bang te zijn voor de technologie, het te omarmen en ons aan te passen, zal dit veel plezier en creativiteit kunnen brengen. De mogelijkheden met deepfakes gaan veel verder dan alleen nepnieuws en porno. Het is een nieuwe fascinerende techniek, ik ben benieuwd hoe het zich de komende jaren zal gaan ontwikkelen.

Bronnenlijst

Buzzfeed. (2018, April 17). You Won’t Believe What Obama Says In This Video! [YouTube]. Retrieved July 23, 2019, from https://www.youtube.com/watch?v=cQ54GDm1eL0

Giardina, C. (2019, 20 april). How ‘Furious 7’ Brought the Late Paul Walker Back to Life [Foto]. Geraadpleegd op 26 april 2019, van https://www.hollywoodreporter.com/behind-screen/how-furious-7-brought-late-84

Goggin, B. (2019, June 23). From porn to ‘Game of Thrones’: How deepfakes and realistic-looking fake videos hit it big. Retrieved July 11, 2019, from https://www.businessinsider.nl/deepfakes-explained-the-rise-of-fake-realistic-videos-online-2019-6/?international=true

Mediawijsheid. (2019, 14 januari). Zien is geloven? Zo ga je mediawijs om met deep fake. Geraadpleegd op 4 mei 2019, van https://www.mediawijsheid.nl/deep-fake/

Neudert, L. (2018, 1 oktober). The Big Question: How Will ‘Deepfakes’ and Emerging Technology Transform Disinformation? Geraadpleegd op 4 mei 2019, van https://www.ned.org/the-big-question-how-will-deepfakes-and-emerging-technology-transform-disinformation/

NOS. (2019, 11 maart). Campagne tegen nepnieuws: ‘Blijf kritisch en nieuwsgierig’. Geraadpleegd op 4 mei 2019, van https://nos.nl/artikel/2275503-campagne-tegen-nepnieuws-blijf-kritisch-en-nieuwsgierig.html

Van der Horst, H. (2018). Nepnieuws: een wereld van desinformatie. Schiedam, Nederland: Scriptum.

Van Hooijdonk, R. (2019, 12 april). Deep fakes are fake news on steroids, and we’re unsure how to fight them. Geraadpleegd op 4 mei 2019, van https://www.richardvanhooijdonk.com/en/blog/deep-fakes-are-fake-news-on-steroids-and-were-unsure-how-to-fight-them/

Villasenor, J. (2019, 14 februari). Artificial intelligence, deepfakes, and the uncertain future of truth. Geraadpleegd op 4 mei 2019, van https://www.brookings.edu/blog/techtank/2019/02/14/artificial-intelligence-deepfakes-and-the-uncertain-future-of-truth/

VPRO Tegenlicht. (2018b, 18 november). Deep fake news. Geraadpleegd op 4 mei 2019, van https://www.vpro.nl/programmas/tegenlicht/kijk/afleveringen/2018-2019/deep-fake-news.html

English Summary

Stealing a person’s identity and recording a video where he or she says everything that you want them to say without their permission. This is not something that’s only possible in movies anymore, everybody with a powerful PC can do this. Deepfakes are developing fast and it won’t be long until it would be possible to make them on you’re smartphone. At this moment it is already possible to make deepfakes with just a bit of HTML and Javascipt knowledge. There are a lot of ethical issues surrounding deepfakes. It is important for a designer that works with deepfakes to think about how and for what you will use it and what kind of effect it would have on the privacy of others.

Tags

Deepfake, AI, HTML/CSS, Javascript, Identiteit, Big data, Interactief, Privacy

 

Noot voor de redactie:

Timo Vossen

timo.vossen@student.nl

Studentnummer: 1683452

14/08/2019

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *