In Frankrijk voorziet een wetsartikel specifiek in vervolging van verspreiders van AI-gegenereerde pornografische content, die nu wordt beschouwd als ‘seksistisch cybergeweld’.
Keuze uit het archief
De AI-tool Grok heeft de functie voor het maken van afbeeldingen voor niet-betalende abonnees uitgeschakeld. De tool werd gebruikt om afbeeldingen van vrouwen te manipuleren, waarbij hun kleding werd verwijderd en ze in geseksualiseerde posities werden geplaatst.
Het besluit volgde na hevige wijdverbreide protesten, maar had eigenlijk al veel eerder genomen moeten worden. Uit dit artikel van Le Monde blijkt namelijk dat deze zorgelijke trend al zeker drie jaar aan de gang is.
Taylor Klein stond op het punt haar ingenieursstudie in het Amerikaanse Connecticut af te ronden, toen ze ontdekte dat er fake pornovideo’s van haar op internet circuleerden. ‘Die video’s werden duizenden keren bekeken. Toen ik die avond naar bed ging, stortte ik in. Ik voelde me heel vies (…) Ik had het gevoel dat iemand me probeerde te straffen,’ vertelt de jonge vrouw in de documentaire Another Body, die eind oktober in de Verenigde Staten is uitgebracht.
Meer dan een uur lang volgen regisseurs Sophie Compton en Reuben Hamlyn de strijd van Klein en haar zoektocht naar de ware toedracht achter deze video’s sinds haar leven op zijn kop werd gezet door pornografische deepfakes. Foto’s en video’s worden gemaakt of aangepast met behulp van kunstmatige intelligentie (AI) en beelden vrouwen zonder hun toestemming af in erotische situaties.
De zaak van Taylor Klein – die haar verhaal doet onder een valse naam – laat zien dat deze snel groeiende vorm van seksistisch cybergeweld niet alleen is gericht op filmactrices, zangeressen en politici. Onlangs waren er berichten over dergelijke voorvallen met doorsneetienermeisjes, in een klein stadje in Zuid-Spanje en op Amerikaanse middelbare scholen. Door de sprongen die AI de afgelopen jaren heeft gemaakt – met steeds realistischer deepfakes tot gevolg – is ook het profiel van de slachtoffers veranderd. En hun aantal is geëxplodeerd.
‘We hebben meer deepfakes van dit meisje nodig: ik ken veel mensen die er veel geld voor zouden betalen’
De Amerikaanse analist Genevieve Oh werkt al een aantal jaar aan het kwantificeren en in kaart brengen van online pornografische deepfakes. Recentelijk, in het derde kwartaal van 2023, telde de statisticus een totaal van 276.149 van dergelijke video’s. Ze zijn eenvoudig toegankelijk op het traditionele web en voor het merendeel te vinden op een handvol pornografische sites die aan deze beelden zijn gewijd.
MrDeepFakes, over wiens duistere banden met de kunstmatige media Le Monde vorig jaar al berichtte, blijkt nog steeds het populairste portaal te zijn, met 1,3 miljard cumulatieve views. Over het geheel genomen blijft de activiteit op de tien populairste sites groeien: dit jaar rouleren er twee keer zo veel video’s als vorig jaar. Ze werden meer dan 4,2 miljard keer bekeken, wat betekent dat het publiek vier keer groter is dan in 2019.
Seksuele deepfakes worden ook gehost op traditionele pornoplatforms. Hoewel de meeste, zoals die van de MindGeek-groep (Pornhub, RedTube en YouPorn), deze inhoud verbieden en gebruikers die op zoek zijn naar deepfakes waarschuwen voor mogelijke illegale activiteiten, blijven de Franse sites XVideos en XNXX ze verspreiden, ontdekte Le Monde. De sites reageerden niet op verzoeken om commentaar.
Deepfakes worden ook heimelijker verspreid, op gesloten servers van de app Discord, op besloten Telegram-kanalen of via minder bekende berichtendiensten zoals Kik. In ruil voor cryptovaluta bestellen internetgebruikers deepfakes van publieke figuren of bekenden bij gespecialiseerde leveranciers. ‘We hebben meer deepfakes van dit meisje nodig: ik ken veel mensen die er veel geld voor zouden betalen’, schrijft een gebruiker op een forum.
Maar het gaat niet alleen over obscure praktijken of verborgen materiaal. Simpele zoekopdrachten op Google volstaan om pornografische deepfakes te vinden. Zo ook kun je online makkelijk leren hoe je zelf pornografische deepfakes kunt maken.
Op mainstream netwerken zijn er zelfs advertenties die nudifiers aanprijzen, apps die de kleding van een gefotografeerde persoon kunnen ‘verwijderen’, tot groot ongenoegen van mensen die zonder hun toestemming – en soms zonder hun medeweten – zijn gefotografeerd. Ze moeten veel moeite doen om hun foto’s te laten verwijderen. De Franse journalist Salomé Saqué, slachtoffer van dergelijke pesterijen op Instagram, stelde op zaterdag 2 december deze praktijken aan de kaak in Le Monde.
Amendement
Veel van de slachtoffers zijn vrouwen die online content creëren. Eerder dit jaar zagen de Noord-Amerikaanse streamers Pokimane en QTCinderella hoe Atrioc, een van hun tegenhangers, live op Twitch een pornografische site met video’s van hen liet zien. In Frankrijk hekelde streamer Maghla in oktober 2022 op Twitter wat haar was overkomen; haar hoofd was gemonteerd op de lichamen van pornoactrices. In een video die kort daarna werd gepubliceerd, klaagde youtuber Juju Fitcats: ‘Mensen beleven er kennelijk plezier aan om er urenlang aan te werken om mij van mijn kleren te ontdoen en me van nepborsten te voorzien (…). Ze gebruiken content die ik zelf heb geplaatst om nepnaaktfoto’s van te fabriceren.’
Meer recentelijk kaartte influencer Lena Situations het onderwerp aan in een vlog, nadat ze online een nepfoto van zichzelf had gezien. ‘Het is verschrikkelijk, er zijn zoveel meiden op het internet die dit moeten meemaken,’ zegt ze. De drie contentmakers reageerden niet op verzoeken om commentaar van Le Monde.
Naar aanleiding van deze verhalen werd Jean-Noël Barrot, staatssecretaris Digitale Transitie, door een aantal internetpersoonlijkheden gevraagd te reageren. Hij vertelde een aantal van hen te hebben gesproken. Barrot, die al enige maanden werkt aan het wetsvoorstel ‘Beveiliging en Regulering van de Digitale Ruimte’ (SREN), heeft samen met senator Alexandra Borchio-Fontimp (van Les Républicains) een amendement over pornografische deepfakes aan het voorstel toegevoegd.
Het amendement zal het volgens het Wetboek van Strafrecht strafbaar maken om ‘pornografische deepfake onder de aandacht te brengen van het publiek of derden’. Daarop staat twee jaar gevangenisstraf plus een boete van 60.000 euro, en maximaal drie jaar gevangenisstraf plus een boete van 75.000 euro als de beelden worden verspreid ‘met behulp van openbare online communicatiediensten’, zoals sociale media of videosharingplatforms. Het wetsvoorstel werd half oktober in eerste lezing aangenomen door de Nationale Assemblee – het Franse parlement – en zal in december in zijn geheel worden bestudeerd door de commissie Gelijke Behandeling. Na een laatste stemming kan Frankrijk een van de eerste landen ter wereld worden die beschikken over wetgevende middelen om dit soort deepfakes te bestrijden.
Daarmee zijn de zorgen echter niet verdwenen. Laure Salmona, directeur van Féministes contre le cyberharcèlement [Feministen tegen cyberpesten] en coauteur van Politiser les cyberviolences. Une lecture intersectionnelle des inégalités de genre sur Internet [Politisering van cybergeweld. Een intersectioneel essay over online genderongelijkheid], hoopt dat de ‘criminalisering’ van deze seksistische foto’s en video’s gepaard zal gaan met ‘echte politieke wil’. De expert roept op tot betere training van politieagenten en wijst erop dat slechts 3 procent van de klachten over online geweld leidt tot vervolging, volgens een onderzoek dat Ipsos in 2022 deed in opdracht van haar vereniging.
Het dochterbedrijf van Alphabet wijst erop dat er voor slachtoffers manieren bestaan om deze afbeeldingen en duplicaten ervan uit de zoekmachine te verwijderen
Laure Salmona wil ook platforms zoals Telegram, Reddit en X ‘verantwoordelijk maken’. Zij spelen volgens haar indirect een katalyserende rol in de verspreiding van deze beelden, door slechte moderatie. Op vragen van Le Monde over het bestaan van een Discord-server gewijd aan de handel in pornografische deepfakes, zegt een woordvoerder van dat bedrijf dat het kanaal in kwestie is verwijderd, dat Discord ‘proactieve en reactieve’ moderatietools gebruikt en dat het in bepaalde gevallen samenwerkt met relevante autoriteiten.
Google verdedigt zich op dezelfde manier. ‘Onlangs zijn we begonnen met specifieke verbetering van de ranking die de zichtbaarheid van expliciete deepfakes aanzienlijk beperkt voor zoekopdrachten die niet gericht zijn op dit materiaal, en we zullen de verbeteringen de komende maanden blijven doorvoeren,’ aldus een woordvoerder van het Amerikaanse bedrijf in een e-mail. Er is echter geen sprake van dat verwijzingen naar deze content volledig zullen worden gestopt, aangezien het bedrijf het als zijn primaire missie ziet om ‘toegang tot informatie te maximaliseren’. Het dochterbedrijf van Alphabet wijst erop dat er voor slachtoffers manieren bestaan om deze afbeeldingen en duplicaten ervan uit de zoekmachine te verwijderen.
Maar in werkelijkheid blijft een groot deel van de links naar sites als MrDeepFakes online staan, en wordt er probleemloos naar doorverwezen door niet alleen Google maar ook door Microsoft, Bing en Yahoo. Het SREN-wetsvoorstel, dat zich meer richt op de verspreiding dan op de creatie van deze deepfakes (want als de auteur van dergelijke inhoud deze privé houdt, wordt hij of zij niet vervolgd), houdt zich slechts in beperkte mate bezig met deze sites en de diensten die ze promoten.
Desgevraagd verwijst Jean-Noël Barrot naar de Digital Services Act (DSA) van de Europese Unie, die eind augustus van kracht werd. ‘Deze regelgeving verplicht platforms om illegale inhoud die bij hen wordt gemeld te verwijderen,’ aldus de minister. ‘Aangezien pornografische deepfake illegaal is, zoals we samen met het parlement en de Senaat hebben besloten, is het aan de platforms om deze inhoud te verwijderen.’
Op dit moment is de DSA alleen van toepassing op negentien grote platforms, maar dat bereik moet begin volgend jaar uitgebreid worden. Maar, zegt Laure Salmona, ‘het is nu al tijd om te handelen. We zien in welke mate dit alles versnelt door generatieve AI, en hoe voor veel te veel mensen een extreem vijandige digitale sfeer wordt gecreëerd’.