Google hanteert een zerotolerancebeleid voor content waarin kinderen worden misbruikt. Maar bij het screeningproces kan weleens iets misgaan, waardoor een onschuldig persoon als misbruiker wordt bestempeld.
Toen Jennifer Watkins een bericht van YouTube kreeg waarin stond dat haar kanaal werd afgesloten, maakte ze zich in eerste instantie geen zorgen. Zelf gebruikte ze YouTube namelijk niet.
Haar zevenjarige tweelingzonen daarentegen wel: via een Samsung-tablet dat was ingelogd op haar Google-account, keken ze naar inhoud voor kinderen en plaatsten ze video’s van zichzelf waarop ze gekke dansjes deden. Enkele van de video’s waren meer dan vijf keer bekeken. Maar er was een ander soort video, van een van haar zoons, die Watkins in de problemen bracht.
‘Blijkbaar was het een video van zijn achterste,’ zegt Watkins, die de video zelf nooit heeft gezien. ‘Een klasgenoot had hem uitgedaagd om een naaktfilmpje te maken.’
YouTube, dat eigendom is van Google, heeft AI-systemen die de honderden uren aan video’s controleren die elke minuut worden geüpload. Maar bij dat screeningproces kan soms iets misgaan, waardoor onschuldige mensen als misbruiker worden bestempeld.
Grappig
The New York Times heeft ook andere voorvallen beschreven van ouders van wie het digitale leven overhoop lag nadat hun kinderen naaktfoto’s en -filmpjes hadden geüpload. De content werd door de AI-systemen van Google gemarkeerd, waarna menselijke beoordelaars aangaven dat het niet door de beugel kon. Sommige ouders werden als gevolg hiervan door de politie ondervraagd.
Het ‘naaktfilmpje’ van de zoon van Watkins werd in september geüpload en binnen enkele minuten gemarkeerd als mogelijke seksuele uitbuiting. Dat is een schending van de servicevoorwaarden van Google, met zeer ernstige gevolgen.
Watkins, een verpleegkundige uit New South Wales (Australië), ontdekte al snel dat ze niet alleen haar toegang tot YouTube, maar tot al haar Google-accounts kwijt was. Ze kon niet meer bij haar foto’s, documenten en e-mail, wat betekende dat ze geen berichten over haar werkschema kon inzien, geen bankafschriften meer kon bekijken en ‘zelfs geen thick shake kon bestellen’ via haar McDonald’s-app, waarop ze inlogde met haar Google-account.
De inlogpagina van Google liet haar weten dat haar account uiteindelijk zou worden verwijderd, tenzij ze tegen de beslissing in beroep ging. Ze klikte op een knop waardoor ze in beroep kon gaan en schreef dat haar zevenjarige zoontjes ‘billen grappig vonden’ en verantwoordelijk waren voor het uploaden van de video. ‘Ik lijd hier financieel onder’, voegde ze eraan toe.
Google heeft het algoritme ter beschikking gesteld van andere bedrijven, waaronder Meta en TikTok
Kinderrechtenactivisten en wetgevers over de hele wereld hebben er bij technologiebedrijven op aangedrongen om de onlineverspreiding van aanstootgevend beeldmateriaal te stoppen en hun platforms te controleren op dergelijk materiaal. Veel providers screenen nu door gebruikers opgeslagen en gedeelde foto’s en video’s op zoek naar beelden van misbruik die bij de autoriteiten zijn gemeld.
Google wil daarnaast ook content kunnen markeren die bij de autoriteiten nog niet bekend is. Een paar jaar geleden ontwikkelde het bedrijf op basis van bekende beelden een algoritme dat nieuwe misbruikcontent moet detecteren. Google heeft het algoritme ter beschikking gesteld van andere bedrijven, waaronder Meta en TikTok.
In het geval van Watkins stelde een medewerker dus vast dat de video problematisch was. Vervolgens heeft Google de video gemeld bij het National Center for Missing and Exploited Children, een non-profitorganisatie die fungeert als officieel meldpunt voor verdachte content. Het centrum kan de video dan toevoegen aan zijn database met bekende afbeeldingen en beslissen of deze al dan niet aan de lokale politie moet worden gerapporteerd.
Volgens statistieken van het National Center is Google een van de voornaamste melders van ‘ogenschijnlijke kinderpornografie’. Google deed vorig jaar meer dan 2 miljoen meldingen – veel meer dan de meeste digitale communicatiebedrijven. Maar minder dan Meta.
Volgens experts is het moeilijk om de omvang van kindermisbruik te beoordelen enkel op basis van de cijfers. In één onderzoek werd een kleine steekproef gedaan met gebruikers die ongepaste afbeeldingen van kinderen zouden hebben gedeeld. Datawetenschappers bij Facebook lieten weten dat meer dan 75 procent van hen ‘geen kwade bedoelingen had’. Onder de gebruikers bevonden zich tieners die intieme beelden van zichzelf stuurden naar hun partners en mensen die een ‘meme deelden van de genitaliën van een kind waar een dier in bijt, omdat ze dat grappig vonden’.
Draconische straf
Apple op zijn beurt heeft de druk weerstaan om iCloud te scannen op uitbuitingsmateriaal. Een woordvoerder wijst op een brief die het bedrijf dit jaar naar een belangengroep heeft gestuurd. Daarin staat dat Apple bezorgd is over de ‘veiligheid en privacy van onze gebruikers’ en ‘dat onschuldige partijen worden meegesleurd in dystopische sleepnetten’.
Afgelopen herfst schreef Susan Jasper, hoofd trust and safety van Google, op een blog dat het bedrijf van plan is om de procedure waarmee gebruikers in beroep kunnen gaan, aan te passen. Zo willen ze ‘de gebruikerservaring verbeteren’ voor mensen die ‘menen dat we verkeerde beslissingen hebben genomen’. Een belangrijke verandering is dat het bedrijf nu meer informatie geeft over waarom een account is geschorst, in plaats van een algemene melding over een ‘ernstige schending’. Watkins bijvoorbeeld kreeg te horen dat ze geschorst was wegens het uitbuiten van kinderen.
Hoe dan ook, de herhaalde verzoeken van Watkins werden afgewezen. Ze had een betaald Google-account, waardoor zij en haar man berichten konden uitwisselen met medewerkers van de klantenservice. Maar in die digitale correspondentie zeiden medewerkers dat de video hoe dan ook in strijd was met het bedrijfsbeleid, ook al ging het om de handeling van een onwetend kind.
Watkins vindt het oneerlijk dat zo’n draconische straf wordt opgelegd na één domme video. Ze snapt niet waarom ze van Google niet eerst een waarschuwing kon krijgen voordat haar de toegang tot al haar accounts en meer dan tien jaar aan digitale herinneringen werd ontzegd.
Na meer dan een maand van mislukte pogingen om het bedrijf op andere gedachten te brengen, nam Watkins contact op met The New York Times. Een dag nadat een verslaggever naar haar zaak had geïnformeerd, werd haar Google-account hersteld.
‘We willen niet dat onze platforms worden gebruikt om kinderen in gevaar te brengen of uit te buiten, en veel mensen willen dat internetplatforms de strengste maatregelen nemen om CSAM op te sporen en te voorkomen’, verklaarde het bedrijf. CSAM is een veelgebruikte afkorting die staat voor ‘child sex abuse material’ [content met seksueel misbruik van kinderen]. ‘In dit geval hebben we begrepen dat de aanstootgevende inhoud niet met kwade opzet is geüpload.’ Het bedrijf gaf geen antwoord op de vraag wat voor verdere stappen mensen – afgezien van The New York Times mailen – kunnen nemen als hun bezwaar wordt afgewezen.
De positie van Google is lastig als het aankomt op het beoordelen van dergelijke bezwaren, zegt Dave Willner, medewerker van het Stanford University’s Cyber Policy Center die bij verschillende grote technologiebedrijven heeft gewerkt op het gebied van vertrouwen en veiligheid. Zelfs als een foto of video van oorsprong onschuldig is, kan deze met kwade bedoelingen worden gedeeld.
‘Pedofielen delen of verzamelen foto’s die ouders met onschuldige intenties hebben genomen, gewoon omdat ze naakte kinderen willen zien,’ zegt Willner.
‘Ze nemen honderdduizenden of miljoenen beslissingen per jaar. Als je zo vaak dobbelstenen gooit, gooi je een keer mis’
‘Het is gewoon heel, heel moeilijk om op deze schaal waardeoordelen te reguleren,’ zegt Willner. ‘Ze nemen honderdduizenden of miljoenen beslissingen per jaar. Als je zo vaak dobbelstenen gooit, gooi je een keer mis.’
Hij zegt dat Watkins’ problemen met Google ‘een goed argument zijn om je digitale leven te spreiden’ en niet op één bedrijf te leunen voor zoveel diensten.
Watkins heeft uit haar ervaring een andere conclusie getrokken: ouders moeten niet hun eigen Google-account gebruiken voor de internetactiviteiten van hun kinderen, maar voor hen een eigen account instellen. Dat is ook iets wat Google aanmoedigt.
Maar ze heeft het account voor haar tweelingzoons nog niet aangemaakt. Voorlopig mogen ze nog even niet op internet.
