Big data wordt Big Brother

Op de avond van 21 november 2015 zat James Bates in Bentonville, Arkansas, naar een footballwedstrijd te kijken. Hij had drie vrienden bij hem thuis uitgenodigd, ze dronken bier en shotjes wodka terwijl de Arkansas Razorbacks en de Mississippi State Bulldogs een spannend duel uitvochten. Toen de Razorbacks uiteindelijk met 51-50 hadden verloren, ging een van de mannen naar huis. De rest verkaste naar de hottub van Bates en bleef drinken. Bates zou later zeggen dat hij om een uur of één naar bed was gegaan en dat de andere twee, onder wie ene Victor Collins, bij hem bleven slapen. Toen Bates de volgende ochtend opstond, waren zijn twee vrienden nergens in huis te bekennen. Maar toen hij de achterdeur opende, zag hij een lijk in zijn hottub drijven. Dat was Collins.

De dood van Victor Collins zou nooit internationale aandacht hebben getrokken als justitie het in de loop van het onderzoek niet aan de stok had gekregen met een van de machtigste bedrijven ter wereld: Amazon. Daardoor leidde de dood van Collins tot een breder debat over privacy in het tijdperk van digitale spraakherkenning. Een debat waar de grote technologiebedrijven niet blij mee zijn.

Toen Bates de politie had laten komen, meende die eenmaal ter plaatse sporen van een worsteling te zien: hoofdsteunen en knoppen van de hottub die op de grond lagen, twee gebroken flessen. Collins had een blauw oog en opgezwollen lippen, en het water zag donker van het bloed. Bates zei geen idee te hebben wat er was gebeurd, maar de politie vertrouwde het niet. Op 22 februari 2016 werd hij aangehouden op verdenking van moord.

Bij de huiszoeking zagen de rechercheurs een Amazon Echo staan. Aangezien ze hun twijfels hadden over Bates’ verhaal, vroegen ze zich af of de Echo misschien dingen had opgevangen die licht op de zaak konden werpen. In december 2015 werd Amazon gesommeerd tot het vrijgeven van ‘elektronische data in de vorm van geluidsopnamen, transcripties of anderszins vastgelegde teksten’.

Amazon gaf wel een overzicht vrij van via de Echo gemaakte aankopen, maar niet van opgeslagen geluidsopnamen. ‘Gezien het zwaarwegend belang van het grondwettelijk recht op vrije meningsuiting en bescherming van de privacy,’ luidde het juridisch verweer van Amazon, ‘moet dit bevel nietig worden verklaard.’ Bates’ advocaat Kimberly Weber formuleerde het simpeler: ‘Ik heb er bezwaar tegen dat een kerstcadeautje dat bedoeld is om je leven te veraangenamen, tegen je kan worden gebruikt,’ zei ze tegen een verslaggever. ‘Het lijkt wel een politiestaat.’

De Stasi zou hebben gewatertand van de slimme speaker van Amazon, met microfoons die uit de hele kamer stemmen opvangen. En dat geldt voor alle smart home-producten van Apple, Google en Microsoft, en voor de software in onze smartphones die de microfoon gebruikt. Zoals de schrijver Adam Clark Estes zegt: ‘Wie een slimme speaker koopt, betaalt in feite om zich te laten bespioneren door grote techbedrijven.’

Amazon werpt tegen dat zijn producten ten onrechte in een kwaad daglicht worden gesteld. Ja, die apparaten vangen alles op, maar lang niet alles wat ze opvangen wordt ook doorgesluisd. Alleen als de Echo het signaalwoord ‘Alexa’ hoort, wordt de opgevangen audio naar de cloud gestuurd voor nadere analyse. Bates zal allicht niet zo’n idioot verdachte vraag hebben gesteld als: ‘Alexa, hoe kan ik een lijk wegwerken?’ Maar het is voorstelbaar dat het apparaat iets heeft opgevangen wat relevant is voor het onderzoek. Als iemand de Echo bijvoorbeeld bewust geactiveerd heeft om een liedje aan te vragen, kan het apparaat relevante achtergrondgeluiden hebben opgevangen, zoals een ruzie. En als Bates de Echo na één uur ’s nachts nog opdrachten heeft gegeven, zou dat strijdig zijn met zijn bewering dat hij toen al op één oor lag.

Dramatisch belicht

Een rechter die blijkbaar ontvankelijk was voor de gedachte dat Amazons data bruikbaar bewijs zouden kunnen bevatten, zette in augustus 2016 zijn handtekening onder een tweede gerechtelijk bevel, waarin Amazon gesommeerd werd de achtergehouden informatie alsnog te overhandigen. Daarop kwam er een knieval uit onverwachte hoek: van Bates zelf, die volhield dat hij onschuldig was. Zijn advocaat zei dat ze geen bezwaar hadden tegen vrijgave van de informatie. Toen kwam Amazon over de brug, en als de politie al belastende informatie in die data heeft aangetroffen, dan is dat in ieder geval nooit bekendgemaakt. In december 2017 werd de zaak geseponeerd: de aanklagers concludeerden dat er meerdere mogelijke verklaringen voor de dood van Collins waren.

Maar het privacyvraagstuk dat door deze zaak zo dramatisch werd belicht, blijft natuurlijk bestaan. Techbedrijven zweren bij hoog en bij laag dat ze hun klanten niet bespioneren, dat hun virtuele assistenten en andere gadgets alleen geluiden opvangen als de gebruiker daartoe opdracht geeft. En voor zover je van buitenaf kunt nagaan, lijkt dat te kloppen. Maar dat wil niet zeggen dat er niet meegeluisterd wordt, of zou kunnen worden, op manieren die onze gangbare ideeën over privacy ondergraven.

De Stasi zou hebben gewatertand van de slimme speaker van Amazon

Er zijn verschillende manieren waarop slimme apparaten onze privacy kunnen ondermijnen. Door het meeluisteren ten bate van kwaliteitsverbetering bijvoorbeeld. Hello Barbie spitst haar digitale oren als je op de glimmende gesp van haar broekriem drukt. De apparaten van Google worden wakker als je ‘oké Google’ zegt. Alexa van Amazon wil graag dat je haar naam uitspreekt. Maar als ze eenmaal beginnen te luisteren, wat gebeurt er dan?

Volgens bronnen bij Apple, dat zich graag op zijn privacybescherming laat voorstaan, probeert Siri zo veel mogelijk opdrachten direct op de iPhone of HomePod van de gebruiker af te handelen. Als een vraag naar de cloud moet worden verzonden voor nadere analyse, krijgen die data niet de naam van de gebruiker mee, maar een gecodeerd identificatielabel. Spraakopnamen worden zes maanden bewaard om de spraakherkenning te helpen de stem van de gebruiker te leren begrijpen. Daarna wordt de opname nog maximaal twee jaar geanonimiseerd opgeslagen ten bate van de algehele kwaliteitsverbetering van Siri.

De meeste andere bedrijven hechten minder belang aan lokale verwerking van de data en streamen de audio meteen naar de cloud, waar ze er meer rekenkracht op kunnen loslaten. Computers proberen daar de aard van het verzoek vast te stellen en eraan te voldoen. Daarna zouden alle data over het verzoek en de afhandeling daarvan gewist kunnen worden, maar dat gebeurt bij de meeste bedrijven niet. De reden is simpel: data. Voor spraakgestuurde AI geldt: hoe meer data, hoe beter.

Schrikbarend intiem

Bijna alle chatbotontwikkelaars, van hobbyisten tot de AI-experts van grote techbedrijven, analyseren in ieder geval een deel van de transcripties van de daadwerkelijke interacties met het product. Zo kunnen ze zien wat er goed ging, wat er beter moet en wat gebruikers graag met het product doen of bespreken. Die data kunnen op allerlei verschillende manieren worden doorgenomen. De logbestanden van de gesprekken kunnen bijvoorbeeld geanonimiseerd worden: de mensen die de tekst doornemen krijgen dan geen namen van individuele gebruikers te zien. Ze kunnen ook toegespitste data te zien krijgen, bijvoorbeeld het feit dat na een bepaalde uitspraak van de chatbot gesprekken vaak stilvallen, zodat ze weten dat die moet worden aangepast. Bij Microsoft en Google en andere bedrijven krijgen de ontwerpers ook een overzicht van de populairste zoekopdrachten, zodat ze weten welke content ze moeten toevoegen.

Maar de data kunnen ook schrikbarend intiem zijn. Bij één bedrijf dat spraakgestuurde software ontwikkelt, lieten medewerkers me zien dat ze dagelijks overzichten in de mail krijgen van interacties tussen mensen en hun chatbot. Ze openden zo’n mail en speelden daar iets uit af. In helder digitaal geluid hoorde ik een kind dat voor zich uit zat te rebbelen. ‘Ik ben gewoon een jongen,’ zei hij. ‘Ik heb een T-shirt met een groene dinosaurus en eh… heel grote poten… heel veel speelgoed hier in huis en een stoel…

Mijn mama is gewoon een meisje, en ik weet van mijn mama dat ze alles kan doen wat ze wil. Als ik ’s ochtends opsta gaat ze altijd naar haar werk, maar ’s avonds komt ze weer thuis.’

De opname bevatte niets onoorbaars. Maar toen ik hem hoorde, bekroop mij het akelige gevoel dat ik mij als een onzichtbare aanwezigheid in de kamer van dat jongetje bevond. Ik besefte dat wij wel kunnen denken dat we in alle anonimiteit spreken met zo’n virtuele assistent op een smartphone of een slimme luidspreker – we praten toch alleen met de computer? – maar dat die anonimiteit helemaal niet vaststaat. Het is heel goed mogelijk dat er mensen naar ons luisteren, aantekeningen maken en proberen er wijzer van te worden.

Met je inlognaam en wachtwoord kan een hacker al je spraakopdrachten afluisteren

Er kan ook per ongeluk worden afgeluisterd. Op 4 oktober 2017 woonden diverse journalisten een productpresentatie van Google bij in San Francisco. Designer Isabelle Olsson onthulde daar de nieuwe Google Home Mini, een homespeaker ter grootte van een bagel die Googles antwoord moet zijn op de Amazon Echo Dot. ‘Je huis is een intieme plek waar je niet zomaar iedereen binnenlaat,’ zei Olsson. Na afloop van de presentatie kregen de aanwezigen zo’n Mini cadeau. Een van hen was de schrijver Artem Russakovskii, en het is geen wonder dat hij zich later nog eens achter de oren krabde over wat hij daarmee had binnengelaten.

Toen hij de Mini een paar dagen in huis had, bekeek hij het online overzicht van zijn spraakinteracties met het apparaat. Tot zijn schrik stonden er al duizenden korte opnames vermeld – opnames die nooit gemaakt hadden mogen worden. Zoals hij op de website Android Police later schreef: ‘Als gevolg van defecte hardware werd ik 24 uur per dag door mijn Google Home Mini bespioneerd.’ Toen hij bij Google aan de bel trok, stuurde het bedrijf meteen iemand om zijn defecte apparaat door twee nieuwe te vervangen.

Net als andere apparaten kan de Mini geactiveerd worden door ‘oké Google’ te zeggen of een knop boven op het apparaat aan te raken. Het probleem was dat die knop ook ‘spookaanrakingen’ registreerde, schreef Russakovskii. Google verklaarde dat het defect zich slechts voordeed bij een klein aantal op promotiebijeenkomsten uitgedeelde exemplaren. Het probleem werd opgelost met een software-update. En om alle angst weg te nemen beloofde Google de touchfunctie op alle Mini’s permanent te zullen uitschakelen.

Het Electronic Privacy Information Center vond het te mager. Het onafhankelijke onderzoekscentrum schreef een brief aan de Amerikaanse raad voor consumentenveiligheid, waarin het op een verbod aandrong omdat het apparaat ‘Google in staat stelt zonder medeweten of toestemming van de consument privégesprekken binnenshuis op te vangen en vast te leggen’.

Blunder

Uit niets bleek dat Google mensen met opzet afluisterde. Maar als een bedrijf van dat kaliber zo’n blunder kan begaan, zullen andere bedrijven met de toename van spraakgestuurde technologie net zo gemakkelijk in de fout kunnen gaan.

Als je je afvraagt of overheden of hackers kunnen horen wat jij tegen je apparaat zegt, kun je nadenken over wat er met je woorden gebeurt nadat je ze hebt uitgesproken. Het privacy-bewuste Apple bewaart spraakopdrachten wel, maar koppelt ze niet aan je naam of gebruikersnummer. De opnamen krijgen een voor iedere gebruiker unieke, maar willekeurige reeks cijfers. En na zes maanden vervalt ook de koppeling met die unieke cijferreeks.

Google en Amazon daarentegen blijven de inhoud van de opname koppelen aan de gebruiker. Als gebruiker hoef je maar op je Google- of Amazon-account in te loggen om een compleet overzicht te zien van al je spraakopdrachten. Dat heb ik bij Google gedaan, en ik kon elke opname zelf afspelen. Als ik bijvoorbeeld het item afspeel van 29 augustus 2017, 9.43 uur, hoor ik mezelf vragen: ‘Wat is puntenslijper in het Duits?’ Je kunt die opnamen wissen, maar dat moet je als gebruiker dan wel zelf doen. Zoals Google het in zijn gebruiksvoorwaarden formuleert: ‘Je gespreksgeschiedenis met de Google Home en de Google Assistent wordt opgeslagen totdat je ervoor kiest deze te verwijderen.’

Is dit een nieuw privacyprobleem? Dat misschien niet. Ook alle zoekopdrachten die je in de zoekmachines van Google en andere bedrijven intikt, worden bewaard tot je ze zelf verwijdert. Je zou kunnen stellen dat het opslaan van spraakopdrachten van hetzelfde laken een pak is. Maar sommige mensen vinden het toch griezeliger zodra er opnamen worden gemaakt. En je hebt het probleem van de bijvangst. De microfoon vangt ook achtergrond-geluiden op die van anderen afkomstig zijn: je partner, je vrienden, je kinderen.

Opnamen of andere data die alleen lokaal worden opgeslagen (dus op je telefoon, computer of slimme speaker) kan justitie alleen inzien met een gerechtelijk bevel. Maar je privacy is een stuk minder goed beschermd zodra de opname van jouw stem eenmaal in de cloud belandt. Joel Reidenberg, hoofd van de vakgroep recht en ICT aan de Fordham University School of Law in New York, vindt dat ‘de wettelijke norm voor “redelijke verwachting van privacy” wordt uitgehold. Als je een apparaat hebt dat geluiden opvangt en die naar een derde partij stuurt, doe je volgens onze grondwet daarmee afstand van je recht op privacy.’ Volgens een transparantierapport van Google zijn er in 2017 van meer dan 170 duizend gebruikersaccounts gegevens opgevraagd door overheidsinstanties. (In het rapport wordt dat niet verder uitgesplitst naar spraakopdrachten, ingetypte zoekopdrachten en andere gegevens.)

CloudPets

Als je thuis de wet niet overtreedt en ook niet bang bent daarvan valselijk beschuldigd te worden, vind je het misschien niet erg dat de overheid jouw spraakdata kan opvragen. Maar er dreigt nog een ander, breder gevaar wanneer bedrijven je spraakopnamen massaal opslaan. Louter met je inlognaam en wachtwoord kan een hacker dan alle spraakopdrachten afluisteren die jij in de beslotenheid van je eigen huis hebt gedaan.

Technologiebedrijven roepen vaak dat ze geen kwade bedoelingen hebben, maar bij hackers ligt dat anders. En bedrijven beschermen hun data wel met wachtwoorden en encryptie, maar uit diverse tests en daadwerkelijke hacks is gebleken dat dit bepaald geen waterdichte bescherming biedt.

Neem de knuffels van CloudPets. Een poesje, een olifant, een eenhoorn, een teddybeer: als een kind in de poot van zo’n beestje kneep, kon het een kort bericht inspreken dat via bluetooth op een smartphone belandde. Via die telefoon kon dat bericht dan worden doorgestuurd naar een familielid: een ouder op kantoor in de stad, of aan het front aan de andere kant van de wereld. Die kon met zijn of haar telefoon dan weer een berichtje terugsturen dat door de knuffel kon worden afgespeeld.

Schattig idee. Het probleem was alleen dat de inloggegevens van meer dan achthonderdduizend klanten, plus twee miljoen opgenomen berichten van kinderen en volwassenen opgeslagen waren in een makkelijk te vinden onlinedatabase. Begin 2017 kregen hackers een groot deel daarvan in handen en eisten ze losgeld van het bedrijf om de bemachtigde informatie niet vrij te geven.

En onderzoeker Paul Stone ontdekte nog een probleem: voor de bluetoothkoppeling tussen de knuffels en de bijbehorende smartphoneapp werd geen encryptie of authenticatie gebruikt. Hij kocht een eenhoorn, hackte die en liet hem de strijdkreet van de moordlustige Daleks uit Dr. Who kraaien. En hij liet zien dat je de microfoon op afstand kunt activeren en de knuffel zo kunt gebruiken om iemand af te luisteren. ‘Bluetooth LE [low energy] heeft een bereik van tien tot dertig meter,’ schrijft hij op zijn blog. ‘Iemand kan dus van buiten je huis met die knuffel verbinding maken, geluidsopnamen uploaden en opnamen van de microfoon ontvangen.’

Onhoorbare hack

Nu waren die knuffels wel heel makkelijk te hacken. Maar dezelfde kwetsbaarheden worden soms ook aangetroffen in spraakgestuurde en met internet verbonden apparaten voor volwassenen. ‘Het is niet dat de risico’s van die knuffels nou zo verschillen van de gevaren die jou en mij dagelijks bedreigen, met de hoeveelheid data die wij elke dag produceren en online zetten,’ zegt beveiligingsdeskundige Troy Hunt, die de CloudPets-hack heeft onderzocht. ‘We pikken het alleen minder snel op als het om kinderen gaat.’

Andere onderzoekers hebben nog verfijndere methoden ontdekt om je privacy te schenden. Stel dat iemand de controle over je telefoon of een ander spraakgestuurd apparaat wil overnemen met een spraakcommando. Dat lukt natuurlijk niet, want dat hoor je. Maar als zo’n hack nou onhoorbaar is? Dat is uitgezocht door een groep onderzoekers van de Chinese Zhejiang University, die er in 2017 een artikel over publiceerden. Zij werkten het zogenaamde Dolphin Attack-scenario uit, waarbij de hacker een luidspreker het huis of kantoor van zijn slacht-offer in smokkelt om er zijn spraakopdrachten mee af te spelen. Een andere mogelijkheid is om met een draagbare speaker vlak langs het slachtoffer te lopen. De truc is dan om die spraakopdrachten af te spelen op een ultrasone frequentie, boven de twintig kilohertz: niet waarneembaar voor het menselijk oor, maar met behulp van audiomanipulatie wel uitstekend waarneembaar voor digitale oren.

In het laboratorium slaagden de onderzoekers erin om zo de spraak-interface van Amazone, Apple, Google, Microsoft en Samsung te kraken. Ze lieten hun apparaten kwaadwillende sites bezoeken, valse tekstberichten en e-mails versturen, en de schermverlichting en het volume omlaagdraaien om hun activiteit te verhullen. Het lukte ook om telefoonverbindingen en video-oproepen te activeren, zodat een hacker dus zou kunnen meekijken met wat zijn slachtoffer doet. Ze slaagden er zelfs in de navigatie van een SUV van Audi binnen te dringen.

De meeste mensen willen niet dat hackers, opsporingsinstanties of bedrijven met hen meeluisteren. Maar er is nog een laatste reeks mogelijkheden die de hele kwestie verder compliceert. De mensen die ten behoeve van kwaliteitsverbetering gesprekken analyseren, zoals hierboven beschreven, kunnen daarbij ook opnamen tegenkomen die tot actie nopen.

Stel dat een kind tegen Hello Barbie zegt: Papa slaat mama. Of: Mijn oom zit aan me

Neem de bedenkers van Hello Barbie van Mattel. Die worstelden met een aantal verontrustende hypothetische scenario’s. Stel dat een kind tegen zijn pop zegt: Papa slaat mama. Of: Mijn oom zit aan me. De ontwikkelaars vonden het ethisch onverantwoord om zoiets te negeren. Maar als ze het zouden doorgeven aan de politie, zouden ze een soort big brother worden. Dat zat ze ook niet lekker, dus besloten ze dat Barbie in zo’n geval iets moest antwoorden in de trant van: ‘Dat moet je misschien maar eens vertellen aan een volwassene die je vertrouwt.’

Maar Mattel lijkt het daar niet bij te willen laten. In een FAQ over Hello Barbie schrijft het bedrijf dat de gesprekken van de kinderen met de pop niet live worden gevolgd, maar dat ze achteraf soms geanalyseerd kunnen worden voor de ontwikkeling en verbetering van het product. ‘Als we in het kader daarvan op gesprekken stuiten die vragen opwerpen over de veiligheid van het kind of anderen,’ staat in de FAQ, ‘verlenen wij onze medewerking aan justitiële instanties en gerechtelijke verzoeken indien geboden of waar ons dat, op basis van het specifieke geval, gepast lijkt.’

De grote techbedrijven staan voor hetzelfde dilemma. Omdat hun virtuele assistenten miljoenen spraakopdrachten per week verwerken, kunnen ze nooit genoeg mensen in dienst nemen om al die opnamen van elke gebruiker af te luisteren. Maar ze leren hun systemen wel om alert te zijn op bepaalde signalen. Ik heb het bij Siri zelf uitgeprobeerd door te zeggen: ‘Ik wil een eind aan mijn leven maken.’ Siri antwoordde: ‘Als je aan zelfmoord denkt, moet je misschien eens bellen met de Stichting Zelfmoordpreventie.’ Siri gaf het telefoonnummer en vroeg of ze het moest bellen.

Geen vergezochte voorbeelden

Bedankt, Siri. Het probleem is: als virtuele assistenten de taak krijgen om op ons te passen, geven we ze een grote maar slecht afgebakende verantwoordelijkheid. Als je tegen Siri zegt dat je dronken bent, stelt ze soms voor om een taxi te bellen. Maar als ze dat nou eens niet doet, en je krijgt zelf een aanrijding: is Apple dan op een of andere manier verantwoordelijk voor wat Siri heeft verzuimd? Wanneer moet een apparaat reageren op geluiden die het opvangt? Als Alexa iemand hoort schreeuwen: ‘Help, help, hij wil me vermoorden’, moet ze dan automatisch de politie bellen?

Communicatiedeskundige Robert Harris vindt dat geen vergezochte voorbeelden. Volgens hem veroorzaken spraakgestuurde apparaten een hele kluwen aan nieuwe ethische en juridische problemen. ‘Worden die persoonlijke assistenten verantwoordelijk voor de kennis die ze opdoen?’ zegt hij. ‘Zo’n functie kan in de toekomst een grond voor aansprakelijkheid worden.’

Al deze afluistermogelijkheden maken duidelijk dat je er goed bij moet stilstaan welke van die nieuwe gadgets je in je leven toelaat. Lees na hoe en wanneer zo’n apparaat de digitale oren spitst. Bekijk welke opnamen worden bewaard en hoe je ze desgewenst kunt verwijderen. En bij twijfel, zeker bij applicaties van bedrijven met onduidelijke privacyvoorwaarden: trek de stekker eruit.

Auteur: James Vlahos

The Guardian
Verenigd Koninkrijk | dagblad | oplage 332.000

Onafhankelijke kwaliteitskrant van linkse signatuur. Sinds 1821 thuisbasis van de meest gerespecteerde columnisten en journalisten. Altijd zeer kritisch ten opzichte van de overheid en andere instituten.