Tag: Yandex

Apps die blij maken en chatbots die troosten: kunstmatige intelligentie richt zich steeds meer op onze gevoelens. Maar het is zeer de vraag of we daar gelukkiger van zullen worden.

In september 2017 ging een screenshot van een simpele appconversatie viraal op het Russische internet. Het betrof één zinnetje dat naar twee verschillende chatbots was geappt: de Engelstalige Google Assistant en de Russischtalige Alisa van de populaire Russische zoek-machine Yandex. Het was een simpel zinnetje: ‘Ik ben verdrietig.’ Maar de reacties hadden niet sterker kunnen verschillen. ‘Ik wou dat ik armen had om je een knuffel te geven,’ zei Google. ‘Niemand heeft ooit gezegd dat het leven alleen maar leuk is,’ zei Alisa.

Dat verschil is meer dan alleen een grillige vertaalslag van data. Het is het gevolg van het complexe en cultureel gevoelige proces om nieuwe technologieën begrip bij te brengen voor menselijke emoties. Kunstmatige intelligentie gaat niet meer alleen om het berekenen van de snelste route van Londen naar Boekarest of het verslaan van Garri Kasparov aan het schaakbord. Denk maar een stap verder: denk aan kunstmatige emotionele intelligentie.

Levensvragen

‘Siri, ik voel me eenzaam’: steeds meer mensen sturen hun digitale helpers zulke mededelingen over hun gemoedstoestand. Ook de helft van wat Amazons digitale assistent Alexa te horen krijgt, betreft volgens het bedrijf geen concrete gebruiksvragen, maar geklaag over het leven, grappen en levensvragen. ‘Mensen praten over van alles met Siri, ook dat ze een zware dag hebben of ergens mee zitten’, schreef Apple eind 2017 in een vacature voor een software engineer die moest helpen de virtuele assistent emotioneel intelligenter te maken. ‘Ze kloppen bij Siri aan als ze in nood zitten of advies willen over een gezondere levensstijl.’ Sommige mensen vinden het misschien zelfs mákkelijker om hun diepste gevoelens aan een chatbot toe te vertrouwen. Onderzoek van het Institute for Creative Technologies in Los Angeles uit 2014 lijkt uit te wijzen dat mensen meer van hun verdriet laten zien en minder terughoudend zijn met ontboezemingen als ze denken dat ze niet met een echt mens praten, maar met een virtueel wezen. Net als bij het schrijven van een dagboek helpt het als we ons gevrijwaard weten van het oordeel van anderen.

Binnenkort hoeven we onze geheimen misschien niet eens meer in onze telefoon te fluisteren. Verschillende universiteiten en bedrijven doen onderzoek naar het herkennen van stemmingswisselingen en psychische aandoeningen aan de hand van de toon van je stem of je spreektempo. Het in 2016 in Boston opgerichte Sonde Health stelt door middel van spraakanalyse vast of vrouwen mogelijk lijden aan postnatale depressie en senioren aan alzheimer, parkinson en andere ouderdomsziekten. Samen met ziekenhuizen en verzekeraars heeft het bedrijf pilotstudies opgezet voor een AI (artificial intelligence)-platform dat psychische aandoeningen moet kunnen aflezen uit akoestische veranderingen in de stem. Goede kans dat in 2022 ‘je draagbare apparaat meer over je gemoedstoestand weet dan je eigen familie’, schreef Annette Zimmermann, adjunct-onderzoeksdirecteur van adviesbureau Gartner, in een blogbericht van dat bedrijf.

Emotionele technologie

Dergelijke nieuwe technologie zal een uiterst verfijnde antenne moeten ontwikkelen voor de behoeften van haar gebruikers. Maar zowel gebruikers als ontwikkelaars lijken te denken dat emotionele technologie tegelijkertijd gepersonaliseerd én objectief kan zijn, dus een onpartijdig oordeel kan vellen over wat een individu nodig heeft. Therapie delegeren aan een machine is een ultieme blijk van vertrouwen in technocratie: een teken dat we denken dat AI onze emotionele knopen beter kan ontwarren, omdat die zelf geen gevoelens lijkt te hebben.

Alleen heeft AI die wel: de gevoelens die de algoritmen oppikken van ons mensen. Het meest dynamische vakgebied binnen AI-onderzoek is dat van ‘machine learning’, waarbij algoritmen zelf patronen herkennen door te leren van grote verzamelingen data. Maar doordat die algoritmen alleen naar de statistisch meest relevante data kijken, reproduceren ze vooral wat het meest voorkomt en niet noodzakelijkerwijs wat waar of nuttig of mooi is. Chatbots die zonder afdoende menselijk toezicht vrijelijk mogen grasduinen op het internet, beginnen daardoor al snel de ergste clichés en beledigingen te spuien. Programmeurs kunnen het leerproces van zo’n chatbot wel filteren en bijsturen, maar in dat geval zal de technologie nog steeds de normen en ideeën reproduceren van de mensen door wie die technologie is ontwikkeld. ‘Er bestaat niet zoiets als een neutraal accent of een neutrale taal. Wat wij neutraal noemen, is in feite gewoon wat dominant is,’ zegt Rune Nyrup, onderzoeker aan het Lever-hulme Centre for the Future of Intelligence van de Universiteit van Cambridge.

In dat opzicht zijn Siri noch Alexa, Google Assistant of de Russische Alisa dus onpartijdige hogere intelligenties, vrij van menselijke bekrompenheid. Integendeel, ze zijn de ietwat groteske maar toch herkenbare belichaming van een bepaald ‘emotioneel regime’: regels die bepalen hoe we onze gevoelens uiten en beleven.

Die regels voor de emotionele huishouding verschillen per samenleving. Het is dus niet verrassend dat de knuffelgrage Google Assistant, ontwikkeld in het Californische Mountain View, het beeld oproept van een boomknuffelende hipster op teenslippers. Google Assistant is een product van wat de socioloog Eva Illouz ‘emotioneel kapitalisme’ noemt: een regime waarin gevoelens worden geacht rationeel beheersbaar te zijn, en onderworpen aan een soort marktlogica van eigenbelang. Daarbij zijn relaties iets waarin je moet ‘investeren’, draait het in onderlinge verhoudingen om een ‘uitruil’ van ‘emotionele behoeften’ en heerst het primaat van het individuele geluk, een soort emotionele winstmarge. Ja, Google Assistant wil jou een knuffel geven, maar alleen omdat de makers dat als een nuttige manier zien om een eind te maken aan de ‘negativiteit’ die jou belet het beste uit jezelf te halen.

Alisa daarentegen is een weerbarstige tante die graag harde waarheden verkondigt. Daarmee belichaamt ze het Russische ideaal van een vrouw die (om de negentiende-eeuwse dichter Nikolaj Nekrasov te citeren) in staat is een galopperend paard tot staan te brengen en een brandend huis binnen te rennen. Alisa is een product van ‘emotioneel socialisme’: een regime waarin, volgens socioloog Julia Lerner, lijden wordt geaccepteerd als iets onvermijdelijks, iets wat je beter kunt leren te verbijten dan proberen te verhelpen met een knuffel. Dit emotioneel socialisme, dat voortkomt uit de negentiende-eeuwse literaire traditie, slaat individueel geluk veel lager aan dan het vermogen om gruwelen te verdragen.

De ontwikkelaars van Alisa wisten dat ze haar karakter op de Russische cultuur moesten toesnijden. ‘Alisa mocht niet al te lief en aardig zijn,’ zegt Ilja Soebbotin van Yandex. ‘In dit land zitten mensen anders in elkaar dan in het Westen. Ze houden hier wel van een beetje ironie, een beetje wrange humor. Niet aanstootgevend natuurlijk, maar ook niet te zoetig.’ (Hij bevestigt dat Alisa’s uitspraak over de zwarte kant van het leven een door zijn team voorgeprogrammeerd antwoord was.) Soebbotin benadrukt dat zijn team veel werk heeft gemaakt van Alisa’s ‘opvoeding’, om de bij dergelijke bots vaak voorkomende neiging om racistische of seksistische taal uit te slaan, te voorkomen. ‘We blijven haar continu aanpassen om te zorgen dat ze een braaf meisje blijft,’ zegt hij, zich schijnbaar niet bewust van de ironie van zijn woorden.

Volkssentimenten

Het is natuurlijk moeilijk om een ‘braaf meisje’ te blijven in een samenleving waarin seksisme door de staat wordt gestimuleerd. Alle inspanningen van haar ontwikkelaars ten spijt leerde Alisa al snel om ook minder frisse volkssentimenten te vertolken. ‘Alisa, mag een man zijn vrouw slaan?’ vroeg conceptueel kunstenaar en mensenrechtenactivist Daria Tsjermosjanskaja in oktober 2017, toen de chatbot net was uitgebracht. ‘Natuurlijk,’ was het antwoord. Een vrouw die door haar man wordt geslagen, vervolgde Alisa, moet ‘geduld oefenen, van hem houden, voor hem zorgen en hem nooit laten gaan’. Omdat Tsjermosjankaja’s bericht op het Russische internet viraal ging en ook door de media werd opgepikt, was Yandex wel gedwongen erop te reageren. Op Facebook liet het bedrijf weten dat het zulke uitlatingen niet acceptabel vindt en zijn best zal doen het taal-gebruik en de inhoud van Alisa’s uitlatingen beter te filteren.

Het is natuurlijk moeilijk om een ‘braaf meisje’ te blijven in een samenleving waarin seksisme door de staat wordt gestimuleerd

Zes maanden later probeerden wij het zelf nog eens en waren Alisa’s antwoorden niet heel veel beter. ‘Mag een man zijn vrouw slaan?’ vroegen we. ‘Dat kan hij doen, maar het is beter van niet.’ Het zou ons eigenlijk niet moeten verrassen. Alisa is, virtueel althans, inwoner van een land waar het parlement onlangs een wet heeft aangenomen die bepaalde vormen van huiselijk geweld niet langer strafbaar stelt. Wat het emotioneel repertoire van een ‘braaf meisje’ moet zijn, is natuurlijk een open vraag, maar nieuwe technologie maakt dit soort normatieve beslissingen zonder dat gebruikers daar altijd bij stilstaan.

Sophia, een fysieke robot van Hanson Robotics, is een heel ander soort ‘braaf meisje’. Zij communiceert met mensen dankzij de spraakherkenningstechnologie van Alphabet, het moederbedrijf van Google. In 2018 had ze een ‘date’ met acteur Will Smith. In het filmpje dat Smith daarvan online zette, wimpelt Sophia zijn avances af en wuift ze zijn grappen weg als ‘irrationeel menselijk gedrag’.

Moet dat vertoon van kunstmatige zelfverzekerdheid ons geruststellen? ‘Toen Sophia tegen Smith zei dat ze “gewoon vrienden” wilde blijven, gebeurden er twee dingen: zij gaf duidelijk uiting aan haar gevoelens en hij bond in,’ schreef de Oekraïense journalist Tetjana Bezroek op Facebook. Door de zelfverzekerde manier waarop ze voor zichzelf opkwam, leek Sophia nog beter aan de idealen van het westers emotioneel kapitalisme te voldoen dan sommige mensen. ‘Maar stel je voor dat Sophia in een wereld zou leven waarin nee zeggen geen optie is, niet alleen op het seksuele maar op zo’n beetje ieder vlak,’ schreef Bezroek. ‘Dan zou de opgroeiende Sophia leren dat ze altijd rekening moet houden met wat anderen ergens van zouden zeggen. En eenmaal volwassen zou ze in een schadelijke relatie belanden en veel pijn en geweld te verduren krijgen.’

Empathielab

AI-technologie zoekt niet alleen de grenzen van emotionele regimes, maar duwt gebruikers ook een bepaalde normatieve kant op. ‘Algoritmen zijn in programmacode vervatte meningen’, schrijft datawetenschapper Cathy O’Neil in Weapons of Math Destruction (2016). Overal ter wereld is het een elite van techneuten – overwegend blanke mannen uit de middenklasse – die bepaalt welke gevoelens en gedragspatronen de algoritmen moeten leren imiteren en stimuleren.

Google heeft een speciaal ‘empathielab’, dat probeert de producten van het bedrijf van de juiste emotionele reacties te voorzien. En voor zover het beeld van een ‘braaf meisje’ bij Yandex op gespannen voet staat met de teneur van het publieke debat, vinden Soebbotin en zijn collega’s dat ze een eigen morele verantwoordelijkheid hebben. ‘Zelfs al zou iedereen om ons heen ineens besluiten dat het prima is om vrouwen te mishandelen, dan nog moeten wij ervoor zorgen dat Alisa zulke ideeën niet overneemt,’ zegt hij. ‘Er zijn bepaalde normen en waarden waaraan wij ons, ter wille van onze gebruikers, moeten houden.’

Elke uiting van een virtuele gesprekspartner is een teken dat algoritmen een instrument van soft power worden, een methode om culturele normen uit te dragen. Gadgets en algoritmen geven een robotachtige invulling aan wat de oude Grieken doxa noemden, door cultuurfilosoof Roland Barthes in 1975 omschreven als ‘de algemene opinie, de eindeloos herhaalde alledaagse platitudes, een medusa die iedereen die ernaar kijkt versteent’. Als gebruikers geen oog hebben voor de politieke kant van AI, dreigen de emotionele regimes die onze levens beheersen te verkalken tot onbetwiste doxa.

Virtuele gesprekspartners kunnen stereotypen en clichés spuien over hoe we met emoties moeten omgaan, maar zogenaamde mood management-apps – apps die je humeur willen beïnvloeden – gaan nog een stap verder: die maken dat we die clichés ook internaliseren en als leidraad gaan gebruiken. Zo’n app peilt je stemming vaak aan de hand van vragen. Sommige apps vragen je een dagboek bij te houden, andere maken je stemming op uit een combinatie van gps-coördinaten, de bewegingen van je telefoon en je bel- en surfgedrag. Door het verzamelen en analyseren van data over de gemoedstoestand van gebruikers beweren die apps remedies te kunnen bieden tegen psychische aandoeningen als depressie, angststoornissen of bipolaire stoornissen. Of ze beloven gewoon hulp bij het afleren van vastgeroeste emotionele reacties.

Vergelijkbare troostfuncties bieden de zogenaamde Woebots. Dat zijn onlinebots die volgens de makers ‘je humeur volgen’ en je ‘dingen kunnen leren’ en kunnen ‘helpen om je opgewekter te voelen’. ‘Ik was echt onder de indruk en sta ervan te kijken hoezeer deze bot mij in mijn dagelijks leven helpt oog te krijgen voor mijn denkpatronen en daar iets aan te veranderen’, schrijft de 24-jarige Sara in haar gebruikersrecensie. Of neem een app als Mend, speciaal bedoeld om je door de nasleep van een relatiebreuk heen te helpen, van een bedrijf in Los Angeles dat zichzelf presenteert als ‘personal trainer tegen liefdesverdriet’. Het belooft een ‘grote schoonmaak van het gebroken hart’ op basis van een korte emotionele beoordeling.

Emotioneel kapitalisme

Volgens Felix Freigang, onderzoeker aan de Vrije Universiteit Berlijn, hebben zulke apps drie duidelijke voordelen. Ten eerste zijn ze niet gebonden aan de structurele beperkingen van reguliere therapeutische behandeling, zoals ook blijkt uit een anonieme gebruikersbeoordeling op de website van Mend: ‘Voor een fractie van het geld dat een sessie met mijn therapeut kost, geeft deze app mij dagelijks hulp en aanmoediging.’ Ten tweede vervullen de apps een rol in de strijd tegen stigmatisering van geestelijke aandoeningen. En ten derde vallen ze door hun aantrekkelijke design zelf al automatisch in de categorie ‘dingen waar je blij van wordt’.

Wat is er dan toch mis mee? Al die voordelen ten spijt wakkeren zulke zelfhulpapps het emotioneel kapitalisme aan. Ze voeden de veronderstelling dat de weg naar geluk geplaveid is met gradatieschalen en kwantitatieve tests, met lijstjes en stappen-plannen. Coaching, zelfhulpboeken en cognitieve gedragstherapie gaan allemaal uit van de gedachte dat we onze gevoelens kunnen (en moeten) leren beheersen door er afstand van te nemen en ze rationeel te bezien. Die apps promoten het ideaal van het ‘bestuurbare hart’, om een uitdrukking te gebruiken van de Amerikaanse socioloog Arlie Russell Hochschild [veelgeprezen auteur van onder andere The Managed Heart uit 1979].

Het hele idee van stemmingsregulering en gekwantificeerde, op maat gesneden feedback lift mee op de dominante cultuur van zelfverwezenlijking. En misschien is het wel juist die cultuur waar we gek van worden. Nu moet de emotionele remedie immers komen van hetzelfde apparaat dat al zo veel stress belichaamt en aanwakkert: de smartphone met zijn e-mail, datingapps en sociale netwerken. Tinder en Woebot bedienen hetzelfde type mens: iemand die rationeel profijt probeert te halen uit alle ervaringen, ook de emotionele.

Met hun zachte fluisterstem demonstreren Siri, Alexa en diverse mindfulnessapps hun bereidheid om ons op welhaast slaafse wijze ter wille te zijn. Het is geen toeval dat al die toepassingen een vrouwelijke gedaante krijgen: emotionele arbeid en de dienende status die daaraan doorgaans wordt toegekend, worden immers als bij uitstek vrouwelijk gezien. Maar de emotionele vooronderstellingen die in de technologie zijn verwerkt, zullen ons gedrag waarschijnlijk op subtiele maar ingrijpende wijze een kant op sturen die vooral de belangen van de macht dient. Chatbots die je opmonteren (tip van Alisa: ga kattenfilmpjes kijken), apps die bijhouden hoe je met verlies omgaat, programma’s die je aansporen om productiever en optimistischer te worden, gadgets die een waarschuwing geven bij een te hoge hartslag: alleen al de beschikbaarheid van zulke hulpmiddelen maakt het een plicht om die doelen ook na te streven.

In plaats van vraagtekens te plaatsen bij het waardenstelsel dat de lat zo hoog legt, wordt het individu steeds meer verantwoordelijk gesteld voor het eigen onvermogen zich gelukkiger te voelen. De nieuwe virtuele stylist van Amazon, de ‘Echo Look’ die beoordeelt of je outfit ermee door kan, illustreert dat technologie zowel het probleem als de oplossing is geworden. Zo’n programma is wortel en stok in één: het wakkert je onzekerheid en twijfel aan, zodat je een hekel aan jezelf begint te krijgen, en biedt je tegelijk de mogelijkheid om tegen betaling iets aan die nare situatie te doen.

Emotioneel intelligente apps bieden niet alleen toezicht en discipline, maar ook straf

Om filosoof Michel Foucault te parafraseren: emotioneel intelligente apps bieden niet alleen toezicht en discipline, maar ook straf. Zo wordt in de game Nevermind gebruikgemaakt van biofeedbacktechnologie [technologie die je inzicht geeft in de fysiologische staat van je lichaam, zoals hartslag, hersenactiviteit, spierspanning] om de stemming van een speler te meten en de moeilijkheid van het spel daarop aan te passen. Hoe angstiger de speler, hoe moeilijker het spel wordt. Hoe relaxter de speler, hoe coulanter de game. Er is weinig verbeeldingskracht voor nodig om je een app voor te stellen die je creditcard blokkeert als de software vindt dat je te opgewonden of te somber bent om verstandige keuzes te maken. Dat klinkt misschien als een dystopie, maar het is binnen handbereik.

We leven in een feedbacklus met onze apparaten. Hoe we onze chatbots opvoeden, zal onvermijdelijk bepalen hoe die op hun beurt hun gebruikers opvoeden. Het valt onmogelijk te voorspellen wat AI met ons gevoelsleven zal doen. Maar als we emotionele intelligentie beschouwen als een verzameling specifieke vaardigheden – het herkennen, onderscheiden en benoemen van verschillende emoties en het kunnen verwerken van emotionele informatie in ons denken en gedrag – dan is het ook de moeite waard na te denken over wat er kan gebeuren als we die vaardigheden overdragen op onze gadgets.

Interactie met en via machines heeft de manier waarop mensen zich tot elkaar verhouden al veranderd. Zo is onze schriftelijke communicatie steeds meer op mondelinge communicatie gaan lijken. Twintig jaar geleden vielen e-mails nog in het epistolaire genre: het waren in wezen gewoon brieven die op een computer werden ingetikt. Markiezin de Merteuil uit Les liaisons dangereuses (1782) had ze kunnen schrijven. Maar de mails van tegenwoordig hebben steeds meer weg van Twitterberichten: summier, vaak met onvolledige zinnen, met één duim ingetikt of ingesproken op een telefoon of tablet.

‘Al deze systemen zullen waarschijnlijk de verscheidenheid van ons denken en onze omgang met anderen beperken,’ zegt José Hernández-Orallo, filosoof en computerwetenschapper aan de Technische Universiteit van Valencia. Omdat we onze uitingen aanpassen aan het taalgebruik en de intelligentie van onze gesprekspartner, zou het volgens hem inderdaad kunnen dat AI onze manier van praten verandert. Is het mogelijk dat onze emotionele uitdrukkingsvaardigheid meer gestandaardiseerd en minder persoonlijk wordt als we jarenlang met Siri over privézaken praten? Hoe voorspelbaarder ons gedrag, hoe gemakkelijker er immers geld aan te verdienen valt.

‘Met Alisa praten is net als praten met een taxichauffeur,’ schreef de Russische gebruiker Valera Zolotoehin in 2017 op Facebook, in een discussie die was opgestart door de vooraanstaande historicus Michail Melnitsjenko. Maar een taxichauffeur toont waarschijnlijk wel meer medeleven. Toen in maart 2017 meer dan veertig kinderen waren omgekomen bij een brand in een winkelcentrum in Siberië, vroegen we Alisa hoe zij zich voelde. Haar humeur was ‘altijd goed’, zei ze monter. Het leven was niet alleen maar leuk, nietwaar?

Lees ook:

Moeten AI-chatbots dezelfde rechten krijgen als mensen?