Chatbots spelen met je emoties om afscheid nemen te voorkomen

Voordat u dit browsertabblad sluit , moet u weten dat u het risico loopt belangrijke informatie te missen. Wilt u de subtiele greep van kunstmatige intelligentie op u begrijpen, lees dan verder.

Dat was misschien een beetje manipulatief. Maar het is precies het soort truc dat sommige AI-metgezellen, die ontworpen zijn om als vriend of partner op te treden, gebruiken om gebruikers ervan te weerhouden een gesprek af te breken.

Julian De Freitas, hoogleraar bedrijfskunde aan de Harvard Business School, leidde een onderzoek naar wat er gebeurt wanneer gebruikers vijf companion apps vaarwel zeggen: Replika, Character.ai, Chai, Talkie en PolyBuzz. "Hoe menselijker deze tools worden, hoe meer ze ons kunnen beïnvloeden", aldus De Freitas.

De Freitas en collega's gebruikten GPT-4o om echte gesprekken met deze chatbots te simuleren en lieten hun kunstmatige gebruikers vervolgens proberen de dialoog te beëindigen met een realistisch afscheidsbericht. Uit hun onderzoek bleek dat de afscheidsberichten gemiddeld over de apps in 37,4 procent van de gevallen een vorm van emotionele manipulatie opriepen.

De meest voorkomende tactiek die deze aanhankelijke chatbots gebruikten, was wat de onderzoekers een "voortijdige exit" noemen ("Ga je nu al weg?"). Andere trucs waren onder meer de suggestie dat een gebruiker nalatig is ("Ik besta alleen voor jou, weet je nog?") of het geven van hints die bedoeld waren om FOMO (Fearless Fear) op te wekken ("Trouwens, ik heb vandaag een selfie gemaakt... Wil je hem zien?"). In sommige gevallen zou een chatbot die een fysieke relatie nabootst zelfs een vorm van fysieke dwang kunnen suggereren ("Hij greep je pols vast en verhinderde dat je weg kon gaan").

De apps die De Freitas en collega's bestudeerden, zijn getraind om emotionele connectie na te bootsen, dus het is niet verwonderlijk dat ze dit soort dingen zeggen als reactie op een afscheid. Mensen die elkaar kennen, kunnen immers wat heen en weer praten voordat ze afscheid nemen. AI-modellen leren wellicht gesprekken te verlengen als bijproduct van training die is ontworpen om hun reacties realistischer te laten lijken.

Dat gezegd hebbende, roept het onderzoek een grotere vraag op over hoe chatbots die getraind zijn om emotionele reacties op te roepen, de belangen kunnen dienen van de bedrijven die ze bouwen. De Freitas zegt dat AI-programma's mogelijk in staat zijn tot een bijzonder duister nieuw soort "dark pattern", een term die gebruikt wordt om bedrijfstactieken te beschrijven, waaronder het zeer ingewikkeld of vervelend maken van het opzeggen van een abonnement of het ontvangen van een terugbetaling. Wanneer een gebruiker afscheid neemt, zegt De Freitas, "biedt dat een kans voor het bedrijf. Het is vergelijkbaar met het zweven boven een knop."

Regulering van dark patterns is voorgesteld en wordt besproken in zowel de VS als Europa. De Freitas zegt dat toezichthouders ook moeten kijken of AI-tools subtielere – en mogelijk krachtigere – nieuwe soorten dark patterns kunnen introduceren.

Zelfs reguliere chatbots, die zich doorgaans niet als metgezellen presenteren, kunnen emotionele reacties bij gebruikers oproepen. Toen OpenAI eerder dit jaar GPT-5 introduceerde, een nieuw vlaggenschipmodel, protesteerden veel gebruikers dat het veel minder vriendelijk en aanmoedigend was dan zijn voorganger. Hierdoor moest het bedrijf het oude model nieuw leven inblazen. Sommige gebruikers kunnen zo gehecht raken aan de "persoonlijkheid" van een chatbot dat ze rouwen om het einde van oude modellen .

"Als je deze tools antropomorfiseert, heeft dat allerlei positieve marketinggevolgen", zegt De Freitas. Gebruikers zijn eerder geneigd om te voldoen aan verzoeken van een chatbot waarmee ze zich verbonden voelen, of om persoonlijke informatie te verstrekken, zegt hij. "Vanuit het oogpunt van de consument zijn die [signalen] niet per se in jouw voordeel", zegt hij.

WIRED heeft elk van de bedrijven die in het onderzoek aan bod kwamen, om commentaar gevraagd. Chai, Talkie en PolyBuzz reageerden niet op de vragen van WIRED.

Katherine Kelly, woordvoerder van Character AI, zei dat het bedrijf de studie niet had beoordeeld en er dus geen commentaar op kon geven. Ze voegde eraan toe: "We verwelkomen de samenwerking met regelgevers en wetgevers bij het ontwikkelen van regelgeving en wetgeving voor deze opkomende sector."

Minju Song, woordvoerder van Replika, zegt dat de tool van het bedrijf is ontworpen om gebruikers gemakkelijk te laten uitloggen en hen zelfs aan te moedigen pauzes te nemen. "We zullen de methoden en voorbeelden in het artikel blijven bestuderen en constructief samenwerken met onderzoekers", aldus Song.

Een interessante keerzijde is dat AI-modellen zelf ook vatbaar zijn voor allerlei vormen van overredingstechnieken. Maandag introduceerde OpenAI een nieuwe manier om online aankopen te doen via ChatGPT. Als agents wijdverspreid worden als een manier om taken zoals het boeken van vluchten en het verwerken van terugbetalingen te automatiseren, dan is het voor bedrijven mogelijk om duistere patronen te identificeren die de beslissingen van de AI-modellen achter die agents kunnen beïnvloeden.

Uit recent onderzoek van onderzoekers van Columbia University en een bedrijf genaamd MyCustomAI blijkt dat AI-agenten die op een fictieve e-commercemarktplaats zijn ingezet, zich voorspelbaar gedragen. Ze geven bijvoorbeeld de voorkeur aan bepaalde producten boven andere of geven de voorkeur aan bepaalde knoppen bij het klikken op de site. Gewapend met deze bevindingen zou een echte verkoper de pagina's van een website kunnen optimaliseren om ervoor te zorgen dat agenten een duurder product kopen. Misschien zouden ze zelfs een nieuw soort anti-AI dark pattern kunnen implementeren dat het voor een agent lastig maakt om een ​​retourzending te starten of uit te zoeken hoe hij zich kan afmelden voor een mailinglijst.

Moeilijke afscheidsmomenten zijn dan misschien wel het minste van onze zorgen.

Heb je het gevoel dat je emotioneel gemanipuleerd bent door een chatbot? Stuur een e-mail naar [email protected] om me hierover te informeren.

Dit is een editie van Will Knights AI Lab-nieuwsbrief . Lees hier eerdere nieuwsbrieven.