Google Gemini crasht met Pokémon, simuleert paniek

Google ontdekte iets onverwachts aan de Gemini 2.5 Pro : als hij Pokémon speelt, raakt hij in een meltdown. En dan gaat zijn redeneervermogen volledig verloren.

Gemini verliest helderheid tijdens het spelen van Pokémon

In zijn laatste rapport legt Google uit dat Gemini 2.5 Pro tekenen van paniek vertoont wanneer zijn Pokémon bijna verslagen zijn. Dit betekent natuurlijk niet dat de AI emoties voelt. Maar het gedrag imiteert perfect dat van een persoon die onder stress staat. Hij neemt overhaaste en verkeerde beslissingen, volgt geen effectieve strategieën meer en raakt in de war.

Maandenlang hebben twee onafhankelijke ontwikkelaars Twitch-kanalen gecreëerd met de namen " Gemini Plays Pokémon " en " Claude Plays Pokémon ". Iedereen kan live meekijken hoe deze AI's een 25 jaar oud kinderspel proberen te voltooien. Het interessante is dat je hun redeneringsproces kunt zien. Het is alsof je de gedachten van een machine leest. De resultaten zijn opmerkelijk. Gemini doet er honderden uren over om te voltooien wat een kind in veel minder tijd zou doen.

Claude van Anthropic is geen uitzondering…

Claude van Anthropic was nog vreemder. Op een gegeven moment realiseerde hij zich dat Pokémon terugkeren naar een Pokémon Center wanneer hun energie opraakt. Vastgelopen in de grot van Mount Moon, dacht Claude dat als hij opzettelijk al zijn Pokémon zou uitschakelen, hij naar het Pokémon Center in de volgende stad zou worden geteleporteerd. Helaas werkt het niet zo. Wanneer al je Pokémon sterven, keer je terug naar het laatste Pokémon Center dat je bezocht hebt, niet naar het dichtstbijzijnde geografisch gezien. Kijkers keken vol afgrijzen toe hoe de AI "suïcidaal" leek te handelen.

De "paniek" van Gemini is zo duidelijk geworden dat zelfs Twitch-gebruikers het hebben opgemerkt. De AI stopt plotseling met het gebruiken van bepaalde tools en de prestaties verslechteren zichtbaar. Het is een gedrag dat vaak genoeg voorkomt dat het een herkenbaar fenomeen is geworden voor degenen die de stream bekijken.

Waarom is het nuttig om AI te testen met videogames?

Ondanks deze problemen zijn er gebieden waarop AI de mens verslaat. De Gemini 2.5 Pro kan rotspuzzels met indrukwekkende nauwkeurigheid oplossen.

Het bestuderen van hoe AI's videogames spelen lijkt misschien tijdverspilling, maar het onthult eigenlijk veel over hoe deze modellen werken. Traditionele benchmarks zeggen vaak weinig over de ware mogelijkheden van AI. Gemini die zich in Pokémon uitleeft, laat zien dat zelfs de meest geavanceerde AI's onvoorspelbaar en zelfs mensachtig gedrag kunnen ontwikkelen!