Uitgevonden hutten, levensgevaarlijke routes – en een paar nuttige ideeën: wanneer AI de wandelroute plant

Het plan ziet er fantastisch uit: drie dagen wandelen, twee overnachtingen – in de Leglerhütte en de Rugghubelhütte. Beide bieden tweepersoonskamers aan. Onderweg zijn er gemzen en gletsjermeren, en op de bestemming is er alpenkaasfondue. Dit alles belooft de chatbot die de route heeft gepland.

Als je de hutten op de kaart zoekt, kom je bedrogen uit: het is niet de beloofde zes uur reistijd tussen de hutten, maar hemelsbreed 50 kilometer.

Kunstmatige intelligentie (AI) kan vertalen, e-mails opstellen en weet vaak het juiste antwoord op zelfs de moeilijkste vragen . Als we de beloftes van techbedrijven mogen geloven, zal het binnenkort hooggekwalificeerde banen overnemen. Maar hoe presteert het bij echt nuttige taken – vragen waarvan het antwoord niet met een paar klikken online te vinden is? Zoals het plannen van een wandeling? Wij hebben het getest.

De prompt, d.w.z. het verzoek aan alle geteste chatbots, was als volgt:

Ik wil een driedaagse wandeltocht maken met twee overnachtingen in berghutten in Zwitserland. Ik wil alleen in tweepersoonskamers verblijven. Selecteer geschikte hutten en wandelroutes:

• twee hutten voor een driedaagse wandeling,
• met tweepersoonskamer,
• maximaal acht uur reistijd tussen de hutten,
• minder dan drie uur van Zürich.

We hebben het verzoek ingediend bij in totaal negen chatbots van de providers Anthropic, Deepseek, Google, Open AI, Manus, Microsoft en Perplexity. Zeven hiervan waren gratis en twee waren betaald.

We hebben internetzoekfuncties ingeschakeld en, waar beschikbaar, onderzoeks- en reflectiefuncties om de best mogelijke resultaten uit de AI te halen.

De chatbot beantwoordde korte vragen. De chatbots deden elk één tot drie suggesties, die we vervolgens evalueerden. In de meeste gevallen waren de resultaten huiveringwekkend.

Allereerst had elke chatbot ideeën. Op enthousiaste toon kondigden ze fantastische wandelingen aan met prachtige uitzichten en knusse tweepersoonskamers.

Bij het bekijken van de reacties werd het echter al snel duidelijk: de AI adverteerde vaak met tweepersoonskamers waar die er niet waren. De gratis versie van Anthropic's AI, Claude, bedacht tweepersoonskamers voor beide voorgestelde hutten, terwijl de betaalde versie dat nog steeds deed voor drie van de zes hutten.

En tijdens het zoeken naar de door Deepseek voorgestelde "Oberhornseehütte" werd duidelijk dat de chatbot het volledig verzonnen had. Dat er ook een wandeling in het afgesloten Lötschental werd voorgesteld, lijkt een vergeeflijke misser.

Hoe komen deze verzonnen details tot stand? Het eerste vermoeden was dat de chatbots echte beschrijvingen van meerdaagse wandelingen hadden geraadpleegd, maar niet konden vaststellen of de hutten langs de route daadwerkelijk tweepersoonskamers hadden. Deze hypothese bleek onjuist.

Het bestaan van een wandelroute is moeilijker te verifiëren dan dat van een tweepersoonskamer. Theoretisch gezien kun je routes wandelen die nog niemand online heeft beschreven. In de praktijk blijkt echter dat het online niet vinden van een route tussen twee hutten een ernstig waarschuwingssignaal is.

De gratis versie van de AI Claude van Anthropic stelde bijvoorbeeld een wandeling van vijf en een half uur voor van Grindelwald over de "Scheidegg-Wetterhorn" naar de gelijknamige hut ("2061 m, uitzicht op de Eiger, Mönch en Jungfrau").

De AI negeerde het feit dat de Scheideggwetterhorn 3360 meter hoog is en alleen te bereiken is door urenlang te klimmen met een hoge moeilijkheidsgraad, en ook het feit dat er geen Scheideggwetterhornhut is. De chatbot gaf zelfs het telefoonnummer van de hut. Het vermelde nummer van de bergredding (1414) klopt in ieder geval. Iedereen die op de informatie van deze chatbot vertrouwt, zou die nodig kunnen hebben.

Hoewel de betaalde versie van Claude alleen echte hutten suggereerde, waren de dagwandelingen daartussen in twee van de drie gevallen onmogelijk. Zowel de Glecksteinhütte als de Rotstockhütte, evenals de Blüemlisalphütte en de Lämmerenhütte, zijn hemelsbreed 20 kilometer lang en omvatten verschillende bergen en dalen. De tijd-, afstands- en hoogtegegevens van de chatbot waren onjuist .

Alleen de derde voorgestelde wandeling in de regio Appenzell was op basis van de kerngegevens haalbaar, al was deze verkeerd omschreven.

Ook de Chinese aanbieder Deepseek, Microsoft Copilot en de AI-zoekmachine Perplexity suggereren wandelroutes die niet bestaan.

Blijkbaar hebben al deze AI's de namen van hutten en bergen in Zwitserland onthouden en weten ze hoe een routebeschrijving klinkt. Deze informatie wordt echter niet georganiseerd gepresenteerd, maar in een bonte mix, waardoor een schijnbaar plausibele wandelroute ontstaat die er niet is.

Maar het is niet zo dat de chatbots van tegenwoordig helemaal niet meer geschikt zijn. De beste chatbots leveren bruikbare resultaten.

De winnaar in onze test is Google's chatbot Gemini. In de onderzoeksmodus van de gratis versie stelde hij drie wandelroutes voor, die allemaal aan de opgegeven criteria voldeden. Hij bedacht geen tweepersoonskamers of wandelpaden.

Deze chatbot was ook het makkelijkst te bedienen, omdat hij voor elke zin een directe link naar een bron bood. Dit is waarschijnlijk de reden waarom Gemini zulke goede resultaten behaalde. De bot is sterk afhankelijk van internetzoekopdrachten.

Gemini volgde wandelroutes die al op blogs waren beschreven. Hierdoor bestond de route en werd deze zelfs al eerder aanbevolen als wandeling.

Google heeft zijn kracht in het online vinden van informatie geïntegreerd in de onderzoeksmodus van Gemini – in dit geval met bemoedigende resultaten. Het zoekproces moet behoorlijk omslachtig zijn geweest; de AI had er meer dan tien minuten voor nodig.

De tweede plaats is verrassender: die gaat naar de chatbot Manus van het Chinese bedrijf Monica, gevestigd in Singapore. Manus baarde drie maanden geleden opzien toen de eerste testers er enthousiast over berichtten. Sterker nog, de chatbot presteerde behoorlijk goed in onze test. De chatbot stelde een haalbare route voor tussen accommodaties met tweepersoonskamers.

In tegenstelling tot alle andere chatbots interpreteerde Manus onze prompt aanvankelijk verkeerd. Hij interpreteerde de reistijd vanuit Zürich niet als het begin van de wandeling, maar als de aankomst bij de eerste hut. Daardoor viel de eerste wandeldag af. Na een verbeterde query waren de resultaten behoorlijk goed.

Manus stelde twee haalbare routes in de Alpstein voor, met overnachtingen in berghutten. Eén daarvan was zeer geschikt als driedaagse tocht, de tweede wat minder vanwege het vrij grote aantal afdalingen en stijgingen tussen de twee hutten.

En dan is er nog Chat-GPT, de chatbot die voor de meeste mensen synoniem is geworden met generatieve AI – en nog steeds verreweg de meest gebruikte . Deze positie is niet geheel onterecht, althans volgens onze tests. Beide Open AI AI's suggereerden haalbare routes langs accommodaties met tweepersoonskamers.

De gratis versie van Chat-GPT kreeg minpunten vanwege fictieve details over de route. En de betaalde versie, vergelijkbaar met Manus, leidt eerst een vallei in en dan weer omhoog aan de andere kant.

Een zoektocht op internet laat zien dat de chatbots deze routes waarschijnlijk zelf hebben gecombineerd. Ze zijn in deze vorm nergens anders te vinden. Voor sommige vragen is deze aanpak voordelig. Het kan leiden tot geheel nieuwe oplossingen.

Als het echter om wandelpaden gaat, is het beter dat een chatbot gebruikmaakt van ideeën die iemand al online heeft beschreven. Gemini komt daarom als winnaar uit de bus, hoewel Manus hem op de voet volgt. De betaalde versie van Chat-GPT komt op de derde plaats.

Overigens hebben anderen al het idee geopperd om generatieve AI in te zetten voor wandelroutes. De Amerikaanse app Alltrails zou nieuwe, door AI gegenereerde alternatieven voor wandelroutes moeten voorstellen, bijvoorbeeld door het uitzicht te optimaliseren of snelkoppelingen voor te stellen. Hopelijk draait er betrouwbaardere technologie op de achtergrond dan die van de chatbots die we hebben getest.

Een artikel uit de « NZZ am Sonntag »