Waarom is ChatGPT geen echte AI?

Kunstmatige intelligentie is al eeuwen een droom, maar is pas recentelijk viraal gegaan dankzij de enorme vooruitgang in computerkracht en data-analyse. Grote taalmodellen (LLM's) zoals ChatGPT zijn in wezen een zeer geavanceerde vorm van autocomplete. Hun indrukwekkende potentieel komt voort uit het feit dat de trainingsdata het hele internet omvatten. LLM's zijn misschien één ingrediënt in de formule voor echte kunstmatige algemene intelligentie, maar ze vormen zeker niet de volledige formule, en we weten waarschijnlijk nog niet wat sommige van de andere ingrediënten zijn.

Dankzij ChatGPT kunnen we eindelijk allemaal kunstmatige intelligentie ervaren. Het enige wat je nodig hebt, is een webbrowser. Vervolgens kun je direct communiceren met het meest geavanceerde AI-systeem ter wereld – een bekroning van 70 jaar inspanning. En het lijkt op echte AI – de AI die we allemaal in films hebben gezien. Maar betekent dit dat we eindelijk de formule voor echte AI hebben gevonden? Is het einde van de weg voor AI in zicht?

Volgens Popular Science Turkish is kunstmatige intelligentie een van de oudste dromen van de mensheid. Het dateert minstens uit het oude Griekenland en de legende van Hephaestus, de smid van de goden. Hephaestus had de macht om metalen wezens tot leven te wekken. Sindsdien zijn er verschillende interpretaties van dit thema ontstaan ​​in mythologie en fictie. Kunstmatige intelligentie begon echter plausibel te lijken met de uitvinding van de computer eind jaren 40.

Een formule voor symbolische kunstmatige intelligentie

Computers zijn instructievolgende machines. De programma's die we ze geven, zijn niets meer dan fijn gedetailleerde instructies; het zijn formules die de computer trouw volgt. Je webbrowser, e-mailclient en tekstverwerker zijn allemaal slechts deze ongelooflijk gedetailleerde lijst met instructies. Dus als "echte kunstmatige intelligentie" mogelijk zou zijn – de droom van computers die net zo capabel zijn als mensen – dan zou het neerkomen op zo'n formule. Het enige wat we hoeven te doen om AI werkelijkheid te maken, is de juiste formule vinden. Dus hoe zou zo'n formule eruitzien? En gezien de recente opwinding rond ChatGPT, GPT-4 en BARD (beter bekend als Extended Language Models [LLM's]), hebben we dan eindelijk de formule voor echte AI gevonden?

Bijna 40 jaar lang was het fundamentele concept achter pogingen tot kunstmatige intelligentie het modelleren van het bewuste brein – de gedachten en redeneerprocessen die ons bewuste bestaan ​​vormen. Deze aanpak werd symbolische AI ​​genoemd, omdat onze gedachten en redeneringen talen leken te omvatten die waren samengesteld uit symbolen: letters, woorden en leestekens. Symbolische AI ​​hield zich niet alleen bezig met het vinden van formules die deze symbolische uitingen vatten, maar ook met het repliceren van redeneringen en besluitvorming door deze symbolen te manipuleren.

Symbolische AI ​​had enig succes geboekt, maar faalde spectaculair bij een breed scala aan taken die voor mensen triviaal leken. Zelfs een simpele taak als het herkennen van een menselijk gezicht ging symbolische AI ​​te boven. Dit komt doordat gezichtsherkenning perceptie vereist. Perceptie is het probleem van het begrijpen van wat we zien, horen en voelen. De meesten van ons beschouwen perceptie grotendeels als vanzelfsprekend; we denken er niet veel over na en associëren het zeker niet met intelligentie. Maar symbolische AI ​​was de verkeerde manier om problemen op te lossen die perceptie vereisen.

Neurale netwerken komen eraan

Een alternatieve formule voor kunstmatige intelligentie (AI) is het modelleren van de structuren die we in de hersenen zien in plaats van het modelleren van de geest. Het menselijk brein is immers het enige wezen dat we vandaag de dag kennen dat in staat is om menselijke intelligentie te genereren. Als je hersenen onder een microscoop bekijkt, zie je een enorm aantal zenuwcellen, neuronen genaamd, die met elkaar verbonden zijn in enorme netwerken. Elk neuron zoekt naar patronen binnen zijn netwerk van verbindingen. Wanneer een neuron een patroon herkent, stuurt het signalen naar zijn buren. Deze buren zoeken op hun beurt naar patronen, en wanneer ze een patroon zien, communiceren ze met hun soortgenoten, enzovoort.

We kunnen het niet logisch verklaren, maar op de een of andere manier kunnen deze enorme netwerken van neuronen leren en uiteindelijk intelligent gedrag produceren. Het vakgebied neurale netwerken ontstond oorspronkelijk in de jaren 40 en was geïnspireerd door het idee dat deze netwerken van neuronen konden worden nagebootst met elektrische circuits. Tegenwoordig worden neurale netwerken geïmplementeerd in software in plaats van elektrische circuits, en eerlijk gezegd proberen onderzoekers van neurale netwerken niet echt de hersenen te modelleren. De softwarestructuren die ze gebruiken – enorme netwerken bestaande uit zeer eenvoudige rekenkundige apparaten – zijn echter geïnspireerd op de neurale structuren die we in hersenen en zenuwstelsels zien.

Neurale netwerken, die in de loop van de tijd (vooral eind jaren zestig en midden jaren tachtig) in en uit de gratie zijn geraakt, worden al sinds de jaren veertig continu bestudeerd en worden vaak gezien als concurrenten van symbolische kunstmatige intelligentie. Pas in het afgelopen decennium zijn neurale netwerken consistent gaan werken. Alle opwinding die we de afgelopen tien jaar op het gebied van AI hebben gezien, is te danken aan de snelle vooruitgang die neurale netwerken hebben geboekt bij het oplossen van een aantal AI-problemen.

Helaas is de opkomst van neurale netwerken deze eeuw voortgekomen uit alledaagse redenen. Natuurlijk waren er wetenschappelijke ontwikkelingen, zoals nieuwe neurale netwerkstructuren en de algoritmen die ze structureren. Maar in werkelijkheid waren de kernideeën achter de huidige neurale netwerken al in de jaren 80 bekend. Deze eeuw bracht een overvloed aan data en rekenkracht met zich mee. Het trainen van een neuraal netwerk vereist beide, en beide zijn deze eeuw in overvloed aanwezig.

Alle AI-systemen die recentelijk in het nieuws zijn geweest, maken gebruik van neurale netwerken. AlphaGo bijvoorbeeld, de beroemde Go-software ontwikkeld door het in Londen gevestigde AI-bedrijf DeepMind en die in maart 2016 een wereldkampioen versloeg, gebruikt twee neurale netwerken, elk met twaalf neurale lagen. De data om deze netwerken te trainen is afkomstig van eerdere online Go-wedstrijden, evenals van wedstrijden die de software zelf speelt – dat wil zeggen, wedstrijden die de software tegen zichzelf speelt. De AI-systemen die de afgelopen jaren in het nieuws zijn geweest – zoals ChatGPT en GPT-4 van het door Microsoft gesteunde AI-bedrijf OpenAI, en Google's BARD – maken ook gebruik van neurale netwerken. Wat deze nieuwste ontwikkelingen onderscheidt, is simpelweg hun enorme omvang. Alles aan deze modellen is verbijsterend qua omvang.

Enorme kracht, enorme hoeveelheid data

Denk aan het GPT-3-systeem van OpenAI, aangekondigd in de zomer van 2020. Dit is de onderliggende technologie van ChatGPT. Het was de LLM die een baanbrekende doorbraak in die technologie inluidde. De neurale netwerken waaruit GPT-3 bestaat, zijn enorm. Wanneer onderzoekers neurale netwerken bestuderen, verwijzen ze naar het aantal "parameters". In deze context is een "parameter" ofwel een enkel neuron ofwel een netwerkcomponent, een verbinding tussen neuronen. GPT-3 heeft in totaal 175 miljard parameters, terwijl GPT-4 er naar verluidt 1 biljoen heeft. Ter vergelijking: een menselijk brein heeft in totaal zo'n 100 miljard neuronen, verbonden door maar liefst 1000 biljoen synaptische verbindingen. Hoewel bestaande LLM's enorm zijn, halen ze de omvang van het menselijk brein nog steeds niet.

De data die gebruikt werd om GPT te trainen bestond uit 575 gigabyte aan tekst. Je denkt misschien: "Dat klinkt niet als veel; je kunt het tenslotte op een gewone computer opslaan." Maar dit zijn geen video's, foto's of muziek; het is gewoon platte tekst. En 575 gigabyte aan platte tekst is een onvoorstelbaar grote hoeveelheid – veel, veel meer dan een mens in een heel leven zou kunnen lezen. Waar haalden ze al die tekst vandaan? Ze downloadden het World Wide Web. Alles. Elke link op elke webpagina werd gevolgd, de tekst werd geëxtraheerd en vervolgens werd het proces herhaald, waarbij systematisch elke link werd gevolgd totdat elk stukje tekst op het web was gegenereerd. De Engelstalige Wikipedia bevatte slechts 3% van de totale trainingsdata.

Maar hoe zit het met de computer die nodig is om al die tekst te verwerken en deze enorme netwerken te trainen? Computerwetenschappers gebruiken de term "floating-point-bewerking" of "FLOP" om te verwijzen naar een enkele rekenkundige bewerking; een FLOP is een enkele optelling, aftrekking, vermenigvuldiging of deling. Voor het trainen van GPT-3 waren 3^1023 FLOP's nodig. Onze bescheiden menselijke ervaring stelt ons niet in staat om zulke grote getallen te begrijpen. Stel het zo: als je GPT-3 zou proberen te trainen op een typische desktopcomputer uit 2023, zou die ongeveer 10.000 jaar continu moeten draaien om zoveel FLOP's uit te voeren.

OpenAI trainde GPT-3 natuurlijk niet op een desktopcomputer. Ze gebruikten zeer dure supercomputers met duizenden gespecialiseerde AI-processors, die maandenlang non-stop draaiden. En die hoeveelheid rekenkracht is niet goedkoop. De computertijd die nodig is om GPT-3 te trainen kost miljoenen dollars op de open markt. Dit betekent, meer dan wat dan ook, dat weinig organisaties, afgezien van een handvol grote techbedrijven en natiestaten, zich systemen zoals ChatGPT kunnen veroorloven.

Onder de paraplu van LLM

Ondanks hun duizelingwekkende omvang doen LLM's eigenlijk iets heel simpels. Stel je voor dat je je smartphone aanzet en je partner een berichtje stuurt met de woorden "wanneer". Je telefoon suggereert dingen die die tekst aanvullen. Bijvoorbeeld dingen als "je komt thuis" of "we gaan eten". Dit doet je telefoon omdat hij voorspelt dat dit de meest waarschijnlijke woorden zijn die na "wanneer" verschijnen. Je telefoon doet deze voorspelling op basis van alle sms'jes die je hebt verzonden, en uit die berichten leert hij dat dit de meest waarschijnlijke aanvullingen zijn op "wanneer". LLM's doen hetzelfde, maar zoals we hebben gezien, doen ze dat op een veel grotere schaal. De trainingsdata bestaat niet alleen uit je sms'jes; het is alle tekst ter wereld in digitale vorm. Wat levert deze schaal op? Het is opmerkelijk en onverwacht.

Het eerste wat ons opvalt wanneer we ChatGPT of BARD gebruiken, is dat ze extreem goed zijn in het produceren van zeer natuurlijke tekst. Dat is niet verrassend; daar zijn ze voor ontworpen, en dat is het hele punt van die 575 gigabyte aan tekst. Maar wat onverwacht is, is dat LLM's ook andere vaardigheden verwerven op manieren die we nog niet begrijpen: vaardigheden die op de een of andere manier impliciet begrepen moeten worden binnen het enorme corpus aan tekst waarop ze getraind zijn.

We kunnen ChatGPT bijvoorbeeld vragen een stuk tekst samen te vatten, en dat doet het over het algemeen uitstekend. We kunnen ChatGPT vragen om belangrijke punten uit een tekst te halen of tekstfragmenten te vergelijken, en ook in deze taken lijkt het uitstekend te presteren. Hoewel AI-onderzoekers gealarmeerd waren door de kracht van LLM's toen GPT-3 in 2020 werd uitgebracht, begon de rest van de wereld er pas mee toen ChatGPT in november 2022 uitkwam. Binnen enkele maanden trok het honderden miljoenen gebruikers. AI is al tien jaar een veelbesproken onderwerp, maar de opwinding in de pers en sociale media rond de release van ChatGPT was ongekend: AI ging viraal.

Het tijdperk van kunstmatige intelligentie

Op dit punt moet ik iets bemoedigends zeggen. Dankzij ChatGPT hebben we eindelijk het tijdperk van kunstmatige intelligentie bereikt. Elke dag communiceren honderden miljoenen mensen met de meest complexe AI ter wereld. Dit vereiste 70 jaar wetenschappelijke inspanning, talloze carrières, miljarden en miljarden dollars aan investeringen, honderdduizenden wetenschappelijke artikelen en maandenlang op topsnelheid draaiende AI-supercomputers. De kunstmatige intelligentie die de wereld eindelijk heeft bereikt, is... orderverwerking.

De toekomst van bedrijven die miljarden waard zijn, staat nu op het spel. Hun lot hangt af van... het voldoen aan verzoeken. Precies wat je mobiele telefoon doet. Als AI-onderzoeker die al meer dan 30 jaar in dit vakgebied werkt, moet ik zeggen dat ik deze situatie zeer verontrustend vind. Het is werkelijk schandalig. Wie had kunnen voorspellen dat deze versie van AI uiteindelijk de hoogste premie zou opleveren?

Elke keer dat we snelle vooruitgang zien in AI, verklaart iemand uiteindelijk dat we er klaar mee zijn – dat we op weg zijn naar echte AI. Gezien het succes van LLM's is het geen verrassing dat soortgelijke beweringen nu worden gedaan. Laten we dus even stilstaan ​​en reflecteren. Als AI succesvol is, moeten machines alles kunnen wat een mens kan.

Denk aan de twee belangrijkste takken van menselijke intelligentie: de ene omvat puur mentale vermogens, de andere fysieke vermogens. Denk bijvoorbeeld aan mentale vermogens zoals logisch en abstract redeneren, redeneren met gezond verstand (zoals begrijpen dat een gevallen ei zal breken of dat ik Kansas niet kan opeten), numeriek en wiskundig redeneren, probleemoplossend vermogen en planning, natuurlijke taalverwerking, een logische gemoedstoestand, een activiteit, het vermogen om te onthouden en empathie. Fysieke vermogens omvatten sensorisch begrip (d.w.z. het interpreteren van input van onze vijf zintuigen), mobiliteit, navigatie, behendigheid en bewegingen, hand-oogcoördinatie en proprioceptie.

Ik benadruk dat dit verre van een volledige lijst van menselijke capaciteiten is. Maar als we ooit echte AI hebben – AI die net zo competent is als wij – dan zal die zeker over al deze capaciteiten beschikken.

LLM's zijn geen echte AI

Het meest voor de hand liggende is dat LLM's geen technologie zijn die geschikt is voor een van deze fysieke mogelijkheden. LLM's bestaan ​​niet in de echte wereld, en de uitdagingen die robotische AI ​​met zich meebrengt, zijn absoluut niet relevant voor de doelen waarvoor LLM's zijn ontworpen. Bovendien is de vooruitgang in robotische AI ​​veel trager dan de vooruitgang in LLM's. Misschien verrassend genoeg zijn robotcapaciteiten zoals behendigheid nog lang niet opgelost. Bovendien bieden LLM's geen pad naar oplossingen voor deze uitdagingen.

Natuurlijk zou je een AI-systeem kunnen beschouwen als pure software-intelligentie, maar hoe verhouden LLM's zich tot de hierboven genoemde mentale vermogens? Hiervan zou je kunnen stellen dat LLM's alleen echt significante vooruitgang hebben geboekt in natuurlijke taalverwerking – dat wil zeggen, het vermogen om effectief te communiceren in gewone menselijke talen. Niets verrassends hier; daar zijn ze voor ontworpen.

Maar de verbluffende vaardigheid die ze demonstreren in mensachtige communicatie doet ons misschien geloven dat ze veel bedrevener zijn in andere dingen dan ze in werkelijkheid zijn. Ze kunnen wel wat kunstmatige logische redeneringen en probleemoplossing uitvoeren, maar die zijn momenteel oppervlakkig. Misschien zouden we verbaasd moeten zijn dat ze meer kunnen dan natuurlijke taalverwerking. Ze zijn niet ontworpen om iets anders te doen, dus die andere dingen zijn een bonus; alle extra mogelijkheden moeten impliciet aanwezig zijn in de tekst waarmee het systeem is getraind.

Om deze en andere redenen lijkt het mij onwaarschijnlijk dat LLM-technologie op zichzelf een pad naar "echte AI" biedt. Ze bestaan ​​niet echt in onze wereld, en ze beseffen het niet eens. Als je een LLM midden in een gesprek verlaat en een week op vakantie gaat, zullen ze zich niet afvragen waar je bent. Ze zijn zich niet bewust van het verstrijken van de tijd en, sterker nog, ze zijn zich nergens van bewust. Ze zijn een computerprogramma dat letterlijk niets doet totdat je een prompt typt, en vervolgens simpelweg een antwoord op die prompt berekent, waarna ze weer helemaal niets doen. Hun encyclopedische kennis van de wereld blijft zoals ze is opgeleid. Ze weten niets meer.

Bovendien hebben LLM's nog nooit iets meegemaakt. Het zijn gewoon programma's die onvoorstelbare hoeveelheden tekst hebben verwerkt. LLM's kunnen het gevoel van dronken zijn misschien fantastisch beschrijven, maar dat komt omdat ze er talloze beschrijvingen van hebben gelezen. Ze hebben het zelf niet meegemaakt en kunnen het ook niet. Ze hebben geen ander doel dan het best mogelijke antwoord te formuleren op welke vraag je ze ook geeft.

Dat betekent niet dat ze niet indrukwekkend zijn (wat ze wel zijn) of niet nuttig kunnen zijn (wat ze wel zijn). Ik geloof echt dat we op een echt technologisch keerpunt staan. Maar laten we deze echte prestaties niet verwarren met "echte AI". LLM's zijn misschien één ingrediënt in de formule voor echte AI, maar ze vormen zeker niet de hele formule, en ik vermoed dat we nog niet weten wat sommige van de andere ingrediënten zijn.