Warum ist ChatGPT keine echte KI?

Künstliche Intelligenz ist seit Jahrhunderten ein Traum, doch erst seit Kurzem ist sie dank der enormen Fortschritte in der Rechenleistung und Datenanalyse viral geworden. Große Sprachmodelle (LLMs) wie ChatGPT sind im Wesentlichen eine sehr fortschrittliche Form der Autovervollständigung. Ihr beeindruckendes Potenzial beruht darauf, dass die Trainingsdaten das gesamte Internet umfassen. LLMs mögen eine Zutat in der Formel für echte künstliche allgemeine Intelligenz sein, aber sie sind sicherlich nicht die ganze Formel, und wir kennen wahrscheinlich noch nicht alle weiteren Zutaten.

Dank ChatGPT können wir endlich alle künstliche Intelligenz erleben. Alles, was Sie brauchen, ist ein Webbrowser. Dann können Sie direkt mit dem fortschrittlichsten KI-System der Welt sprechen – die Krönung von 70 Jahren Arbeit. Und es sieht aus wie echte KI – die KI, die wir alle aus Filmen kennen. Aber bedeutet das, dass wir endlich die Formel für echte KI gefunden haben? Ist das Ende der KI in Sicht?

Laut Popular Science Turkish ist künstliche Intelligenz einer der ältesten Träume der Menschheit. Sie geht mindestens auf das antike Griechenland und die Legende von Hephaistos, dem Götterschmied, zurück. Hephaistos besaß die Macht, Metallwesen Leben einzuhauchen. Seitdem sind in Mythologie und Belletristik verschiedene Interpretationen dieses Themas aufgetaucht. Künstliche Intelligenz begann jedoch erst mit der Erfindung des Computers Ende der 1940er Jahre plausibel zu werden.

Eine Formel für symbolische künstliche Intelligenz

Computer sind befehlsbefolgende Maschinen. Die Programme, die wir ihnen geben, sind nichts weiter als detaillierte Anweisungen; es sind Formeln, denen der Computer getreu folgt. Ihr Webbrowser, Ihr E-Mail-Client und Ihr Textverarbeitungsprogramm bestehen alle nur aus einer unglaublich detaillierten Liste von Anweisungen. Wäre also „echte künstliche Intelligenz“ möglich – der Traum von Computern, die so leistungsfähig sind wie der Mensch –, dann käme sie einer solchen Formel gleich. Um KI Wirklichkeit werden zu lassen, müssen wir nur noch die richtige Formel finden. Wie also sähe eine solche Formel aus? Und haben wir angesichts der jüngsten Aufregung um ChatGPT, GPT-4 und BARD (korrekterweise erweiterte Sprachmodelle [LLMs] genannt) endlich die Formel für echte KI gefunden?

Fast 40 Jahre lang war das grundlegende Konzept hinter den Ansätzen zur künstlichen Intelligenz die Modellierung des Bewusstseins – der Gedanken und Denkprozesse, die unsere bewusste Existenz ausmachen. Dieser Ansatz wurde als symbolische KI bezeichnet, da unsere Gedanken und unser Denken offenbar aus Sprachen bestehen, die aus Symbolen bestehen – Buchstaben, Wörtern und Satzzeichen. Symbolische KI umfasste nicht nur den Versuch, Formeln zu finden, die diese symbolischen Ausdrücke erfassen, sondern auch die Nachbildung von Denk- und Entscheidungsprozessen durch die Manipulation dieser Symbole.

Symbolische KI hatte zwar einige Erfolge erzielt, scheiterte aber bei einer Vielzahl von Aufgaben, die für Menschen trivial erschienen, spektakulär. Selbst eine einfache Aufgabe wie das Erkennen eines menschlichen Gesichts überstieg die Fähigkeiten symbolischer KI. Denn Gesichtserkennung erfordert Wahrnehmung. Wahrnehmung ist das Problem, zu verstehen, was wir sehen, hören und fühlen. Die meisten von uns halten Wahrnehmung für selbstverständlich; wir denken nicht viel darüber nach und verbinden sie schon gar nicht mit Intelligenz. Symbolische KI war jedoch der falsche Ansatz, um Probleme zu lösen, die Wahrnehmung erfordern.

Neuronale Netze kommen

Eine alternative Formel für künstliche Intelligenz besteht darin, die Strukturen unseres Gehirns zu modellieren, anstatt den Geist zu modellieren. Schließlich ist das menschliche Gehirn das einzige uns heute bekannte Lebewesen, das menschliche Intelligenz hervorbringen kann. Betrachtet man ein Gehirn unter dem Mikroskop, erkennt man eine Vielzahl von Nervenzellen, sogenannte Neuronen, die in ausgedehnten Netzwerken miteinander verbunden sind. Jedes Neuron sucht in seinem Netzwerk nach Mustern. Erkennt ein Neuron ein Muster, sendet es Signale an seine Nachbarn. Diese wiederum suchen nach Mustern, und wenn sie ein Muster erkennen, kommunizieren sie mit ihren Artgenossen usw.

Wir können es nicht logisch erklären, aber irgendwie können diese riesigen Neuronennetzwerke lernen und letztendlich intelligentes Verhalten hervorbringen. Das Forschungsgebiet der neuronalen Netze entstand in den 1940er Jahren und basierte auf der Idee, diese Neuronennetzwerke durch elektrische Schaltkreise zu emulieren. Heutige neuronale Netze werden in Software statt in elektrischen Schaltkreisen implementiert, und ehrlich gesagt versuchen Forscher, das Gehirn nicht wirklich zu modellieren. Die von ihnen verwendeten Softwarestrukturen – riesige Netzwerke aus sehr einfachen Recheneinheiten – sind jedoch von den neuronalen Strukturen inspiriert, die wir in Gehirnen und Nervensystemen beobachten.

Neuronale Netze, deren Beliebtheit zu unterschiedlichen Zeiten (insbesondere in den späten 1960er und Mitte der 1980er Jahre) schwankte, werden seit den 1940er Jahren kontinuierlich untersucht und oft als Konkurrenz zur symbolischen künstlichen Intelligenz gesehen. Allerdings begannen neuronale Netze erst im letzten Jahrzehnt, beständig zu funktionieren. Die ganze Begeisterung, die wir im letzten Jahrzehnt im Bereich der KI erlebt haben, ist auf die rasanten Fortschritte zurückzuführen, die neuronale Netze bei einer Reihe von KI-Problemen erzielt haben.

Leider hatte der Aufstieg neuronaler Netze in diesem Jahrhundert ganz banale Gründe. Zwar gab es wissenschaftliche Fortschritte, wie beispielsweise neue Strukturen neuronaler Netze und die dazugehörigen Algorithmen. Doch die Kernideen der heutigen neuronalen Netze waren bereits in den 1980er Jahren bekannt. Dieses Jahrhundert brachte sowohl eine Fülle von Daten als auch eine enorme Rechenleistung mit sich. Das Training eines neuronalen Netzes erfordert beides, und beides ist in diesem Jahrhundert im Überfluss vorhanden.

Alle KI-Systeme, die in letzter Zeit in den Medien bekannt wurden, nutzen neuronale Netzwerke. AlphaGo beispielsweise, die berühmte Go-Software des Londoner KI-Unternehmens DeepMind, die im März 2016 einen Weltmeister besiegte, verwendet zwei neuronale Netzwerke mit jeweils zwölf neuronalen Schichten. Die Daten zum Training dieser Netzwerke stammen aus früheren Online-Go-Partien sowie aus Spielen, die die Software selbst spielt – also gegen sich selbst. Auch die KI-Systeme, die in den letzten Jahren für Schlagzeilen sorgten – wie ChatGPT und GPT-4 des von Microsoft unterstützten KI-Unternehmens OpenAI sowie Googles BARD – nutzen neuronale Netzwerke. Was diese neuesten Entwicklungen auszeichnet, ist schlicht ihre schiere Größe. Alles an diesen Modellen ist in seinem Ausmaß unfassbar.

Enorme Leistung, enorme Daten

Betrachten wir das GPT-3-System von OpenAI, das im Sommer 2020 angekündigt wurde. Es ist die zugrundeliegende Technologie von ChatGPT. Es war das LLM, das einen bahnbrechenden Durchbruch in dieser Technologie markierte. Die neuronalen Netzwerke, aus denen GPT-3 besteht, sind riesig. Wenn Menschen, die sich mit neuronalen Netzwerken beschäftigen, die Größe eines Netzwerks beschreiben, beziehen sie sich auf die Anzahl seiner „Parameter“. In diesem Zusammenhang ist ein „Parameter“ entweder ein einzelnes Neuron oder eine Netzwerkkomponente, eine Verbindung zwischen Neuronen. GPT-3 verfügt insgesamt über 175 Milliarden Parameter, während GPT-4 angeblich eine Billion hat. Zum Vergleich: Das menschliche Gehirn hat insgesamt etwa 100 Milliarden Neuronen, die durch bis zu 1.000 Billionen synaptische Verbindungen verbunden sind. Obwohl bestehende LLMs riesig sind, erreichen sie immer noch nicht die Größe des menschlichen Gehirns.

Die zum Training von GPT verwendeten Daten umfassten 575 Gigabyte Text. Sie denken vielleicht: „Das klingt nicht nach viel; schließlich kann man das auf einem normalen Computer speichern.“ Aber es handelt sich nicht um Videos, Fotos oder Musik, sondern um reinen Text. Und 575 Gigabyte Text sind eine unvorstellbar große Menge – weit mehr, als ein Mensch in seinem Leben lesen könnte. Woher hatten sie all diesen Text? Sie luden das World Wide Web herunter. Alles. Jeder Link auf jeder Webseite wurde verfolgt, der Text extrahiert und der Vorgang wiederholt, wobei systematisch jeder Link verfolgt wurde, bis jeder Text im Web generiert war. Die englischsprachige Wikipedia machte nur 3 % der gesamten Trainingsdaten aus.

Aber was ist mit dem Computer, der benötigt wird, um all diesen Text zu verarbeiten und diese riesigen Netzwerke zu trainieren? Informatiker verwenden den Begriff „Fließkommaoperation“ oder „FLOP“ für eine einzelne arithmetische Berechnung; ein FLOP ist eine einzelne Additions-, Subtraktions-, Multiplikations- oder Divisionsoperation. Das Training von GPT-3 erforderte 3^1023 FLOPs. Unsere bescheidene menschliche Erfahrung reicht nicht aus, um solch große Zahlen zu verstehen. Anders ausgedrückt: Wenn man versuchen würde, GPT-3 auf einem typischen Desktop-Computer aus dem Jahr 2023 zu trainieren, müsste er etwa 10.000 Jahre lang ununterbrochen laufen, um so viele FLOPs auszuführen.

Natürlich hat OpenAI GPT-3 nicht auf einem Desktop-Computer trainiert. Sie nutzten sehr teure Supercomputer mit Tausenden spezialisierter KI-Prozessoren, die monatelang ununterbrochen liefen. Und dieser Rechenaufwand ist nicht billig. Die für das Training von GPT-3 benötigte Rechenzeit kostet auf dem freien Markt Millionen von Dollar. Das bedeutet vor allem, dass sich außer einigen wenigen großen Technologieunternehmen und Nationalstaaten nur wenige Organisationen den Aufbau von Systemen wie ChatGPT leisten können.

Unter dem Dach des LLM

Trotz ihres überwältigenden Umfangs leisten LLMs eigentlich etwas ganz Einfaches. Stellen Sie sich vor, Sie schalten Ihr Smartphone ein und schreiben Ihrem Partner eine SMS mit den Worten „wann“. Ihr Telefon schlägt Ihnen passende Wörter zu diesem Text vor. Zum Beispiel „Du kommst nach Hause“ oder „Wir essen zu Abend“. Es schlägt diese Wörter vor, weil Ihr Telefon vorhersagt, dass diese Wörter am wahrscheinlichsten nach „wann“ erscheinen. Ihr Telefon trifft diese Vorhersage auf Grundlage aller von Ihnen gesendeten Textnachrichten und lernt daraus, dass diese am wahrscheinlichsten auf „wann“ folgen. LLMs tun dasselbe, aber wie wir gesehen haben, in einem viel größeren Maßstab. Die Trainingsdaten sind nicht nur Ihre Textnachrichten, sondern alle digitalen Texte der Welt. Was liefert dieser Maßstab? Es ist bemerkenswert und unerwartet.

Das Erste, was uns bei der Verwendung von ChatGPT oder BARD auffällt, ist ihre Fähigkeit, sehr natürlichen Text zu produzieren. Das ist nicht überraschend; genau dafür sind sie konzipiert, und genau darum geht es bei diesen 575 Gigabyte Text. Unerwartet ist jedoch, dass LLMs auf eine Weise, die wir noch nicht verstehen, auch andere Fähigkeiten erwerben: Fähigkeiten, die implizit innerhalb des riesigen Textkorpus, mit dem sie trainiert werden, verstanden werden müssen.

Beispielsweise können wir ChatGPT bitten, einen Text zusammenzufassen, und es leistet im Allgemeinen gute Arbeit. Wir können es bitten, wichtige Punkte aus einem Text zu extrahieren oder Textfragmente zu vergleichen, und auch diese Aufgaben scheinen ihm recht gut zu gelingen. Während KI-Forscher bei der Veröffentlichung von GPT-3 im Jahr 2020 von der Leistungsfähigkeit von LLMs alarmiert waren, wurde der Rest der Welt erst mit der Veröffentlichung von ChatGPT im November 2022 aufmerksam. Innerhalb weniger Monate zog es Hunderte Millionen Nutzer an. KI ist seit einem Jahrzehnt ein häufiges Thema, doch die Aufregung in Presse und sozialen Medien nach der Veröffentlichung von ChatGPT war beispiellos: KI ging viral.

Das Zeitalter der künstlichen Intelligenz

An dieser Stelle muss ich etwas Tröstliches sagen. Dank ChatGPT haben wir endlich das Zeitalter der künstlichen Intelligenz erreicht. Täglich interagieren Hunderte Millionen Menschen mit der komplexesten KI der Welt. Dies erforderte 70 Jahre wissenschaftliche Anstrengung, unzählige Karrieren, Milliardeninvestitionen, Hunderttausende wissenschaftliche Arbeiten und KI-Supercomputer, die monatelang auf Hochtouren liefen. Die künstliche Intelligenz, die die Welt endlich erreicht hat, ist … Auftragsabwicklung.

Die Zukunft von Billionen-Dollar-Unternehmen steht auf dem Spiel. Ihr Schicksal hängt davon ab, Anfragen zu erfüllen. Genau das, was Ihr Handy tut. Als KI-Forscher, der seit über 30 Jahren in diesem Bereich arbeitet, muss ich sagen, dass ich diese Situation zutiefst beunruhigend finde. Sie ist wirklich beschämend. Wer hätte vorhersehen können, dass diese Art von KI letztendlich die höchsten Preise erzielen würde?

Jedes Mal, wenn wir rasante Fortschritte in der KI erleben, verkündet irgendwann jemand, wir seien am Ende – wir seien auf dem Weg zur echten KI. Angesichts des Erfolgs von LLMs ist es nicht verwunderlich, dass ähnliche Behauptungen jetzt aufgestellt werden. Halten wir also inne und reflektieren wir. Wenn wir in der KI erfolgreich sind, müssen Maschinen alles können, was ein Mensch kann.

Betrachten wir die zwei Hauptzweige der menschlichen Intelligenz: Der eine umfasst rein geistige, der andere körperliche Fähigkeiten. Zu den geistigen Fähigkeiten gehören beispielsweise logisches und abstraktes Denken, gesundes Denken (wie das Verständnis, dass ein heruntergefallenes Ei zerbricht oder dass ich Kansas nicht essen kann), numerisches und mathematisches Denken, Problemlösung und Planung, natürliche Sprachverarbeitung, eine logische Denkweise, eine Aktivität, die Fähigkeit zum Erinnern und die Fähigkeit zur Empathie. Zu den körperlichen Fähigkeiten gehören sensorisches Verständnis (d. h. die Interpretation von Eingaben unserer fünf Sinne), Mobilität, Navigation, manuelle Geschicklichkeit und Bewegungen, Hand-Auge-Koordination und Propriozeption.

Ich betone, dass dies bei weitem keine vollständige Liste menschlicher Fähigkeiten ist. Aber wenn wir jemals eine echte KI haben – eine KI, die so kompetent ist wie wir –, dann wird sie sicherlich über all diese Fähigkeiten verfügen.

LLMs sind keine echte KI

Das Naheliegendste ist, dass LLMs keine Technologie sind, die für diese physischen Fähigkeiten geeignet ist. LLMs existieren in der realen Welt nicht, und die Herausforderungen der Roboter-KI haben für die Aufgaben, für die LLMs entwickelt wurden, keinerlei Relevanz. Zudem sind die Fortschritte in der Roboter-KI deutlich langsamer als bei LLMs. Überraschenderweise sind Roboterfähigkeiten wie manuelle Geschicklichkeit noch weit von der Lösung entfernt. Darüber hinaus bieten LLMs keine Lösung für diese Herausforderungen.

Man könnte ein KI-System natürlich als reine Softwareintelligenz betrachten. Wie schneiden LLMs im Vergleich zu den oben genannten mentalen Fähigkeiten ab? Man könnte argumentieren, dass LLMs nur in der Verarbeitung natürlicher Sprache – also der Fähigkeit, effektiv in gewöhnlichen menschlichen Sprachen zu kommunizieren – wirklich bedeutende Fortschritte gemacht haben. Nicht überraschend, denn dafür wurden sie entwickelt.

Doch ihre beeindruckende Kompetenz in menschenähnlicher Kommunikation lässt uns vielleicht glauben, dass sie in anderen Bereichen weitaus kompetenter sind, als sie es tatsächlich sind. Sie können zwar einiges an künstlichem logischem Denken und Problemlösen leisten, doch diese sind derzeit oberflächlich. Vielleicht sollte es uns überraschen, dass sie über die Verarbeitung natürlicher Sprache hinaus überhaupt etwas können. Sie wurden für nichts anderes entwickelt, daher sind die anderen Fähigkeiten ein Bonus; alle zusätzlichen Fähigkeiten müssen implizit im Text enthalten sein, mit dem das System trainiert wurde.

Aus diesen und weiteren Gründen erscheint es mir unwahrscheinlich, dass LLM-Technologie allein einen Weg zu „echter KI“ bietet. Sie existieren in unserer Welt nicht wirklich, und sie merken es nicht einmal. Wenn Sie ein LLM mitten im Gespräch verlassen und für eine Woche in den Urlaub fahren, werden sie sich nicht fragen, wo Sie sind. Sie nehmen den Lauf der Zeit nicht wahr und wissen eigentlich gar nichts. Sie sind ein Computerprogramm, das buchstäblich nichts tut, bis Sie eine Eingabeaufforderung eingeben. Dann berechnet es einfach eine Antwort darauf, woraufhin es wieder nichts tut. Ihr enzyklopädisches Wissen über die Welt bleibt auf dem Stand, an dem sie trainiert wurden. Darüber hinaus wissen sie nichts.

Darüber hinaus haben LLMs noch nie etwas erlebt. Sie sind einfach nur Programme, die unvorstellbare Mengen an Text verarbeitet haben. LLMs können das Gefühl, betrunken zu sein, zwar hervorragend beschreiben, aber das liegt daran, dass sie unzählige Beschreibungen davon gelesen haben. Sie haben es nicht selbst erlebt und können es auch nicht. Ihr einziges Ziel ist es, die bestmögliche Antwort auf alle Fragen zu formulieren, die man ihnen stellt.

Das heißt nicht, dass sie nicht beeindruckend (was sie sind) oder nicht nützlich (was sie sind) sind. Ich glaube tatsächlich, dass wir uns an einem echten technologischen Wendepunkt befinden. Aber verwechseln wir diese echten Errungenschaften nicht mit „echter KI“. LLMs mögen eine Zutat in der Formel für echte KI sein, aber sie sind sicherlich nicht die ganze Formel, und ich vermute, wir kennen einige der anderen Zutaten noch nicht.