Wer ChatGPT zum ersten Mal benutzt, ist oft verblüfft von der scheinbaren Allwissenheit des Systems. Egal ob es um die Interpretation von Goethes Faust, die Erstellung eines komplexen Programmiercodes oder ein Rezept für vegane Lasagne geht – die Künstliche Intelligenz liefert in Sekundenschnelle Antworten, die oft so klingen, als hätte ein gebildeter Mensch sie verfasst. Doch hinter dieser Eloquenz verbirgt sich kein echtes Bewusstsein und auch keine klassische Datenbank, die Fakten wie ein Lexikon abruft. Die Frage „Woher hat ChatGPT sein Wissen?“ führt tief in die Funktionsweise großer Sprachmodelle (Large Language Models, LLMs) und offenbart, warum die KI manchmal brillant ist und im nächsten Moment plausibel klingenden Unsinn erzählt. Für Unternehmer, die diese Technologie nutzen wollen, ist das Verständnis dieser Mechanismen essenziell, um die Ergebnisse richtig einschätzen zu können.
Das Fundament: Ein gigantischer Korpus aus Textdaten
Die Basis des „Wissens“ von ChatGPT ist ein Prozess, der als Pre-Training bezeichnet wird. Man kann sich die KI in diesem Stadium wie einen extrem belesenen Schüler vorstellen, der jahrelang in einer Bibliothek eingeschlossen war und alles gelesen hat, was ihm in die Finger kam. Die Entwicklerfirma OpenAI hat das Modell mit einer unvorstellbaren Menge an Textdaten gefüttert.
Ein Großteil dieser Daten stammt aus dem sogenannten „Common Crawl“. Das ist ein offenes Archiv, das seit Jahren das Internet durchsucht und Webseiten speichert. Milliarden von Webseiten, Artikeln, Forenbeiträgen und Blogs bilden das Grundrauschen des Trainings. Hinzu kommen spezialisierte Datensätze. Dazu gehört der „WebText2“, der Inhalte von besonders vertrauenswürdigen und häufig verlinkten Webseiten umfasst, um die Qualität der Sprache zu sichern.
Ein weiterer wesentlicher Baustein sind Bücher. Tausende von Romanen, Sachbüchern und Biografien lehren die KI, wie man lange Erzählstränge aufbaut und komplexe Zusammenhänge formuliert. Nicht zuletzt wurde das Modell auch mit Unmengen an Programmcode gefüttert, was seine Fähigkeit erklärt, Software zu schreiben und Fehler im Code zu finden. Wichtig zu verstehen ist: ChatGPT speichert diese Texte nicht eins zu eins ab. Es „liest“ sie nicht, um Fakten auswendig zu lernen, sondern um Muster zu erkennen.
Wahrscheinlichkeit statt Wissen: Das Prinzip der Vorhersage
Hier liegt das größte Missverständnis in der Wahrnehmung der KI. ChatGPT hat kein Weltwissen im menschlichen Sinne. Es weiß nicht, dass Paris die Hauptstadt von Frankreich ist, weil es dort war oder eine Karte gesehen hat. Es weiß es, weil in den Trainingsdaten das Wort „Paris“ statistisch extrem häufig in der Nähe der Wörter „Hauptstadt“ und „Frankreich“ auftaucht.
Das Modell basiert auf der Transformer-Architektur. Vereinfacht gesagt, ist es eine extrem leistungsfähige Autovervollständigung. Es analysiert den eingegebenen Text und berechnet, welches Wort (oder genauer: welches Token, also Wortteil) mit der höchsten Wahrscheinlichkeit als nächstes folgen sollte. Wenn Sie den Satz „Der Himmel ist…“ eingeben, berechnet das Modell, dass „blau“ eine sehr viel höhere Wahrscheinlichkeit hat als „grün“ oder „Käsebrot“.
Diese Berechnungen basieren auf Milliarden von Parametern – den Gewichtungen im neuronalen Netz, die während des Trainings justiert wurden. Das „Wissen“ der KI ist also eigentlich in statistische Wahrscheinlichkeiten gegossene Sprache. Das erklärt auch, warum die KI sehr gut dichten und formulieren kann, aber bei reinen Faktenabfragen manchmal scheitert: Sie priorisiert das Wort, das in den Kontext passt, nicht zwingend das Wort, das faktisch wahr ist.
Der menschliche Faktor: Reinforcement Learning from Human Feedback
Würde man das Modell nur mit den Rohdaten des Internets trainieren, wäre das Ergebnis oft unbrauchbar, beleidigend oder chaotisch, da das Internet voll von Hassrede, Falschinformationen und Wirrwarr ist. Damit ChatGPT ein hilfreicher Assistent wird, durchläuft es eine zweite, entscheidende Trainingsphase: das Fein-Tuning durch Menschen. Dieser Prozess nennt sich „Reinforcement Learning from Human Feedback“ (RLHF).
Dabei bewerten menschliche Trainer die Antworten der KI. Sie stellen Fragen und sortieren die verschiedenen Antworten, die das Modell generiert, nach Qualität. „Diese Antwort ist hilfreich“, „diese Antwort ist falsch“, „diese Antwort ist ethisch bedenklich“. Durch dieses Feedback lernt das Modell, welche Art von Antworten von den Nutzern gewünscht sind. Es lernt, höflich zu sein, gefährliche Anfragen (wie die Anleitung zum Bau einer Bombe) abzulehnen und komplexe Aufgaben strukturiert zu lösen. Das „Wissen“, wie man ein guter Gesprächspartner ist, stammt also nicht aus den Datenmengen, sondern aus dieser kuratierten menschlichen Anleitung. Ohne diesen Schritt wäre ChatGPT nur ein unkontrollierter Papagei des Internets.
Die Grenzen: Der Knowledge Cutoff und das Halluzinieren
Da das Training eines solchen Modells Monate dauert und Millionen von Dollar an Rechenleistung verschlingt, ist das Wissen von ChatGPT oft statisch. Lange Zeit endete das Wissen des Modells an einem bestimmten Stichtag (Knowledge Cutoff), etwa im Jahr 2021 oder 2023. Alles, was danach geschah – politische Wahlen, neue Gesetze, sportliche Ereignisse –, war für die KI nicht existent. Neuere Versionen versuchen dies durch den Zugriff auf Live-Suchmaschinen (wie Bing) zu kompensieren, doch der Kern des Modells bleibt auf die Trainingsdaten beschränkt.
Ein daraus resultierendes Problem ist das sogenannte „Halluzinieren“. Da die KI darauf trainiert ist, immer eine Antwort zu liefern und Sätze zu vervollständigen, die plausibel klingen, erfindet sie manchmal Fakten. Wenn sie nach einer Biografie einer nicht-existenten Person gefragt wird, kann es passieren, dass sie einen täuschend echten Lebenslauf erfindet, einfach weil das Muster eines Lebenslaufs ihr bekannt ist. Für Unternehmer bedeutet das: ChatGPT ist ein Werkzeug zur Inspiration, zur Textstrukturierung und zur Ideengebung, aber keine verlässliche Faktenquelle. Jede Zahl und jede Behauptung muss verifiziert werden.
Die rechtliche Grauzone: Wem gehört das Wissen?
Die Frage nach der Herkunft des Wissens hat auch eine juristische Dimension, die gerade Unternehmer im Blick behalten sollten. Die Trainingsdaten wurden oft ohne explizite Erlaubnis der Urheber aus dem Netz gescraped. Verlage, Autoren und Künstler klagen mittlerweile gegen die Betreiber der KI-Modelle, da sie ihre geistigen Schöpfungen als ungefragt genutzten Rohstoff sehen. Während in den USA oft das Prinzip des „Fair Use“ angeführt wird, ist die Rechtslage in Europa komplexer.
Wenn ChatGPT also Wissen nutzt, um einen Marketingtext für Sie zu schreiben, basiert dieser Text auf der kollektiven Kreativität von Millionen Menschen. Das Ergebnis selbst ist nach aktueller Rechtsauffassung in vielen Ländern (noch) nicht urheberrechtlich schützbar, da es nicht von einem Menschen geschaffen wurde. Das Wissen der KI ist somit ein Allgemeingut, das technologisch privatisiert und dann wieder als Dienstleistung verkauft wird.
Ein Spiegel unserer eigenen Daten
Zusammenfassend lässt sich sagen: ChatGPT hat sein Wissen von uns. Es ist ein gigantischer Spiegel der menschlichen Kultur, wie sie im Internet, in Büchern und im Code abgebildet ist. Es ordnet dieses Wissen neu, verknüpft es durch statistische Wahrscheinlichkeiten und wird durch menschliches Feedback in eine hilfreiche Form gepresst. Wer versteht, dass die KI nicht „denkt“, sondern „berechnet“, kann ihre Stärken nutzen, ohne auf ihre Schwächen hereinzufallen.
