Wie funktionieren Sprachmodelle wirklich? Ein Blick hinter die Kulissen von ChatGPT und Co.

Die Künstliche Intelligenz hat sich in den letzten Jahren rasant entwickelt, und generative KI-Modelle wie ChatGPT sind dabei ganz vorne mit dabei. Doch wie funktionieren sie eigentlich? Wie schafft es ein Modell, sinnvolle und manchmal erstaunlich kreative Antworten auf unsere Fragen zu geben, obwohl es nicht auf eine klassische Datenbank zugreift? In diesem Blogbeitrag werfen wir einen Blick hinter die Kulissen und erklären, wie ein Sprachmodell arbeitet.

Vom Textwust zur „intelligenten“ Antwort: Der Trainingsprozess

Bevor ChatGPT kluge Antworten geben kann, muss es ordentlich lernen. Der erste Schritt dafür ist eine riesige Sammlung von Texten aus verschiedenen Quellen: Bücher, Webseiten, Artikel, Foren – alles, was das Modell auf Trab bringt. Anders als eine Datenbank speichert ein Sprachmodell aber keine Fakten, sondern erkennt Muster und Zusammenhänge zwischen Wörtern.

1. Daten sammeln und vorbereiten:
   Die Trainingsdaten sind in vielen Sprachen und zu verschiedensten Themen verfügbar. Doch ein Sprachmodell „liest“ Texte nicht wie wir, sondern zerlegt sie in mathematische Einheiten. Jedes Wort (oder Wortteil) wird zu einem „Token“, das das Modell verstehen kann.
2. Selbstlernen durch Vorhersagen:
   Das Modell lernt, indem es versucht, in einem Satz das nächste Wort vorherzusagen. Die Frage lautet also: Was passt als nächstes am besten? Das Modell spielt unzählige solcher Szenarien durch und entwickelt dabei eine Vorstellung davon, welche Wörter oft gemeinsam auftreten.

Transformer-Architektur: Das Herzstück eines KI-Modells

Hier kommt die „Transformer-Architektur“ ins Spiel – das technologische Rückgrat von ChatGPT. Das Besondere: Transformers verarbeiten alle Wörter eines Satzes gleichzeitig und analysieren die Beziehungen zwischen ihnen.

• Self-Attention-Mechanismus:
  Stellen wir uns vor, das Modell liest: „Der Kater jagte die Maus.“ Dank der Self-Attention-Technik versteht es, dass „Kater“ und „jagte“ in Zusammenhang stehen. Und zwar unabhängig davon, wie weit sie voneinander entfernt stehen.
• Schicht für Schicht zur Bedeutung:
  Das Modell ist in vielen Schichten organisiert, die immer detaillierter das Muster in den Daten erkennen. Dabei wird jedes Wort in eine Art Bedeutungscode umgewandelt – ein bisschen wie eine mathematische „Bedeutungs-Koordinate“ für jedes Wort. Und die Millionen von Gewichtungen, die das Modell anlegt? Diese sind quasi das Gedächtnis des Modells: Hier werden alle Wahrscheinlichkeiten und Zusammenhänge gespeichert.

Wie entsteht eine Antwort? Vom Token zur Sprache

Wenn du dem Modell eine Frage stellst, wird deine Eingabe ebenfalls in Tokens zerlegt. Anschließend passiert Folgendes:

1. Berechnung von Wahrscheinlichkeiten:
   ChatGPT berechnet, welches Wort oder Token als nächstes im Satz am wahrscheinlichsten ist. Die Auswahl basiert darauf, was das Modell im Training „gelernt“ hat – es ist eine Rekonstruktion dessen, was am besten passt.
2. Die Kunst der Textgenerierung:
   Das Modell generiert Wort für Wort, aber nicht immer mit der gleichen Sicherheit. Parameter wie „Temperatur“ steuern, ob die Antwort eher „kreativ“ oder „logisch-strukturiert“ ausfallen soll. Möchtest du eine streng rationale Antwort? Dann kann die Temperatur niedrig sein. Soll es kreativer werden, wird sie erhöht.

Warum keine echte Datenbank? Fakten vs. Wahrscheinlichkeiten

Ein Sprachmodell wie ChatGPT greift nicht auf gespeicherte Fakten zurück – es rekonstruiert Text basierend auf Wahrscheinlichkeiten. Das ist, als ob du nach einer Weile der Übung immer besser darin würdest, im Gespräch schnell passende Antworten zu finden, ohne alles Wort für Wort auswendig gelernt zu haben. Daher kann es in einigen Fällen die richtige Antwort liefern, in anderen Fällen jedoch auch „halluzinieren“ und einfach etwas plausibel Klingendes konstruieren.

Zitat

Fun Fact: Da ChatGPT keine Datenbank hat, kann es nicht wissen, wer 2024 die Fußball-Europameisterschaft gewinnt (es sei denn, wir schreiben das Modell nach dem Ereignis neu). Es arbeitet nur mit Mustern und Wahrscheinlichkeiten, keine echte Wissensbasis.

Anpassung und Verbesserung: Feinabstimmung mit Supervised Learning

Große KI-Modelle werden zudem regelmäßig feinabgestimmt, um das Nutzererlebnis zu verbessern und nützliche Antworten auf gängige Fragen zu liefern. Durch zusätzliche Trainingsmethoden wie Reinforcement Learning from Human Feedback (RLHF) kann das Modell „lernen“, in welchen Fällen seine Antworten hilfreich waren und in welchen nicht. Es lernt also aus den Reaktionen, um immer genauer auf Nutzereingaben einzugehen.

GPT2-Excel erklärt Funktionsweise von ChatGPT

Falls du das Prinzip eines Sprachmodells selbst erleben möchtest, hat der Softwareentwickler Ishan Anand GPT-2 in eine Excel-Tabelle gepackt! Diese überraschend gut funktionierende Demo veranschaulicht, wie große Sprachmodelle (LLMs) und die zugrunde liegende Transformer-Architektur die nächste Wortwahl treffen. Die 1,25 GB große Datei steht auf GitHub zum Download bereit und bietet eine großartige Einstiegsmöglichkeit für Entwickler, Produktmanager und andere Interessierte, die das Innenleben eines KI-Modells besser verstehen wollen. Hier geht’s zur Excel-Demo von GPT-2 auf GitHub!

Wichtig: Die Tabelle nutzt GPT-2, das zwar früher als State-of-the-Art galt, aber nicht mit heutigen LLMs wie GPT-4 vergleichbar ist.

Fazit: Keine klassische Datenbank, sondern ein cleveres Wahrscheinlichkeitsmodell

Zusammengefasst lässt sich sagen: Generative KI-Modelle wie ChatGPT funktionieren nicht wie eine Datenbank, die einfach Informationen speichert und auf Knopfdruck ausspuckt. Stattdessen sind sie riesige Wahrscheinlichkeitsrechner, die Muster und Zusammenhänge in Texten erkennen und auf dieser Basis plausible Antworten generieren. Die Künstliche Intelligenz hinter ChatGPT ist also keine „Enzyklopädie“, sondern eine clevere Mischung aus Statistik und Sprachverständnis – faszinierend und ein wenig unheimlich zugleich.