Themenbereich 2 von 4

Der Weg durchs Modell

Ein Prompt geht hinein, ein Token kommt heraus — du folgst Schritt für Schritt allem, was dazwischen passiert.

0 von 6 lesbaren Bausteinen gelesen6 von 6 Bausteinen lesbarLoslegen

Worum es hier geht

Dieser Themenbereich folgt einer einzelnen Eingabe durch ein Sprachmodell. Du siehst, wie Text zerlegt und in Zahlen übersetzt wird, wie Kontext in den Zwischenzustand einfließt und wie daraus die Vorhersage für das nächste Textstück entsteht.

Die einzelnen Bausteine bleiben eigenständig verständlich. Zusammen ergeben sie eine technische Wegkarte vom Prompt bis zur Ausgabe.

Themenbereich 2 von 4

Die Bausteine in diesem Themenbereich

Jeder Baustein funktioniert für sich. In dieser Reihenfolge greifen die Begriffe besonders sauber ineinander.

  1. Was ein KI-Modell eigentlich ist

    Was ist ein KI-Modell? Keine Datenbank voller Fakten, sondern Milliarden Zahlen, in denen Wissen verteilt steckt. Daraus entstehen Antworten und Erfindungen.

    Gelesen≈ 16 Min.
  2. Schichten: Wie aus vielen Neuronen ein Netz wird

    Viele Neuronen rechnen mit denselben Zahlen, und ihre Ausgaben werden zu den Eingaben der nächsten Schicht. Warum die Untergrenze einen Gipfel möglich macht, den zwei Schichten ohne sie nicht bilden, und was eine Angabe wie „96 Schichten“ meint.

    Gelesen≈ 9 Min.
  3. Tokenisierung im Modell: Sequenzen, Spezialtokens, Kontextfenster

    Wie aus einem Chat mit Rollen eine einzige Tokenfolge wird, wozu Spezial-Tokens dienen und was alles ins Kontextfenster passen muss.

    Gelesen≈ 14 Min.
  4. Embeddings: Wie aus einer Nummer ein gelernter Vektor wird

    Warum eine Token-ID nichts über Ähnlichkeit verrät, wie im Training aus Zufallszahlen ähnliche Steckbriefe für ähnlich verwendete Tokens werden und was ein großes Vokabular kostet.

    Gelesen≈ 13 Min.
  5. Transformerblöcke und Attention: Wie Kontext eingemischt wird

    Wie ein Sprachmodell die Information früherer Wörter in jedes Token einmischt, warum es nicht nach vorne schauen darf und wie viele Blöcke dabei arbeiten.

    Gelesen≈ 16 Min.
  6. Output Head: Vom letzten Zustand zur Vorhersage

    Wie ein Sprachmodell aus seinem letzten Zustand einen Score für jedes Token berechnet und warum dabei nur die letzte Position zählt.

    Gelesen≈ 16 Min.

Zum Nachschlagen

Begriffe aus diesem Themenbereich

Kurze Erklärungen zu den Fachbegriffen, die in den bereits lesbaren Bausteinen vorkommen.