Themenbereich 2 von 4
Der Weg durchs Modell
Ein Prompt geht hinein, ein Token kommt heraus — du folgst Schritt für Schritt allem, was dazwischen passiert.
Worum es hier geht
Dieser Themenbereich folgt einer einzelnen Eingabe durch ein Sprachmodell. Du siehst, wie Text zerlegt und in Zahlen übersetzt wird, wie Kontext in den Zwischenzustand einfließt und wie daraus die Vorhersage für das nächste Textstück entsteht.
Die einzelnen Bausteine bleiben eigenständig verständlich. Zusammen ergeben sie eine technische Wegkarte vom Prompt bis zur Ausgabe.
Themenbereich 2 von 4
Die Bausteine in diesem Themenbereich
Jeder Baustein funktioniert für sich. In dieser Reihenfolge greifen die Begriffe besonders sauber ineinander.
Was ein KI-Modell eigentlich ist
Was ist ein KI-Modell? Keine Datenbank voller Fakten, sondern Milliarden Zahlen, in denen Wissen verteilt steckt. Daraus entstehen Antworten und Erfindungen.
Gelesen≈ 16 Min.Schichten: Wie aus vielen Neuronen ein Netz wird
Viele Neuronen rechnen mit denselben Zahlen, und ihre Ausgaben werden zu den Eingaben der nächsten Schicht. Warum die Untergrenze einen Gipfel möglich macht, den zwei Schichten ohne sie nicht bilden, und was eine Angabe wie „96 Schichten“ meint.
Gelesen≈ 9 Min.Tokenisierung im Modell: Sequenzen, Spezialtokens, Kontextfenster
Wie aus einem Chat mit Rollen eine einzige Tokenfolge wird, wozu Spezial-Tokens dienen und was alles ins Kontextfenster passen muss.
Gelesen≈ 14 Min.Embeddings: Wie aus einer Nummer ein gelernter Vektor wird
Warum eine Token-ID nichts über Ähnlichkeit verrät, wie im Training aus Zufallszahlen ähnliche Steckbriefe für ähnlich verwendete Tokens werden und was ein großes Vokabular kostet.
Gelesen≈ 13 Min.Transformerblöcke und Attention: Wie Kontext eingemischt wird
Wie ein Sprachmodell die Information früherer Wörter in jedes Token einmischt, warum es nicht nach vorne schauen darf und wie viele Blöcke dabei arbeiten.
Gelesen≈ 16 Min.Output Head: Vom letzten Zustand zur Vorhersage
Wie ein Sprachmodell aus seinem letzten Zustand einen Score für jedes Token berechnet und warum dabei nur die letzte Position zählt.
Gelesen≈ 16 Min.
Zum Nachschlagen
Begriffe aus diesem Themenbereich
Kurze Erklärungen zu den Fachbegriffen, die in den bereits lesbaren Bausteinen vorkommen.
- Architektur
- Attention
- Bildklassifikator
- Causal Mask
- Chat-Vorlage
- Diffusionsmodell
- Embedding
- Embedding-Matrix
- Feed-Forward-Netz
- Halluzination
- Input
- Kontextfenster
- Matrix
- Modell
- Multimodales Modell
- Output Head
- Parameter
- Positions-Embedding
- Sampling
- Schicht
- Score
- Softmax
- Spamfilter
- Spezial-Token
- Sprachmodell
- Token
- Token-ID
- Tokenizer
- Trainingsdaten
- Transformer
- Transformerblock
- Vektor
- Vokabular
- Zwischenwert