Themenbereich 3 von 4
Wie Lernen funktioniert
Wie lernt eine KI? Sie misst ihren Fehler, verfolgt Verbesserungen rückwärts durch ihre Rechenschritte und ändert ihre Gewichte Schritt für Schritt.
Worum es hier geht
Hier geht es um den Vorgang, durch den aus einer noch ungeübten Rechenstruktur ein nützliches Modell wird. Du verfolgst, wie Trainingsaufgaben entstehen, wie Fehler messbar werden und wie viele kleine Parameteränderungen das Verhalten allmählich verbessern.
Die Reihenfolge macht einen sonst schwer sichtbaren Kreislauf greifbar: vorhersagen, Fehler bestimmen, den Einfluss jedes Gewichts berechnen und die Gewichte gezielt verändern.
Themenbereich 3 von 4
Die Bausteine in diesem Themenbereich
Jeder Baustein funktioniert für sich. In dieser Reihenfolge greifen die Begriffe besonders sauber ineinander.
Aus Text werden viele Übungsaufgaben
Warum für das Training eines Sprachmodells niemand Lösungen aufschreibt, wie aus vielen Texten Folgen fester Länge werden und welcher Text überhaupt hineinkommt.
Gelesen≈ 15 Min.Forward Pass und Loss: Wie das Modell seinen eigenen Fehler misst
Wie aus den Prozenten eines Sprachmodells für das tatsächlich folgende Token Strafpunkte werden, wie daraus eine einzige Zahl für einen ganzen Stapel Text entsteht und was diese Zahl nicht misst.
Gelesen≈ 13 Min.Backpropagation und Gradienten: Wie das Modell weiß, was es ändern muss
Wie das Training aus einer einzigen Fehlerzahl für jeden Regler Richtung und Stärke ausrechnet, warum dafür ein Rückweg durch das Modell genügt und warum dabei noch kein Regler bewegt wird.
Gelesen≈ 15 Min.Optimierung: Wer die Gewichte tatsächlich ändert
Wie der Optimierer aus den Zetteln der Backpropagation echte Schritte macht: mit Schwung, mit einer eigenen Schrittweite für jeden Regler, mit einem leisen Zug Richtung null und nach einem Plan für die Lernrate.
Gelesen≈ 16 Min.Batch, Epoch, Step, Tokenbudget: Wie man Trainingsfortschritt misst
Wie man ein Training in Schritten und Tokens zählt, warum ein Sprachmodell wie GPT-3 manche Quellen nicht einmal halb und andere mehrfach sieht, woran ein zurückgehaltener Prüftext echtes Lernen erkennt und wie viel Text auf wie viele Regler kommt.
Gelesen≈ 14 Min.
Zum Nachschlagen
Begriffe aus diesem Themenbereich
Kurze Erklärungen zu den Fachbegriffen, die in den bereits lesbaren Bausteinen vorkommen.
- Backpropagation
- Batch (Stapel)
- Epoche
- Forward Pass (Vorwärtsdurchlauf)
- Gradient
- Grundregler
- Hyperparameter
- Kontextfenster
- Label (Target)
- Lernrate
- Lernraten-Plan
- Loss (Cross-Entropy)
- Momentum
- Neuron
- Optimierer
- Parameter
- Schicht
- Schritt
- Selbstüberwachtes Lernen
- Softmax
- Spezial-Token
- Token
- Tokenbudget
- Tokenizer
- Trainingsalgorithmus
- Trainingsdaten
- Überanpassung
- Validierungs-Loss
- Wahrscheinlichkeit
- Weight Decay
- Zwischenwert