Themenbereich 3 von 4

Wie Lernen funktioniert

Wie lernt eine KI? Sie misst ihren Fehler, verfolgt Verbesserungen rückwärts durch ihre Rechenschritte und ändert ihre Gewichte Schritt für Schritt.

0 von 5 lesbaren Bausteinen gelesen5 von 5 Bausteinen lesbarLoslegen

Worum es hier geht

Hier geht es um den Vorgang, durch den aus einer noch ungeübten Rechenstruktur ein nützliches Modell wird. Du verfolgst, wie Trainingsaufgaben entstehen, wie Fehler messbar werden und wie viele kleine Parameteränderungen das Verhalten allmählich verbessern.

Die Reihenfolge macht einen sonst schwer sichtbaren Kreislauf greifbar: vorhersagen, Fehler bestimmen, den Einfluss jedes Gewichts berechnen und die Gewichte gezielt verändern.

Themenbereich 3 von 4

Die Bausteine in diesem Themenbereich

Jeder Baustein funktioniert für sich. In dieser Reihenfolge greifen die Begriffe besonders sauber ineinander.

  1. Aus Text werden viele Übungsaufgaben

    Warum für das Training eines Sprachmodells niemand Lösungen aufschreibt, wie aus vielen Texten Folgen fester Länge werden und welcher Text überhaupt hineinkommt.

    Gelesen≈ 15 Min.
  2. Forward Pass und Loss: Wie das Modell seinen eigenen Fehler misst

    Wie aus den Prozenten eines Sprachmodells für das tatsächlich folgende Token Strafpunkte werden, wie daraus eine einzige Zahl für einen ganzen Stapel Text entsteht und was diese Zahl nicht misst.

    Gelesen≈ 13 Min.
  3. Backpropagation und Gradienten: Wie das Modell weiß, was es ändern muss

    Wie das Training aus einer einzigen Fehlerzahl für jeden Regler Richtung und Stärke ausrechnet, warum dafür ein Rückweg durch das Modell genügt und warum dabei noch kein Regler bewegt wird.

    Gelesen≈ 15 Min.
  4. Optimierung: Wer die Gewichte tatsächlich ändert

    Wie der Optimierer aus den Zetteln der Backpropagation echte Schritte macht: mit Schwung, mit einer eigenen Schrittweite für jeden Regler, mit einem leisen Zug Richtung null und nach einem Plan für die Lernrate.

    Gelesen≈ 16 Min.
  5. Batch, Epoch, Step, Tokenbudget: Wie man Trainingsfortschritt misst

    Wie man ein Training in Schritten und Tokens zählt, warum ein Sprachmodell wie GPT-3 manche Quellen nicht einmal halb und andere mehrfach sieht, woran ein zurückgehaltener Prüftext echtes Lernen erkennt und wie viel Text auf wie viele Regler kommt.

    Gelesen≈ 14 Min.

Zum Nachschlagen

Begriffe aus diesem Themenbereich

Kurze Erklärungen zu den Fachbegriffen, die in den bereits lesbaren Bausteinen vorkommen.