Glossar

Forward Pass (Vorwärtsdurchlauf)

Ein Forward Pass, auf Deutsch Vorwärtsdurchlauf, ist der Weg der Zahlen durch ein Modell: vom Input durch alle Schichten bis zur Vorhersage. Die Parameter bleiben dabei, wie sie sind; das Modell rechnet nur.

Bei einem Sprachmodell ist das derselbe Weg wie beim Antworten. Der Output Head liefert an jeder Position Scores für das nächste Token; erst Softmax macht daraus Prozente. Im Training steht der ganze Text schon fest, deshalb rechnet ein einziger Vorwärtsdurchlauf die Vorhersagen für alle Positionen zugleich. Die Causal Mask sorgt dafür, dass keine Position dabei auf spätere Wörter schaut.

Ein Beispiel: Für „Der Hund jagt die Katze“, vereinfacht mit einem Token pro Wort, liefert ein Vorwärtsdurchlauf vier Vorhersagen auf einmal: nach „Der“ für „Hund“, nach „Der Hund“ für „jagt“ und so weiter. Jede bekommt Strafpunkte, ihr Durchschnitt ist der Loss.

Nicht verwechseln mit dem ganzen Training: Der Vorwärtsdurchlauf misst nur, er verändert nichts. Erst der Rückweg, die Backpropagation, ermittelt, wie jeder Parameter zum Loss beigetragen hat, und danach stellt der Trainingsalgorithmus nach. Der Rückweg kostet etwa doppelt so viel Rechenarbeit wie der Vorwärtsdurchlauf.

Wo du dem Begriff begegnest: In technischen Texten über Training und Rechenkosten heißt es oft „forward and backward pass“, Vorwärts- und Rückweg. Bei der Inferenz, also beim Antworten, gibt es nur den Vorwärtsdurchlauf, einmal für jedes neue Token.

Eingeführt in Forward Pass und Loss: Wie das Modell seinen eigenen Fehler misst.

Zuletzt geändert am · Commit 7edbb52