Glossar
Embedding-Matrix
Die Embedding-Matrix ist die Tabelle, aus der ein Sprachmodell die Embeddings seiner Tokens holt. Sie hat eine Zeile für jedes Token des Vokabulars, und jede Zeile ist so lang wie ein Embedding. Die Token-ID ist die Zeilennummer: Das Modell rechnet an dieser Stelle nichts, es schlägt nur nach. Die Zahlen in der Tabelle gehören zu den Parametern und werden im Training gelernt.
Ein Beispiel: Bei GPT-2 hat die Embedding-Matrix 50.257 Zeilen zu je 768 Zahlen, zusammen knapp 39 Millionen Zahlen, rund ein Drittel der 124 Millionen Parameter der kleinsten GPT-2-Version. Jeder neue Eintrag im Vokabular bringt eine weitere Zeile mit gleich vielen Zahlen, und die Tabelle wächst entsprechend; ein Vokabular mit mehr Einträgen braucht also eine größere Tabelle mit mehr Zahlen.
Nicht verwechseln mit dem Vokabular: Das Vokabular ist die Liste der Textstücke mit ihren Nummern und gehört zum Tokenizer. Die Embedding-Matrix gehört zum Modell und enthält zu jeder Nummer die gelernten Zahlen. Deshalb passen Tokenizer und Modell nur als festes Paar zusammen.
Wo du dem Begriff begegnest: In Erklärungen zum Aufbau von Sprachmodellen und in Angaben zur Modellgröße, oft auch als Embedding-Tabelle oder Embedding-Schicht.
Eingeführt in Embeddings: wie aus einer Nummer ein gelernter Vektor wird.