Glossar
Embedding
Ein Embedding ist die lange Liste gelernter Zahlen, die ein Sprachmodell für ein Token verwendet, also ein Vektor. Die Token-ID sagt nur, welches Textstück gemeint ist; das Modell benutzt sie als Zeilennummer und holt sich das Embedding aus der Embedding-Matrix. Vor dem Training stehen dort Zufallszahlen. Das Training stellt sie so nach, dass Vorhersagen besser passen, und dabei bekommen Tokens, die in ähnlichen Umgebungen stehen, ähnliche Embeddings. Die einzelnen Zahlen haben dabei meist keinen Namen. Am Eingang ist das Embedding bei jedem Vorkommen desselben Tokens gleich; den Kontext bringen erst die späteren Rechenstufen ins Spiel.
Ein Beispiel: Bei GPT-2 hat jedes Embedding 768 Zahlen. Die nächsten Nachbarn von „apple“ sind „apples“ und „Apple“, danach folgen „cider“ (Apfelwein), „peach“, „lemon“ (Zitrone) und „fruit“ (Obst). Die nächsten Nachbarn von „Apple“ dagegen sind „iPhone“, „apple“ und „iOS“, denn großgeschrieben ist es ein anderes Token.
Nicht verwechseln mit Text-Embeddings für die Suche: Manche Modelle verwandeln einen ganzen Text in einen einzigen Vektor, etwa um ähnliche Dokumente zu finden. Das heißt ebenfalls Embedding, ist aber etwas anderes als die Zeile pro Token am Eingang eines Sprachmodells.
Wo du dem Begriff begegnest: In Erklärungen, wie Sprachmodelle Text in Zahlen verwandeln, und in Beschreibungen von Suchfunktionen, die „mit Embeddings“ arbeiten.
Eingeführt in Embeddings: wie aus einer Nummer ein gelernter Vektor wird.