Glossar

Tokenizer

Ein Tokenizer zerlegt Text nach festen Regeln in Tokens, also in Textstücke. Mithilfe seines Vokabulars ordnet er jedem Stück eine Zahl zu: die dazugehörige Token-ID. Das Vokabular ist eine feste Liste aller Einträge, meist Textstücke. Bei vielen Tokenizern besteht das Vokabular aus Subword-Tokens, also aus Wortstücken. Das können häufige ganze Wörter, Wortteile oder einzelne Zeichen sein. Die Einteilung richtet sich nicht nach Silben, sondern danach, welche Buchstabenfolgen in den Texten oft vorkamen, aus denen der Tokenizer gebaut wurde. Beim Dekodieren setzt er Zahlenfolgen wieder zu Text zusammen.

Ein Modell braucht genau den Tokenizer, mit dem es trainiert wurde, denn es hat seine Zahlen für genau diese Token-IDs gelernt. Mehrere Modelle einer Familie können sich denselben Tokenizer teilen.

Ein Beispiel: Schreibst du einem Chatbot eine Frage, zerlegt der Tokenizer sie in Tokens und übersetzt sie in eine Folge von Zahlen. Die Chat-App ergänzt sie um Anweisungen und Verlauf; die ganze Folge geht ins Modell. Auch die Antwort entsteht als IDs, die er wieder in Text verwandelt.

Nicht verwechseln mit dem Modell: Der Tokenizer wandelt Text nach festen Regeln in IDs und die IDs wieder in Text um. Deshalb wird derselbe Text immer gleich zerlegt. Das Sprachmodell berechnet dagegen für jedes Stück seines Vokabulars eine Bewertung, den Score. Ein weiterer Schritt wählt daraus das nächste Stück, oft mit etwas Zufall.

Wo du dem Begriff begegnest: Ein Tokenizer bestimmt, wie viele Tokens ein Text ergibt. Nutzt du ein Modell über einen Entwicklerzugang (API, eine Schnittstelle für Programme), zahlst du oft pro Token. Auch wie schnell ein langer Chat das Kontextfenster füllt, hängt davon ab.

Mehr dazu: Tokenizer: Wie Text in Tokens zerfällt. Kodieren und Dekodieren zeigt Token-IDs: Was eine Nummer bedeutet.

Zuletzt geändert am · Commit e2bbd84