Baustein 1 von 5 · Wie Lernen funktioniertGelesen
Aus Text werden viele Übungsaufgaben
Warum für das Training eines Sprachmodells niemand Lösungen aufschreibt, wie aus vielen Texten Folgen fester Länge werden und welcher Text überhaupt hineinkommt.
Am Ende des Wegs durchs Modell stand ein Satz über das Training: An jeder Position sagt das Modell das nächste Token voraus, und das wird mit dem echten verglichen. Für Llama 3.1, ein frei verfügbares Sprachmodell der Firma Meta, nennt Meta rund 15 Billionen Textstücke, also Tokens, mit denen es trainiert wurde. Fast jedes davon ist eine kleine Übungsaufgabe: Hier ist der Text bis zu dieser Stelle, was kommt als Nächstes?
Zu einer Aufgabe gehört eine Lösung, sonst gibt es nichts zu vergleichen. Wie viele Menschen haben die Lösungen für diese Billionen Aufgaben aufgeschrieben? Die Antwort steckt in einer einfachen Leseübung mit einer Karte.
Die Lösung steht schon im Text
Leg eine Karte so auf eine Zeile in einem Buch, dass nur der Anfang frei bleibt, etwa die ersten drei Wörter. Rate das nächste Wort, schieb die Karte ein Wort weiter und sieh nach, ob du richtig lagst. Dann das übernächste. Die Lösung musste niemand eigens aufschreiben. Sie stand schon da, nur verdeckt.

Das Schieben ist nur eine Leseübung, und hier endet das Bild: Du rätst Wort für Wort und siehst erst danach nach. Das Modell schiebt keine Karte. Es rechnet alle Aufgaben eines Textes in einem einzigen Durchlauf. Beim Erzeugen liefert nur die letzte Position eine Liste mit einem Wert für jedes mögliche Token, wie im Baustein über den Output Head. Im Training liefert dagegen jede Position ihre eigene Liste: Bei „Der Hund jagt die Katze“ lassen sich so vier Vorhersagen auf einmal prüfen. Jede Position sah nur, was vor ihr steht. Ein eingebauter Filter verdeckt alles Spätere, die Regel „Nicht nach vorne schauen“ aus dem Baustein über Transformerblöcke und Attention. So schreibt keine Position die Lösung ab, obwohl sie in derselben Folge steht.
So entstehen die Übungsaufgaben eines Sprachmodells. Aus dem Baustein über Input und Output kennst du den Satz „Die Katze sitzt auf dem Sofa.“: Der Anfang ist der Input. Das Stück, das darauf folgt, ist sein Label, also die richtige Antwort. Beim Spamfilter aus dem ersten Baustein mussten Menschen jede Mail von Hand markieren. Beim Text erledigt das die Karte: Jede Stelle ergibt eine Aufgabe mit Lösung.
Spiel es an einem ausgedachten Satz durch: „Am Morgen fährt der Bus wieder pünktlich um acht Uhr ab.“ Ein Sprachmodell rechnet nicht mit Wörtern, sondern mit Tokens, den Textstücken, in die sein Tokenizer einen Text zerlegt. Zur Übersicht zählt hier jedes Wort und der Punkt als ein Token. Ein echter Tokenizer zerlegt oft feiner, am Prinzip ändert das nichts.
Live-Demo · zum Ausprobieren
Wie viele Aufgaben stecken in einem Satz?
Zerlegung vereinfacht; GPT-2-Option: echter Tokenizer, kein ModellSchätz zuerst, wie viele Übungsaufgaben der Satz liefert. Dann sieh dir jede einzelne an: alles bis hierher als Frage, das nächste Token als Lösung.
Eigener Satz und echter Tokenizer
Auflösung
Ein Text mit n Tokens liefert n − 1 Aufgaben, denn das letzte Token hat keine Lösung mehr. Wort für Wort hat der Bus-Satz 12 Tokens und damit 11 Aufgaben. Der echte Tokenizer von GPT-2 zerlegt die deutschen Wörter feiner, in 24 Tokens, also 23 Aufgaben.
Die Wort-für-Wort-Zerlegung ist zur Übersicht vereinfacht. Die Zerlegung „GPT-2“ nutzt den echten Tokenizer dieses Modells, ein Modell rechnet hier nicht. Das Durchklicken ist nur eine Lesehilfe: Ein Modell rechnet alle Aufgaben eines Textes gleichzeitig.
Zähl mit:
| Frage: alles bis hierher | Lösung |
|---|---|
| Am | Morgen |
| Am Morgen | fährt |
| Am Morgen fährt | der |
| Am Morgen fährt der | Bus |
| Am Morgen fährt der Bus | wieder |
| Am Morgen fährt der Bus wieder | pünktlich |
| Am Morgen fährt der Bus wieder pünktlich | um |
| Am Morgen fährt der Bus wieder pünktlich um | acht |
| Am Morgen fährt der Bus wieder pünktlich um acht | Uhr |
| Am Morgen fährt der Bus wieder pünktlich um acht Uhr | ab |
| Am Morgen fährt der Bus wieder pünktlich um acht Uhr ab | . |
Es sind 11 Aufgaben, eine für jedes Token, auf das noch eins folgt. Der Punkt am Ende hat in diesem Text keine Lösung mehr. Die Regel gilt für jeden Text: Er liefert eine Aufgabe weniger, als er Tokens hat.
Wie viele Aufgaben stecken in einem ganzen Absatz?
Nimm zwei Sätze: „Heute bleibt es trocken. Morgen soll es regnen.“ Zählt jedes Wort und jeder Punkt als ein Token, sind das 10 Tokens und damit 9 Aufgaben. Ein Absatz mit 100 Wörtern liefert auf dieselbe Weise gut 100 Aufgaben, mit einem echten Tokenizer, der feiner zerlegt, noch mehr. Auf diese Weise kommen bei Billionen Tokens Billionen Aufgaben zusammen.
Eine Liste der Lösungen legt das Modell nicht an. Wie beim Spamfilter verändert das Training nur Zahlen: Die Aufgaben stellen die Parameter, die Regler am Pult des Modells, Stück für Stück nach, sodass die richtige Lösung beim nächsten Mal wahrscheinlicher wird.
Im Grundtraining hat kein Mensch die Lösungen eigens geschrieben. Ein Chatbot wirkt wie jemand, der gelernte Antworten gibt, und für einen späteren Schritt schreiben tatsächlich Menschen Antworten. Für die Billionen Aufgaben davor gilt das nicht: Weil die Lösung im Text selbst steht, wird jeder Text zu Übungsaufgaben. Diese Art zu lernen heißt selbstüberwachtes Lernen. Der Text liefert Aufgabe und Lösung zugleich, er überwacht sich gewissermaßen selbst.
Die allermeisten Sprachmodelle hinter Chatbots haben so angefangen. Diese erste Phase ist das Grundtraining, oft auch Vortraining genannt. Ihr Ergebnis kennst du aus dem Baustein über Training als Grundfassung, etwa von Llama 3.1. Erst danach kommen Beispiele dazu, die Menschen geschrieben oder bewertet haben, damit aus der Grundfassung ein hilfreicher Chatbot wird. Darum geht es in einem späteren Themenbereich.
Ein Satz ist kurz. Echte Texte sind mal drei Wörter lang, mal hundert Seiten, und das Modell übt mit Stücken fester Länge. Wie passt das zusammen?
Viele Texte, eine feste Länge
Erinnerst du dich an den Güterzug aus dem Baustein über Tokenisierung im Modell? Jedes Token war ein Waggon. Spezial-Tokens, also Marken, die für kein Textstück stehen, sondern etwas markieren, waren andersfarbige Markierungswaggons. Und der Prellbock am Gleisende stand für das Kontextfenster, die größte Zahl an Tokens, die das Modell auf einmal verarbeiten kann.
Im Training wird diese Länge voll ausgenutzt. Für GPT-3, ein Vorläufer der Modelle hinter ChatGPT, beschreibt das Forschungspapier das genau: Jede Folge, an der es übte, hatte 2048 Tokens, so viele, wie in sein Kontextfenster passen. Die meisten Texte sind kürzer. Also werden sie hintereinandergehängt, wie Waggons zu einem langen Zug. Zwischen zwei Texten steht jedes Mal ein Ende-Token, die Marke, die anzeigt, dass ein Text zu Ende ist. Im Baustein über Input und Output hieß sie Stopp-Zeichen. Neu ist der Schnitt, und hier endet das Bild vom Güterzug: Einen echten Zug zerschneidet niemand. Dieser wird in Stücke von genau 2048 Tokens geschnitten. Jedes Stück heißt Trainingsfolge. Gleich lang sind die Stücke, weil das Modell mehrere davon zugleich auf den Grafikchips rechnet. Dafür müssen die Stücke in dieselbe rechteckige Zahlentabelle passen. Kürzere Stücke müsste man sonst mit Füll-Tokens auffüllen, Platzhaltern, die nur Platz halten.
Live-Demo · zum Ausprobieren
Mehrere Texte, eine feste Länge
Ausgedachte SimulationZwei ausgedachte Texte, jeweils mit einem Ende-Token dahinter, werden aneinandergehängt und in Folgen geschnitten. Stell die Fensterlänge ein und sieh, wo der Schnitt die Texte trennt.
Auflösung
Die beiden Texte haben mit ihren Ende-Tokens zusammen 13 Tokens. Bei Fensterlänge 8 enthält die erste Folge den Wettersatz, sein Ende-Token und „Der Kuchen“, die zweite beginnt mitten im Kuchensatz. Jede Folge liefert eine Aufgabe weniger, als sie Tokens hat, bei 8 Tokens also 7.
Jedes Wort und jeder Punkt zählt hier als ein Token, zur Übersicht vereinfacht. Die kleinen Fensterlängen dienen nur der Übersicht, GPT-3 schnitt Folgen zu 2048 Tokens.
Ein Beispiel mit zwei ausgedachten Texten zeigt, was dabei entsteht: „Heute bleibt es trocken.“ und „Der Kuchen ist im Ofen.“ Mit einem Ende-Token nach jedem Text sind das 13 Tokens. Angenommen, das Kontextfenster wäre nur 8 Tokens groß. Dann enthält die erste Folge den ganzen Wettersatz, sein Ende-Token und „Der Kuchen“. Die zweite beginnt mitten im Kuchensatz mit „ist im Ofen“, ihren Rest füllt der nächste Text. Ein Text kann also über zwei Folgen verteilt sein.
Eine Folge mit 8 Tokens liefert 7 Aufgaben, eine weniger als Tokens, wie beim Bus-Satz. Bei GPT-3 sind es 2047 Aufgaben pro Folge, also rund 2000. Das Kontextfenster selbst lernt das Modell nicht. Es ist ein Hyperparameter, eine Entscheidung vor dem Training wie die Zahl der Schichten, also der Transformerblöcke hintereinander.
Rund um das Ende-Token stehen zwei besondere Aufgaben. Bei der ersten lautet die Frage „Heute bleibt es trocken.“, und die Lösung ist das Ende-Token selbst. Daraus lernt das Modell, wann ein Text fertig ist. Was lernt es aus der Aufgabe direkt danach, bei der auf das Ende-Token „Der“ folgt?
Mit dem Wetter hat „Der Kuchen“ nichts zu tun. Nach dem Ende-Token kann jeder beliebige Text beginnen. Aus vielen solchen Aufgaben lernt das Modell, dass nach dieser Marke ein neuer Text beginnt, der mit dem davor nichts zu tun haben muss. Der Wettersatz steht dabei weiter in der Folge, die Marke zeigt nur, dass er nicht dazugehört. Genau dafür setzt das GPT-3-Papier sie zwischen die Texte. Ohne sie würde das Modell üben, zwei fremde Texte als einen fortzusetzen.
Dieselbe Sorte Marke beendet beim Benutzen eine Antwort. Bei GPT-2, dessen Tokenizer du aus dem Baustein über den Tokenizer kennst, ist es sogar genau dieselbe Marke, die beim Erzeugen eines Textes das Ende anzeigt. Chatmodelle wie Llama 3.1 beenden einen Redebeitrag mit einem eigenen Spezial-Token. Dass sie es am Ende einer Antwort setzen sollen, lernen sie erst danach, in einem weiteren Training an Gesprächen, wie im Baustein über Tokenisierung im Modell.
Jeder Text wird also zu Aufgaben, rund 2000 pro Folge. Dann könnte man doch einfach alles nehmen, was im Web steht?
Vom Web zum Trainingstext
Den Rohstoff liefert oft Common Crawl, eine Organisation, die regelmäßig Webseiten sammelt und ihr Archiv kostenlos zur Verfügung stellt. Was darin landet, ist bunt gemischt, etwa diese fünf ausgedachten Seiten. Die erste erklärt, wie du ein Fahrrad pflegst. Die zweite ist eine Liste aus Suchbegriffen wie „Fahrrad günstig kaufen“, Zeile für Zeile mit Aufzählungspunkt. Dazu kommen ein Menü mit „Start, Über uns, Kontakt“, dieselbe Anleitung unter einer anderen Adresse und eine Seite auf Englisch. Welche davon würdest du behalten?

Die Seiten laufen durch mehrere Stufen, wie durch ein Sieb mit mehreren Lagen. Anders als ein echtes Sieb sortieren diese Stufen nicht nach Größe, sondern nach Regeln, die Menschen gewählt haben. Zuerst wird der Text aus dem Quelltext der Seite geholt, also aus den Anweisungen, aus denen der Browser die Seite zusammensetzt. Dann wird die Sprache erkannt. So landet die englische Seite im englischen Teil. Danach greifen Qualitätsregeln. Für das Sprachmodell Gopher des KI-Unternehmens DeepMind flog jede Seite raus, die weniger als 50 Wörter hatte. Das trifft das Menü. Ebenso fiel jede Seite durch, bei der mehr als 90 Prozent der Zeilen mit einem Aufzählungspunkt beginnen, wie die Suchbegriff-Liste.
Dann wird Doppeltes entfernt, Fachwort Deduplizierung. Dieselbe Seite steht im Web oft mehrfach, als Kopie oder unter neuer Adresse. Programme behalten von gleichen oder fast gleichen Seiten nur eine. Sonst übte das Modell dieselbe Seite immer wieder, und was sehr oft im Text steht, kann ein Modell teils wörtlich wiedergeben. Außerdem halten die Entwickler einen Teil des Texts zurück, um später zu prüfen, wie gut das Modell bei nie geübtem Text abschneidet. Stünde dieselbe Seite sowohl im Übungstext als auch im zurückgehaltenen Prüftext, prüfte der Test nicht mehr sauber. Das GPT-3-Papier nennt beide Gründe.
Von den fünf Seiten bleibt für den deutschen Teil also eine übrig: die Anleitung, einmal.
Die Demo unten nimmt vier weitere Seiten dazu, neun insgesamt. Welche Seiten übrig bleiben, zeigt erst die Demo.Warum entfernt man doppelte Seiten, wenn es doch mehr Übung wäre?
Eine Kopie bringt nichts Neues bei. Jede Wiederholung stellt die Zahlen nur weiter in dieselbe Richtung, bis genau diese Fortsetzung jedes Mal vorn liegt. Als Satz abgelegt ist der Text auch dann nicht, aber die Zahlen sind so eingestellt, dass das Modell ihn nahezu wörtlich wiedergeben kann. In einem Forschungsversuch von 2021 gaben Modelle, deren Text von Doppeltem befreit war, zehnmal seltener auswendig gelernte Passagen aus.
Laut dem GPT-3-Papier blieben von rund 45 Terabyte Rohtext, in gepackter, also platzsparender Form gemessen, nach dem Sieben nur 570 Gigabyte übrig. Mehr Text klingt nach mehr Übung. Eine Liste aus Suchbegriffen übt aber nur, Suchbegriffe aneinanderzureihen.
Live-Demo · zum Ausprobieren
Das Datensieb, Schicht für Schicht
Echte Grenzwerte, ausgedachte Seiten9 ausgedachte Webseiten laufen durch drei Siebschichten. Schätz zuerst, wie viele übrig bleiben, dann sieb Schicht für Schicht.
- Sprache erkennen
- Qualitätsregeln
- Doppeltes entfernen
So pflegst du dein Fahrrad
radratgeber.example/pflege
Ganzen Text zeigen
Ein Fahrrad fährt länger gut, wenn du es regelmäßig pflegst. Wisch nach einer Fahrt im Regen den Rahmen und die Kette trocken. Einmal im Monat bekommt die Kette ein paar Tropfen Öl, überschüssiges Öl nimmst du mit einem Lappen ab. Prüf vor jeder längeren Tour den Luftdruck der Reifen und die Bremsen. Klingt eine Bremse schleifend oder greift sie schwach, lass sie in einer Werkstatt einstellen. So bleibt das Rad sicher und leise.
Fahrrad günstig kaufen
rad-deals.example/angebote
Ganzen Text zeigen
• Fahrrad günstig kaufen • Fahrrad kaufen online • E-Bike günstig bestellen • Fahrrad Angebot heute • Fahrrad billig kaufen • Fahrrad Sale jetzt • Rennrad günstig kaufen • Fahrrad kaufen Berlin • Fahrrad kaufen Hamburg • Fahrrad kaufen München • Kinderfahrrad günstig kaufen • Fahrrad gebraucht kaufen • Fahrrad Schnäppchen online • Fahrrad Rabatt heute • Fahrrad Angebote vergleichen • Fahrrad kaufen schnell • Mountainbike günstig kaufen • Fahrrad bestellen günstig • Fahrrad Versand kostenlos • Fahrrad kaufen jetzt
Menü
radverein.example/
Ganzen Text zeigen
Start Über uns Kontakt Impressum Datenschutz
So pflegst du dein Fahrrad
fahrrad-tipps.example/pflege-kopie
Ganzen Text zeigen
Ein Fahrrad fährt länger gut, wenn du es regelmäßig pflegst. Wisch nach einer Fahrt im Regen den Rahmen und die Kette trocken. Einmal im Monat bekommt die Kette ein paar Tropfen Öl, überschüssiges Öl nimmst du mit einem Lappen ab. Prüf vor jeder längeren Tour den Luftdruck der Reifen und die Bremsen. Klingt eine Bremse schleifend oder greift sie schwach, lass sie in einer Werkstatt einstellen. So bleibt das Rad sicher und leise.
How to look after your bike
bike-guide.example/care
Ganzen Text zeigen
A bike keeps running well if you look after it regularly. After a ride in the rain, wipe the frame and the chain dry. Once a month, give the chain a few drops of oil and wipe off what is left over with a cloth. Before every longer ride, check the tyre pressure and the brakes. If a brake sounds scratchy or feels weak, have a workshop adjust it. That keeps the bike safe and quiet.
Hinweise zur Antragstellung
landratsamt.example/antrag
Ganzen Text zeigen
Antragsberechtigte Personen reichen die vollständigen Antragsunterlagen innerhalb der Bearbeitungsfrist beim zuständigen Bürgerservicezentrum ein. Erforderlich sind Einkommensnachweise, Mietbescheinigungen, Meldebescheinigungen sowie gegebenenfalls Unterhaltsnachweise. Unvollständige Antragsunterlagen verzögern die Bearbeitung erheblich. Über Fristverlängerungsanträge entscheidet die Bewilligungsstelle nach pflichtgemäßem Ermessen. Gegen Ablehnungsbescheide besteht Widerspruchsmöglichkeit innerhalb eines Monats nach Bekanntgabe. Zuständigkeitsbereich, Sprechzeiten und Terminvereinbarung entnehmen Antragstellerinnen und Antragsteller bitte dem Behördenverzeichnis. Datenschutzrechtliche Informationen enthält das beigefügte Merkblatt zur Verarbeitung personenbezogener Daten.
Das musst du lesen
rad-news.example/
Ganzen Text zeigen
Zehn Tipps für deinen nächsten Radurlaub … Diese Strecke am See kennt kaum jemand … Was Profis beim Packen ganz anders machen … Der eine Fehler, den fast alle Radler machen … So findest du den richtigen Sattel für dich … Warum dein Reifen immer wieder Luft verliert … Die schönsten Radwege an der Küste im Überblick … Mit diesem Trick bleibt die Kette lange sauber … Was ein gutes Schloss wirklich kosten sollte …
Einfacher Apfelkuchen
backstube.example/apfelkuchen
Ganzen Text zeigen
Für einen einfachen Apfelkuchen verrührst du 200 Gramm Mehl, 100 Gramm Zucker, 125 Gramm weiche Butter und zwei Eier zu einem glatten Teig. Drück den Teig in eine gefettete Form. Schneide drei Äpfel in dünne Spalten und leg sie dicht auf den Teig. Streu etwas Zimt darüber. Back den Kuchen bei 180 Grad etwa 40 Minuten, bis er goldbraun ist. Lass ihn vor dem Anschneiden ein wenig abkühlen.
Bestellnummern
teile-lager.example/liste
Ganzen Text zeigen
# 4711-0815 # 4748-0868 # 4785-0921 # 4822-0974 # 4859-1027 # 4896-1080 # 4933-1133 # 4970-1186 # 5007-1239 # 5044-1292 # 5081-1345 # 5118-1398 # 5155-1451 # 5192-1504 # 5229-1557 # 5266-1610 # 5303-1663 # 5340-1716 # 5377-1769 # 5414-1822 # 5451-1875 # 5488-1928 # 5525-1981 # 5562-2034 # 5599-2087
Auflösung
Von den 9 Seiten bleiben 2: die Pflegeanleitung und das Rezept. Die englische Seite landet im englischen Teil, fünf Seiten scheitern an Qualitätsregeln, und die Kopie fällt beim Doppelten raus. Auch die Seite in Amtsdeutsch fliegt raus, obwohl sie ein ordentlicher Text ist: Die Regel zur Wortlänge passt nicht zu langen deutschen Wörtern. Im Großen sieht es ähnlich aus. Bei GPT-3 wurden aus 45 Terabyte gepacktem Rohtext 570 Gigabyte.
Alle Seiten und Adressen sind ausgedacht. Die Qualitätsregeln sind die veröffentlichten Grenzwerte, mit denen DeepMind den Text für Gopher gesiebt hat. Die Spracherkennung ist vereinfacht, echte Siebketten nutzen dafür ein eigenes Programm. Doppeltes zählt hier nur, wenn der Text genau gleich ist.
Zum Schluss werden die Quellen gemischt, denn erst jetzt steht fest, wie viel brauchbarer Text jede Quelle liefert. Wie viel davon drankommt, ist wieder eine Entscheidung, die Datenmischung. Bei den Llama-3.1-Modellen war laut Meta rund die Hälfte Allgemeinwissen, ein Viertel Mathematik und Schlussfolgern, dazu Code. Das ist ein Grund, warum ein Chatbot Programme schreiben kann: Er hat an Code geübt wie an jedem anderen Text. Selbst hineinschauen kannst du in FineWeb, einen frei verfügbaren, gesiebten Datensatz aus Common Crawl.
Ob all diese Texte gesammelt werden dürfen, auch mit persönlichen Daten darin, klärt ein eigener Baustein: Trainingsdaten: Urheberrecht und Datenschutz. Was durch das Sieb kommt, prägt das Modell. Am deutlichsten zeigt sich das an einem Text, der fehlt.
Das Modell lernt, was im Text steht
Bei den Llama-3.1-Modellen waren laut Meta nur 8 Prozent des Texts in anderen Sprachen als Englisch, alle zusammen. Deutsch ist davon nur ein Teil. Englischen Text gibt es dagegen reichlich. Warum also nicht englischen Text ins Deutsche übersetzen und damit üben?
Der Bericht von Aleph Alpha zu ihrem Sprachmodell Kolibri nennt ein Beispiel. „Drive safe!“ sagt man im Englischen, wenn jemand losfährt. Übersetzt wird daraus leicht „Fahre sicher!“. Natürlicher wäre laut dem Bericht „Komm gut an!“. Was glaubst du: Wie verabschiedet sich ein Modell, das deutsche Abschiedsformeln vor allem aus übersetztem Text kennt?
Die Lösung dieser Aufgaben ist dann „Fahre sicher!“, denn so steht es im Text. Jede dieser Aufgaben stellt die Zahlen ein Stück in diese Richtung. Das Modell übernimmt die Muster seines Textes, und zwar umso stärker, je häufiger sie darin vorkommen. Das kennst du aus dem Baustein über Softmax: Folgt in vielen Texten auf „Die Hauptstadt von Australien ist“ das Wort „Sydney“, bekommt „Sydney“ ein großes Feld, obwohl Canberra die Hauptstadt ist.
Eine einzelne Wendung ist noch das kleinere Problem. Übersetzter Text behält laut dem Bericht auch die Sicht der Ausgangssprache auf die Welt. Ein solcher Bestand ist in vieler Hinsicht eine englische Sicht auf die Welt, nur auf Deutsch.
Übersetzter Text ersetzt fehlenden deutschen Text deshalb nicht, denn das Modell lernt die Spuren der Übersetzung mit. Aleph Alpha hat für Kolibri darum zusätzlich deutsche Texte ergänzt, die aus dem Web stammen oder von einem Sprachmodell umformuliert wurden; laut Bericht ist mehr als ein Fünftel der Mischung Deutsch. Übersetzt wurde trotzdem, aber nur eine sorgfältig ausgewählte Menge, als Ergänzung.
Du kannst das selbst ausprobieren. Bitte einen Chatbot um eine kurze Abschiedsformel für jemanden, der eine lange Autofahrt vor sich hat. Klingt sie wie eine wörtliche Übertragung aus dem Englischen, etwa „Fahre sicher!“, oder wie eine deutsche Formel, etwa „Gute Fahrt!“? Eine einzelne Antwort beweist nichts, denn bei der Auswahl des nächsten Tokens spielt oft Zufall mit. Achte aber über mehrere Versuche darauf, ob deutsche Antworten manchmal klingen wie übersetzt.
Die Lösungen hat also niemand eigens aufgeschrieben: Sie stehen im Text, und daraus entstehen die Billionen Aufgaben, rund eine pro Token, in Folgen fester Länge. Offen ist noch, wie aus Vorhersage und echtem Token eine Zahl wird, an der das Training ablesen kann, wie weit es danebenlag. Das zeigt der nächste Baustein.
Einfacher erklären lassen
- Einfacher erklärenKernaussage und ein Vergleich aus dem Alltag
- Mit BeispielEin konkretes Beispiel, Schritt für Schritt
- AusführlicherJeder Gedankenschritt einzeln, in einfacher Sprache
Abrufmoment
Was ist hängen geblieben?
Beantworte die Fragen ohne zurückzuscrollen. Es geht nicht um eine Note, sondern darum, das Gelernte einmal aus dem Gedächtnis abzurufen. Sobald du eine Antwort anklickst, siehst du, ob sie stimmt.
Fragen werden vorbereitet …
Fragen aus der Community
Etwas ist unklar geblieben? Stell deine Frage zu diesem Baustein im Community-Board. Dort antworten andere Lernende und das Projekt — und du siehst, was andere schon gefragt haben.