Zum Nachschlagen
Glossar
107 Begriffe, kurz und präzise erklärt — jeder Baustein verweist genau hierher, wenn ein Fachwort zum ersten Mal auftaucht.
A
- AgentEin Zusammenspiel aus Modell und Programm, das in einer Schleife Werkzeuge nutzt: Das Modell schreibt Aufrufe, das Programm führt sie aus, und die Ergebnisse kommen als Text zurück.
- AktivierungsfunktionDie Stufe nach der Summe eines Neurons, die die Zahl umformt; im Baustein „Das künstliche Neuron“ heißt sie Untergrenze, sie setzt negative Werte auf null.
- AlgorithmusEin allgemeines Lösungsverfahren aus einer begrenzten Folge klarer Schritte — die Idee hinter einem Programm, nicht der konkrete Code selbst.
- ArchitekturDer Bauplan eines Modells: was mit den Zahlen gerechnet wird und wie viele Parameter es dafür gibt, unabhängig von deren Werten.
- AttentionDas Verfahren, mit dem ein Sprachmodell die Information früherer Tokens gewichtet in den Zustand eines Tokens einmischt.
B
- BackpropagationDas Verfahren, das den Gradienten ausrechnet: ein einziger Rückweg vom Fehler zum Eingang, der jedem Regler seine Steigung gibt, ohne ihn zu drehen.
- Batch (Stapel)Ein Batch (Stapel) ist im Training eine Menge Beispiele, deren Fehler zu einer Zahl gemittelt wird; bei der Inferenz viele gemeinsam berechnete Anfragen.
- Beispiel (Sample)Ein zusammengehöriges Input-Output-Paar, mit dem ein Modell trainiert wird — auch Sample genannt.
- BelohnungsmodellEin Modell, das lernt vorherzusagen, welche von mehreren Antworten Menschen bevorzugen, und dafür jeder Antwort eine Zahl als Bewertung gibt.
- BenchmarkEin standardisierter Test, bei dem verschiedene KI-Modelle dieselben Aufgaben bekommen und nach einer festen Regel bewertet werden.
- BerechtigungDie Regel eines Programms, die festlegt, welche Werkzeugaufrufe ohne Rückfrage laufen, welche nachfragen und welche nicht laufen.
- BildklassifikatorEin trainiertes Modell, das Bilder einer von mehreren vorgegebenen Kategorien zuordnet, etwa „Katze“ oder „Hund“.
- Byte Pair Encoding (BPE)Ein Verfahren, das häufige benachbarte Zeichen oder bereits gebildete Textstücke schrittweise zu größeren Einheiten zusammenführt.
C
D
- Denk-TokensDie Zwischenschritte als Text, die ein Modell vor der Antwort schreibt.
- DenkaufwandDie Rechenarbeit, die ein Modell vor einer Antwort einsetzt, gemessen an den Denk-Tokens und Durchläufen durch das Netz.
- DenkbudgetDer Richtwert, wie viel ein Modell vor der Antwort denken soll, der früher als feste Zahl gesetzt wurde.
- DiffusionsmodellEine Art KI-Modell, die Bilder erzeugt, indem sie Bildrauschen in vielen kleinen Schritten entfernt, gesteuert durch einen Text.
E
- EmbeddingDie gelernte Zahlenliste, die ein Sprachmodell für jedes Token nachschlägt; ähnlich verwendete Tokens bekommen ähnliche Embeddings.
- Embedding-MatrixDie große Tabelle am Eingang eines Sprachmodells mit einer Zeile gelernter Zahlen für jedes Token des Vokabulars.
- EmpfehlungssystemEin System, das mögliche Inhalte auswählt und danach ordnet, wie relevant sie für eine Person sein könnten.
- EpocheEin vollständiger Durchgang durch einen Datensatz im Training: Jedes Beispiel kam genau einmal dran.
- ExpertensystemeFrühe KI-Systeme, die das Wissen von Fachleuten in vielen von Hand geschriebenen Wenn-dann-Regeln festhielten, statt aus Beispielen zu lernen.
F
- Feed-Forward-NetzEin Netz aus Schichten, dessen Eingaben nur nach vorn fließen, ohne Rückkopplung; auch MLP genannt.
- Forward Pass (Vorwärtsdurchlauf)Der Weg der Zahlen durch ein Modell vom Input bis zur Vorhersage — beim Antworten wie im Training derselbe, im Training an allen Positionen zugleich.
- FunktionEin Rechenschritt, der einen Input entgegennimmt und daraus einen Output berechnet — bei gleichem Input immer derselbe Output.
G
- GedankenketteDie Methode, bei der ein Modell Zwischenschritte als Text schreibt, bevor es die Antwort gibt.
- GefälligkeitDie Neigung eines Chatbots, dem Gegenüber zuzustimmen, auch wenn seine richtige Antwort dadurch falsch wird.
- Gespeicherte NotizEine Angabe, die außerhalb des Modells gespeichert wird und erst in ein Gespräch kommt, wenn sie geholt wird.
- GradientDie Liste der Steigungen des Fehlers für alle Parameter: je Regler eine Richtung und eine Stärke, für die jetzige Stellung und einen Batch.
- GrafikspeicherDer schnelle Speicher direkt an einem Grafikchip, auch VRAM genannt; damit ein Modell zügig läuft, müssen seine Parameter darin Platz finden.
- GrundmodellEin Modell nach dem Grundtraining, das nur gelernt hat, Text fortzusetzen, und noch nicht für Gespräche nachtrainiert ist.
- GrundreglerEine Zahl (Fachbegriff: Bias), die ein Neuron zu seiner gewichteten Summe addiert, bevor die Aktivierungsfunktion greift; beim Antworten bleibt sie fest.
H
- HalluzinationEine flüssige, plausibel klingende Aussage eines KI-Modells, die nicht stimmt, etwa ein erfundenes Zitat oder ein falsches Datum.
- HyperparameterEinstellungen, die Menschen festlegen, bevor ein Trainingslauf beginnt, etwa die Lernrate oder die Größe des Modells; das Training selbst ändert sie nicht.
I
- In-Context-LernenEin Modell übernimmt ein Muster aus Beispielen in der Eingabe, ohne dass seine Gewichte sich dabei ändern.
- InferenzDas Benutzen eines fertig trainierten Modells: Es rechnet mit seinen festen Parametern aus einem Input einen Output.
- InputDie Daten, die in einen Rechenschritt hineingegeben werden — eine Zahl, ein Bild, ein Text oder viele Werte gleichzeitig.
- InstruktionsmodellEin Modell, das nach dem Nachtraining Anweisungen befolgen und auf Fragen mit Antworten reagieren soll.
K
L
- Label (Target)Die erwartete richtige Ausgabe, gegen die eine Modellvorhersage beim Training verglichen wird — auch Target genannt.
- LernrateEin Hyperparameter, der festlegt, wie stark der Trainingsalgorithmus die Parameter bei jedem Schritt nachstellt.
- Lernraten-PlanDer vorher festgelegte Verlauf der Lernrate über ein Training: meist kurz hochfahren, das Aufwärmen, und danach lange absenken.
- Loss (Cross-Entropy)Der Loss misst im Training, wie weit die Vorhersagen eines Modells danebenliegen; bei Sprachmodellen ist es der Durchschnitt der Strafpunkte.
- Lost in the MiddleBefund, dass Angaben in der Mitte langer Eingaben oft schlechter genutzt werden als Angaben am Anfang oder am Ende.
M
- Maschinelles LernenVerfahren, bei denen ein Trainingsalgorithmus die Parameter eines Modells anhand von Beispielen einstellt, statt dass Menschen Regeln schreiben.
- MatrixEine Matrix ist eine Tabelle aus Zahlen mit zwei Achsen, Zeilen und Spalten, in der jede Zahl eine feste Adresse hat.
- MemorierungWenn ein Modell einen Trainingstext so gelernt hat, dass es ihn später wörtlich wiedergeben kann.
- ModellEin fester Rechenweg, dessen Verhalten zusätzlich von gespeicherten, trainierten Zahlenwerten (Parametern) abhängt.
- MomentumEin gleitender Durchschnitt früherer Steigungen, dem der Optimierer statt dem einzelnen Gradienten folgt; auf Deutsch auch Schwung genannt.
- Multimodales ModellEin KI-Modell, das mehrere Arten von Input verarbeitet, etwa Text und Bilder zusammen, und daraus eine Antwort berechnet.
N
- NachtrainingDas zweite Training nach dem Grundtraining, das ein Modell mit Beispielen von Menschen und Bewertungen auf Antworten im Gespräch ausrichtet.
- NeuronEine feste Rechenvorschrift, die aus ihren Eingaben, Gewichten und dem Grundregler eine Zahl macht, die durch eine Untergrenze läuft.
- NutzungsvorbehaltDie Erklärung eines Rechteinhabers, dass sein Werk nicht für Text und Data Mining genutzt werden darf, und warum sie maschinenlesbar sein muss.
O
- OptimiererDie feste Rechenvorschrift im Training, die aus dem Gradienten den Schritt jedes Parameters macht und die Parameter tatsächlich verändert.
- OutputDas Ergebnis eines Rechenschritts — bei einem Sprachmodell keine fertige Antwort, sondern eine Liste von Scores für das jeweils nächste Textstück.
- Output HeadDie letzte Rechenschicht eines Sprachmodells: Sie macht aus dem letzten Zustand einen Score für jeden Eintrag im Vokabular.
P
- ParameterDie gespeicherten, einstellbaren Zahlenwerte, aus denen ein trainiertes Modell besteht — auch Gewichte genannt.
- Personenbezogene DatenAlle Angaben, die sich auf eine bestimmte oder bestimmbare Person beziehen, etwa Namen, Telefonnummern oder E-Mail-Adressen.
- Positions-EmbeddingEin Vektor für einen Platz im Text, der dem Modell die Reihenfolge mitteilt, meist zum Embedding addiert und gelernt oder fest berechnet wird.
- ProgrammEine von Menschen geschriebene Folge von Anweisungen, die ein Computer Schritt für Schritt ausführt; jede Regel steht vor dem Start fest.
- PromptDer Text-Input, den du einem KI-Modell übergibst — er wirkt nur, solange er mitgeschickt wird, und ändert nicht die gespeicherten Parameter.
- Prompt InjectionVersteckte Anweisungen in Text, den ein Modell verarbeitet, etwa in einer Webseite oder einem Werkzeugergebnis, die das Verhalten des Modells umlenken sollen.
Q
R
- RAGRetrieval-Augmented Generation: Das System sucht passende Textstellen und fügt sie vor dem Antworten in den Kontext ein.
- Reversal CurseDer Befund, dass ein Modell eine im Training gelernte Beziehung oft nicht in die umgekehrte Richtung beantwortet.
- robots.txtEine Textdatei auf einer Website, in der der Betreiber Crawlern mitteilt, welche Bereiche sie abrufen dürfen.
S
- SamplingAuswahl des nächsten Textstücks per gewichtetem Zufall: Jedes Stück kommt ungefähr so oft dran, wie seine Wahrscheinlichkeit angibt.
- SchichtEine Gruppe von Neuronen, die dieselbe Eingabe bekommt und parallel rechnet; in Modellangaben steht Schicht oft für einen ganzen Transformerblock.
- SchrittEine Runde im Training: ein Stapel Beispiele, ein Vergleich mit den richtigen Antworten, einmal alle Parameter nachstellen.
- ScoreEin Zahlenwert, mit dem ein Modell eine mögliche Antwort wie eine Klasse oder das nächste Textstück bewertet, bevor daraus eine Wahrscheinlichkeit wird.
- SeitwärtslesenEine Angabe prüft man, indem man die Seite verlässt und außerhalb nachsieht, wer etwas behauptet und was andere Quellen sagen.
- Selbstüberwachtes LernenTraining, bei dem die Lösungen schon in den Daten stehen: Bei einem Sprachmodell ist das nächste Token im Text die Lösung jeder Aufgabe.
- SentencePieceEin sprachunabhängiges System, das Subword-Tokenizer direkt aus Rohtext lernt und anwendet, ohne ihn vorher in Wörter zu zerlegen.
- SkalarEin Skalar ist eine einzelne Zahl ohne Platz in einer Liste oder Tabelle, der einfachste Zahlenblock ganz ohne Achse.
- SoftmaxDie Rechnung, mit der ein Modell aus einer Liste von Scores Wahrscheinlichkeiten macht, die zusammen 100 Prozent ergeben.
- SondeEin kleines, zusätzliches Auslesegerät, das die Zahlen im Modell daraufhin prüft, ob sie eine bestimmte Information enthalten.
- SpamfilterEin trainiertes Modell, das eine E-Mail als Spam oder kein Spam einordnet, oft als Wahrscheinlichkeitsangabe.
- Spezial-TokenEin Eintrag im Vokabular, der kein Textstück bezeichnet, sondern die Struktur markiert: Anfang, Rollen, Nachrichtengrenzen oder das Ende einer Antwort.
- SprachmodellEin auf großen Textmengen trainiertes Modell, das bewertet, wie gut jedes bekannte Textstück als Nächstes passt. So entsteht Stück für Stück Text.
- Stochastischer PapageiEine Warnung aus der Debatte: Ein Sprachmodell setze Wortfolgen zusammen, ohne Bezug zur Bedeutung.
- Subword-TokenEin wiederverwendbares Textstück, das kleiner als ein Wort sein kann, sodass sich seltene Wörter aus bekannten Teilen zusammensetzen lassen.
- SystemanweisungVorgaben am Anfang eines Gesprächs, die als Nachricht mit der Rolle system an das Modell gehen, bevor die Frage des Nutzers kommt.
T
- TemperaturEin Einstellwert, durch den die Scores vor Softmax geteilt werden: Niedrige Werte machen die Auswahl vorhersehbarer, hohe abwechslungsreicher.
- TensorEin Zahlenblock mit beliebig vielen Achsen; Skalar, Vektor und Matrix sind Sonderfälle davon, und in solchen Blöcken rechnen KI-Modelle.
- Text und Data MiningDie automatisierte Auswertung großer Mengen digitaler Werke, um Muster, Trends und Zusammenhänge zu finden, und die gesetzliche Ausnahme dafür.
- TokenEine Einheit aus der festen Stückliste eines Tokenizers (seinem Vokabular), etwa ein ganzes Wort, ein Wortteil, ein Zeichen, ein Satzzeichen oder eine Marke für Struktur.
- Token-IDDie feste Nummer eines Tokens im Vokabular eines bestimmten Tokenizers. Mit dieser Nummer arbeitet das Modell anstelle des Textes.
- TokenbudgetDie Gesamtzahl der Tokens, die ein Training verarbeitet, Wiederholungen mitgezählt, also die Zahl, mit der sich Trainingsläufe vergleichen lassen.
- TokenizerDas feste Verfahren, das Text in Tokens und Token-IDs umwandelt und IDs wieder zu Text zusammensetzt.
- TrainingsalgorithmusDas feste Verfahren, das auf Trainingsbeispiele angewendet wird und daraus die Parameter eines Modells erzeugt.
- TrainingsdatenDie Beispiele, auf die ein Trainingsalgorithmus angewendet wird, um die Parameter eines Modells einzustellen.
- TransformerDie 2017 vorgestellte Architektur aus vielen gleich gebauten Blöcken mit Attention, auf der heutige Sprachmodelle beruhen.
- TransformerblockDas wiederholte Bauteil eines Transformers: Attention mischt zwischen den Tokens, eine Weiterverarbeitung rechnet auf jedem Token für sich.
U
V
- Validierungs-LossDer Loss auf zurückgehaltenem Text, den das Training nie sieht, zeigt, ob ein Modell Muster lernt statt Einzelheiten.
- VektorEine geordnete Liste von Zahlen, in der jeder Platz zur Information gehört; ein Sprachmodell holt für jedes Token so eine Liste aus einer Tabelle.
- VokabularDie feste Liste aller Einträge, die ein Tokenizer kennt und aus denen ein Modell seine Antworten zusammensetzt.
W
- WahrscheinlichkeitEine Zahl zwischen 0 und 100 Prozent, die angibt, wie oft etwas eintritt, wenn sich dieselbe Lage sehr oft wiederholt.
- Weight DecayEin stetiger Zug im Training, der jeden Parameter bei jedem Schritt ein winziges Stück Richtung null rückt, getrennt vom Gradienten.
- WeltmodellEine innere Darstellung, wie Dinge zueinander stehen, die ein Modell nutzen könnte, um Fragen über eine Welt zu beantworten.
- WerkzeugEine Funktion, die ein Programm ausführt, damit ein Chatbot Informationen holen oder Aufgaben erledigen kann.
- WerkzeugaufrufDie Anforderung, mit der ein Modell ein Werkzeug nutzen will: ein Textstück in festem Format, das ein Programm erkennt und ausführt.
- WissensstichtagDer Zeitpunkt, bis zu dem die Trainingsdaten eines Modells reichen. Was danach passiert ist, kennt das Modell aus seinen Gewichten nicht.
Z
Kein Begriff passt zu deiner Suche.