Glossar

Lost in the Middle

„Lost in the Middle“ beschreibt einen Befund von Liu und Kollegen aus dem Jahr 2024. Sie stellten Sprachmodellen Fragen zu Dokumenten, bei denen die passende Angabe an unterschiedlichen Stellen stand. Die Leistung war oft am höchsten, wenn die Angabe am Anfang oder am Ende des Kontextfensters stand. Sie sank, wenn die Angabe in der Mitte lag.

Ein Beispiel: Du lädst ein langes Dokument hoch und fragst nach einer Zahl im Mittelteil. Das Dokument liegt vollständig im Fenster, trotzdem kann die Antwort falsch sein.

Nicht verwechseln mit Vergessen im Training: Der Befund beschreibt, wie der Kontext während einer Antwort genutzt wird. Er sagt nichts darüber, ob das Modell den Text beim Training gelernt hat. Die Gewichte bleiben davon unberührt.

Wo du dem Begriff begegnest: In Studien zu langen Kontexten, etwa in Benchmarks (standardisierten Tests). Die Ergebnisse gelten für die getesteten Modelle und Aufbauten; sie lassen sich nicht einfach auf jeden Chat übertragen.

Eingeführt wird der Begriff in Was ein Chatbot in einem Gespräch weiß: Vier Quellen, ein Kontextfenster.

Zuletzt geändert am · Commit 653da06