Glossar

Benchmark

Ein Benchmark ist ein festgelegter Testsatz, mit dem man KI-Modelle vergleicht. Alle Modelle bekommen dieselben Fragen oder Aufgaben, und ihre Antworten werden nach einer festen Regel bewertet. Nur wenn alle Modelle denselben Test mit derselben Bewertung bekommen, sind ihre Ergebnisse direkt vergleichbar.

Ein Beispiel: Ein Faktentest besteht aus kurzen Fragen mit bekannten Antworten. Jede richtige Antwort bringt einen Punkt, jede falsche und jede ausgelassene Antwort null Punkte. Wer rät, verliert also nichts und kann einen Punkt gewinnen; so belohnt diese Bewertung das Raten.

Nicht gleichsetzen mit allgemeiner Stärke: Ein Benchmark misst nur das, was er abfragt. Ein Modell, das gut abschneidet, ist deshalb nicht in jeder Aufgabe gut.

Wo du dem Begriff begegnest: In Berichten zu neuen Modellen, in Vergleichstabellen und in Hinweisen, welche Tests ein Anbieter genutzt hat. Eine Tabelle ohne Angabe des Tests und der Bewertung sagt wenig. Achte deshalb darauf, ob der Test genannt ist und wie die Punkte vergeben wurden. Fehlt diese Angabe, lässt sich der Vergleich nicht überprüfen.

Eingeführt in Warum KI überzeugend falsch liegt: Wenn Raten sich lohnt und Sicherheit im Ton nichts beweist.

Zuletzt geändert am · Commit 653da06