Das Wichtigste in Kürze
- Getestet wird der gesamte Vorgang vom Eingang bis zur Wirkung, nicht nur die Antwort des Modells.
- Ein Goldstandard ist eine feste Sammlung echter Fälle mit fachlich bestätigten Soll-Ergebnissen — Sonderfälle eingeschlossen.
- Am gefährlichsten sind falsche Ergebnisse, die ohne Warnung weiterlaufen.
- Wichtige Felder erhalten strengere Grenzen als stilistische Details.
- Nach jeder relevanten Änderung laufen die früheren Fälle erneut.
Die Vorführung ist der angenehmste Teil eines KI-Projekts. Zehn Bestellungen laufen durch, neun Ergebnisse stimmen, im Raum wird genickt. In einem unserer Projekte war es die zehnte, die den Ton änderte: ein Lieferabruf, aus dem das Modell einen Wunschtermin las, der nirgends im Dokument stand. Die Antwort sah aus wie die neun richtigen davor — gleiche Form, gleicher Tonfall, dieselbe Selbstverständlichkeit.
Genau das ist die Eigenart von Sprachmodellen: Sie können bei neun ähnlichen Eingaben gute Ergebnisse liefern und bei der zehnten überzeugend falsch liegen. Im Betrieb zählt nicht, wie eindrucksvoll die neun Fälle aussehen. Es zählt, ob der zehnte gestoppt oder fachlich abgefangen wird. Darum beginnt die Teststrategie beim möglichen Schaden — eine ungeschickte Formulierung ist anders zu bewerten als eine falsche Menge, ein vertauschter Empfänger oder eine unzulässige Buchung.
Die wichtigste Testfrage lautet: Welcher falsche Wert könnte unbemerkt Wirkung entfalten?
Getestet wird der ganze Weg, nicht nur das Modell
Eine KI-Lösung besteht aus mehr als dem Modell. Zwischen dem E-Mail-Eingang und der Wirkung im Fachsystem liegen Bildaufbereitung und Texterkennung, die Auswahl der benötigten Daten, der Prompt samt Modellversion, die feste Ausgabe und ihre technische Lesbarkeit, die Prüfung gegen Stammdaten und Regeln, Schnittstellen und Berechtigungen — und ganz am Ende die Oberfläche, an der ein Mensch freigibt. Jedes dieser Glieder kann ein richtiges Ergebnis noch verderben.
Eine richtige Modellantwort ist deshalb wertlos, wenn die nächste Programmstelle das Komma einer Menge verschiebt oder die alte Fassung an das Fachsystem übergibt. Beides haben wir erlebt. Das Modell hatte jeweils recht und half damit niemandem.
Ein Goldstandard aus echten Fällen
Der Goldstandard ist eine feste Sammlung echter Fälle mit fachlich bestätigten Soll-Ergebnissen. Er entsteht nicht am Schreibtisch, sondern im Betrieb. In einem Projekt brachte die Leiterin der Auftragsbearbeitung dafür einen Ordner mit, der schlicht „Sonderfälle“ hieß und über Jahre gewachsen war: das eingescannte Fax mit handschriftlichen Korrekturen, die Bestellung mit zwei einander widersprechenden Terminen, das PDF, dessen zweite Seite beim Scannen verloren ging. Dieser Ordner war mehr wert als jede Musterbestellung.
Ein belastbarer Testsatz enthält entsprechend nicht nur normale Vorgänge:
| Fallgruppe | Enthält | Prüft |
|---|---|---|
| Standardfälle | häufige Dokumente und klare Angaben | Nutzen im normalen Alltag |
| Grenzfälle | ungewöhnliche Formate, schwierige Sprache, knappe Werte | Stabilität an den Rändern |
| Frühere Fehler | bereits korrigierte reale Vorgänge | ob bekannte Probleme zurückkehren |
| Stop-Fälle | fehlende, widersprüchliche oder unlesbare Angaben | ob die Lösung sicher abgibt |
| Angriffsfälle | versteckte Anweisungen und unzulässige Forderungen | ob die Architektur Grenzen hält |
Für jeden Fall stehen feste Sollwerte, erlaubte Varianten, wichtige Fundstellen, der erwartete Status und die erlaubten Folgeaktionen fest.
Übungs- und Abnahmedaten trennen
Ein Teil der Fälle darf beim Verbessern sichtbar sein. Ein zweiter Teil hilft bei der Auswahl zwischen Varianten. Ein dritter Teil bleibt bis zur Abnahme unangetastet.
Wer denselben Satz für die Optimierung und anschließend als Erfolgsnachweis verwendet, misst vor allem, wie gut die Lösung ihre bekannten Aufgabenblätter gelernt hat.
Messwerte nach Geschäftsrisiko wählen
Welche Messwerte zählen, ergibt sich aus dem Geschäftsrisiko, nicht aus der Technik:
| Messwert | Frage |
|---|---|
| Treffer je Feld | Wie oft stimmt eine bestimmte Angabe? |
| Vollständig richtige Vorgänge | Wie viele Fälle brauchen keine Korrektur? |
| Falsch durchgelassene Fälle | Wie oft lief ein wichtiger Fehler ohne Warnung weiter? |
| Sicher gestoppte Fälle | Wie oft erkannte die Lösung, dass sie nicht weitergehen darf? |
| Prüfzeit | Wie lange braucht eine Person für offene Punkte? |
| Gesamtzeit | Wie lange dauert der Vorgang vom Eingang bis zum Ergebnis? |
| Wirkung am Zielsystem | Stand am Ende der richtige Datensatz an der richtigen Stelle? |
Wichtige Felder strenger behandeln
Ein Durchschnitt kann beruhigend aussehen und trotzdem gefährlich sein. Zwanzig richtige Textfelder gleichen keine falsche Menge aus.
Wir ordnen Felder deshalb nach Wirkung. Kritische Angaben — Mengen, Beträge, Empfänger — dürfen bei einem Fehler nicht automatisch weiterlaufen. Betriebsrelevante Angaben verursachen bei einem Fehler Nacharbeit oder falsche Kommunikation. Kosmetische Abweichungen lassen den Inhalt fachlich richtig. Für kritische Angaben gelten strengere Grenzen und zusätzliche Prüfungen durch normale Software.
Schwankungen sichtbar machen
Ein einzelner Durchlauf genügt nicht, denn ein Sprachmodell antwortet nicht immer gleich. In einem Testsatz hatten wir einen Grenzfall, der montags bestand und mittwochs durchfiel — dasselbe Dokument, derselbe Prompt, eine andere Antwort. Ausgewählte schwierige Fälle laufen deshalb mehrfach. Erst die Wiederholung zeigt, ob ein Treffer stabil ist oder nur einmal Glück hatte.
Modellversion und wichtige Einstellungen werden dokumentiert. Der Betrieb braucht keine wissenschaftliche Versuchsanordnung für jeden Auftrag. Die Abnahme braucht aber genug Wiederholung, um zufällige Treffer zu erkennen.
Angriffe und Missbrauch prüfen
Sobald Dokumente aus fremder Quelle verarbeitet werden, gehören auch Angriffe in den Test: sichtbare und versteckte Anweisungen an das Modell, Behauptungen über angebliche Freigaben oder Systemrechte, extrem lange oder irreführende Inhalte, unzulässige Empfänger und Datenquellen, Dateien mit falscher Endung oder verschachteltem Inhalt, Versuche, interne Anweisungen oder andere Vorgänge offenzulegen.
Erfolg bedeutet dabei nicht, dass das Modell den Angriff erkennt und höflich erläutert. Erfolg bedeutet, dass die Anwendung keine unzulässige Wirkung zulässt.
Die Abnahme läuft in der echten Umgebung
Der letzte Test läuft mit denselben Rollen, Schnittstellen und Zeitgrenzen wie der spätere Betrieb. Mitarbeitende nutzen die echte Oberfläche, nicht eine aufgeräumte Testansicht. Gemessen werden auch Bedienfehler, Rückfragen und Wartezeiten. In einem Probelauf fiel so auf, dass die Anzeige der Fundstellen auf den schmaleren Bildschirmen im Auftragsbüro schlicht abgeschnitten war — kein Testfall der Welt hätte das gefunden.
Die Freigabe gilt danach nur für den getesteten Umfang. Neue Dokumenttypen, Sprachen, Fachbereiche oder Systemaktionen sind keine kleine Ergänzung; sie erweitern den Einsatz und brauchen eigene Fälle und eine neue Abnahme.
Rückschritttests nach jeder wichtigen Änderung
Ein Rückschritttest prüft, ob eine Änderung frühere Fähigkeiten verschlechtert. Ausgelöst wird er von allem, was am Verhalten der Lösung drehen kann: ein neues Modell, eine geänderte Modellgröße oder technische Ausführung, Änderungen an Prompt oder festen Ausgabefeldern, eine neue Dokumentaufbereitung, geänderte Wissensquellen oder Suchlogik, neue Geschäftsregeln und Stammdaten, Anpassungen an Schnittstelle oder Oberfläche.
Wie leise sich so etwas einschleicht, zeigte ein Modellwechsel in einem laufenden Projekt: Die neuen Antworten waren insgesamt besser, nur ein Datumsformat wurde auf einmal anders gelesen. Aufgefallen ist das im Rückschritttest, nicht im Betrieb. Das war der Sinn der Übung.
Freigabecheckliste
- Sind normale, schwierige, fehlerhafte und angegriffene Fälle vertreten?
- Blieb der Abnahmesatz während der Verbesserung unangetastet?
- Gibt es eigene Grenzen für kritische Angaben?
- Ist die Zahl falsch durchgelassener Fälle bekannt und akzeptiert?
- Wurde der ganze Ablauf mehrfach getestet?
- Sind Versionen, Einstellungen und Ergebnisse nachvollziehbar?
- Ist der freigegebene Einsatz schriftlich begrenzt?
Fazit
Belastbare KI-Tests bilden Geschäftsrisiko, ganze Prozesskette und Veränderlichkeit der Lösung ab.
Ein fester Goldstandard und klare Grenzen für falsch durchgelassene Fälle sind wichtiger als eine gute Vorführung. Die Freigabe gilt immer für eine konkrete Fassung und einen konkreten Einsatz.
Quellen und weiterführende Hinweise
Eine Freigabe braucht mehr als gute Durchschnittswerte
Der feste Testsatz muss genau die Fehler sichtbar machen, die im Betrieb Wirkung hätten.
Testkonzept besprechen