Wie wir aus Korrekturen einen besseren Testsatz gemacht haben

Das Wichtigste in Kürze

Eine Korrektur wird zunächst als Fehlerfall dokumentiert, nicht sofort als Trainingsmaterial.
Original, falsches Ergebnis, richtige Fassung und Grund bleiben zusammen.
Jeder frühere Fehler läuft nach Änderungen erneut durch den Test.
Verbessert wird zuerst die kleinste betroffene Stelle: Daten, Regel, Prompt, Modell oder Oberfläche.
Ein Nachtraining lohnt sich erst, wenn sich ein stabiles Muster über viele Fälle zeigt.

Im Betrieb werden Ergebnisse korrigiert. Eine Menge wurde falsch gelesen. Ein Lieferhinweis wurde übersehen. Ein Kunde druckt seine Bestellungen aus, ergänzt Änderungen mit Kugelschreiber am Rand und scannt das Blatt wieder ein — die erste Version der Lösung hielt die Randnotizen für Dekoration.

Solche Korrekturen sind wertvoll. Ungeordnet bleiben sie allerdings einzelne Anekdoten, und der Reflex, nach jeder Rückmeldung schnell am Prompt zu drehen, macht es schlimmer. Wir haben das früh einmal zugelassen: Die eilige Änderung reparierte den gemeldeten Fall und verschlechterte drei andere. Der Testsatz zeigte es noch am selben Nachmittag — vor dem Kunden.

Eine Korrektur ist zuerst ein Testfall. Erst danach ist sie Material für eine Verbesserung.

Was zu einem brauchbaren Fehlerfall gehört

Die vier Teile eines Korrekturfalls
Teil	Inhalt	Nutzen
Ausgangslage	Dokument, Eingabedaten und verwendete Versionen	Der Fall lässt sich später wiederholen.
Falsches Ergebnis	Was die Lösung tatsächlich geliefert hat	Der Fehler bleibt präzise sichtbar.
Richtige Fassung	Von einer zuständigen Person bestätigtes Ergebnis	Der Test erhält ein klares Ziel.
Begründung	Warum die Fassung richtig ist und welche Regel gilt	Ähnliche Fälle lassen sich einordnen.

Der Weg von der Korrektur zur Verbesserung

Die Korrektur wird direkt am Vorgang erfasst. Die Oberfläche speichert nicht nur den neuen Wert, sondern auch, welcher Wert geändert wurde und warum — häufige Gründe stehen zur Auswahl, Freitext bleibt möglich. Danach wird die Auswirkung bewertet: Ein stilistischer Wunsch ist anders zu behandeln als eine falsche Menge oder ein unzulässiger Versand. Wir unterscheiden geringe, betriebliche und kritische Auswirkungen, und diese Einstufung bestimmt die Reihenfolge der Bearbeitung.

Der wichtigste Schritt ist unspektakulär: die Ursache eingrenzen. Der Fehler kann beim Lesen des Dokuments liegen, in den Stammdaten, in einer Geschäftsregel, im Modellauftrag oder in der Oberfläche. Als bei einem Kunden reihenweise gültige Artikelnummern abgelehnt wurden, war nicht das Modell schuld, sondern ein Stammdatenabzug, der seit Wochen nicht mehr aktualisiert worden war. Eine Prompt-Änderung hätte daran genau nichts verbessert.

Ist die Ursache benannt, wird der Fall festgeschrieben: Dokument und erwartetes Ergebnis werden versioniert abgelegt, damit der Test auch dann gleich bleibt, wenn sich später Daten oder Software ändern. Ähnliche Fälle werden zusammengeführt — ein einzelner Zahlendreher braucht vielleicht eine bessere Prüfung, zwanzig Fehler bei handschriftlichen Ergänzungen zeigen dagegen ein Muster. Gruppen verhindern, dass jeder Fall als eigenes Problem behandelt wird.

Für die Änderung selbst gilt: die kleinste wirksame Stelle zuerst. Eine feste Regel ist besser als ein Modelltraining, wenn sie das Problem sicher löst. Danach kommen Datenaufbereitung, Modellauftrag und Modellwechsel. Ein Nachtraining steht weit hinten in dieser Reihenfolge. Und nach jeder Änderung läuft nicht nur der aktuelle Fall, sondern der gesamte feste Testsatz — nur so wird sichtbar, ob die Verbesserung an anderer Stelle einen Rückschritt verursacht.

Typische Ursachen und passende Maßnahmen

Nicht jeder Fehler ist ein Modellfehler
Beobachtung	Wahrscheinliche Ursache	Erste Maßnahme
Eine Zahl ist im Scan kaum lesbar	Bildqualität oder Texterkennung	Bildaufbereitung und zweite Erkennung prüfen
Eine gültige Artikelnummer wird abgelehnt	Stammdaten sind veraltet	Datenquelle und Aktualisierung korrigieren
Das Modell verwechselt zwei Felder	Auftrag oder Ausgabeform ist unklar	Prompt und feste Felder schärfen
Eine Menge wird akzeptiert, obwohl sie unmöglich ist	Fachliche Prüfung fehlt	Plausibilitätsregel ergänzen
Ein Sonderfall tritt immer wieder falsch auf	Modell beherrscht ein stabiles Muster nicht	Modellwechsel oder gezieltes Nachtraining prüfen
Mitarbeitende korrigieren aus Gewohnheit	Oberfläche oder Arbeitsweise ist unklar	Darstellung, Schulung und Rollen prüfen

Entwicklungstest und Abnahmetest bleiben getrennt

Beim Verbessern darf ein Teil der Fälle häufig angesehen und wiederholt werden. Dieser Satz hilft bei der Entwicklung.

Daneben bleibt ein zweiter Satz unangetastet. Er dient der Abnahme und zeigt, ob die Lösung auch bei Fällen besser wird, an denen sie nicht ausgerichtet wurde. Ohne diese Trennung kann ein System seinen bekannten Übungszettel perfekt lösen und im Alltag trotzdem schwächeln.

Welche Zahlen wir beobachten

Vollständig richtige Vorgänge: Wie viele Fälle brauchen keine Korrektur?
Falsch durchgelassene Fälle: Wie oft wurde ein wichtiger Fehler nicht gestoppt?
Fälle mit menschlicher Prüfung: Wie oft gibt die Lösung bewusst ab?
Korrekturzeit: Wie lange dauert es, einen offenen Punkt zu verstehen und zu beheben?
Wiederkehrende Fehler: Welche bekannten Muster treten trotz Änderung erneut auf?

Eine gute Lösung muss nicht jeden Fall automatisch erledigen. Sie muss schwierige Fälle zuverlässig erkennen und so darstellen, dass die Prüfung schnell geht.

Nicht jede Korrektur gehört ins Training

Ein Nachtraining kann ein Modell dauerhaft auf wiederkehrende Muster einstellen. Es kann aber auch falsche Gewohnheiten lernen. In einem Projekt stellte eine Mitarbeiterin in jeder Auftragsbestätigung dieselbe Grußformel um, weil ihr der Ton zu förmlich war. Für ein Training wäre das ein wunderbar stabiles Muster gewesen — nur eben keines des Modells, sondern eines der Mitarbeiterin. Einzelne Vorlieben, widersprüchliche Entscheidungen und veraltete Regeln sind schlechtes Trainingsmaterial. Erst eine geprüfte und konsistente Sammlung rechtfertigt den Aufwand.

Prüffragen für den Lernprozess

Bleiben Original, falsches Ergebnis und Korrektur zusammen?
Ist der fachliche Grund für die Korrektur festgehalten?
Wird zwischen Modell-, Daten-, Regel- und Bedienfehler unterschieden?
Gibt es einen festen Testsatz mit früheren Fehlern?
Bleibt ein getrennter Satz für die Abnahme unangetastet?
Wird nach jeder Änderung der gesamte Testsatz wiederholt?
Ist vor einem Nachtraining ein stabiles Fehlermuster belegt?

Fazit

Korrekturen machen eine KI-Lösung nicht automatisch besser. Erst der geordnete Umgang damit schafft Lernen: Jeder Fehler wird wiederholbar, fachlich eingeordnet und dauerhaft in den Test aufgenommen.

So wächst die Qualität mit dem Betrieb, ohne dass die Lösung jedem Einzelfall hinterherläuft. Auch nicht dem mit dem Kugelschreiber.

Quellen und weiterführende Hinweise

Qualität braucht einen festen Test

Ein guter Testsatz entsteht aus echten Vorgängen, klaren Erwartungen und sauber dokumentierten Korrekturen.

Anwendungsfall besprechen