Jede Entscheidung über den Einsatz von KI läuft auf eine Frage hinaus, die Teams selten explizit stellen: Was kostet eine falsche Antwort, und wer bezahlt dafür? Die Antwort darauf sollte Ihre Automatisierungsschwelle bestimmen – nicht Ihr Ehrgeiz und nicht die durchschnittliche Genauigkeit des Modells.

Die Kennzahl, der alle hinterherjagen, ist der Automatisierungsgrad – also der Anteil der Fälle, den die KI ohne Menschen erledigt. Das ist das falsche Ziel. Wer auf den Automatisierungsgrad optimiert, automatisiert Fälle, die er nicht automatisieren sollte, weil diese Kennzahl jeden Fehler als gleich billig behandelt. Das ist er nicht. Die Kosten einer falschen Antwort reichen von «trivial, der Nutzer zuckt mit den Schultern» bis zu «Verstoss gegen regulatorische Vorgaben» oder «falsche Dosierung» – und ein gutes Design ist vollständig um diese Asymmetrie herum aufgebaut.

Wir haben den Human-in-the-Loop für Systeme entworfen, bei denen ein Fehler peinlich ist, und für Systeme, bei denen ein Fehler vor Gericht endet. Das Prinzip ist dasselbe: Gestalten Sie um die Kosten eines Fehlers herum und automatisieren Sie dann so aggressiv, wie diese Kosten es erlauben – nicht mehr und nicht weniger.

Das eigentliche Problem: Die durchschnittliche Genauigkeit verdeckt die Fälle, auf die es ankommt

«Das Modell ist zu 94 % genau» ist aus zwei Gründen eine bedeutungslose Grundlage für eine Automatisierungsentscheidung. Erstens sind die 6 % nicht zufällig verteilt – sie häufen sich bei den schwierigen, ungewöhnlichen und oft folgenreichen Fällen, also genau bei jenen, bei denen Sie Fehler am wenigsten brauchen können. Zweitens sagt die Genauigkeit nichts über die Kosten der Fehler aus. Ein zu 94 % genaues System kann vollkommen sicher vollautomatisiert werden (Fehler sind billig und werden nachgelagert abgefangen) – oder es ist fahrlässig, es überhaupt zu automatisieren (die 6 % enthalten Fehler im sechsstelligen Bereich). Die Zahl allein verrät Ihnen nicht, welcher Fall vorliegt.

Was Sie brauchen, ist nicht eine höhere Genauigkeit, sondern eine Landkarte, wo Fehler landen und was sie kosten – und einen Mechanismus, der die Fälle, die bei einem Fehler teuer werden, an einen Menschen weiterleitet.

Ein Rahmen: Konfidenz × Konsequenz

Zwei Dimensionen entscheiden, wie jeder Fall behandelt wird:

• Modellkonfidenz – eine kalibrierte Schätzung, wie wahrscheinlich dieser konkrete Output korrekt ist. «Kalibriert» ist der schwierige Teil: Der Score muss tatsächlich bedeuten, was er aussagt, validiert gegen Ihr Eval-Set – und nicht ein roher Softmax-Wert, von dem Sie hoffen, dass er mit der Korrektheit korreliert.
• Konsequenz – was eine falsche Aktion an dieser Stelle kostet: finanziell, regulatorisch, sicherheitsrelevant, reputativ – und wie reversibel sie ist.

Kreuzt man beide, ergeben sich vier Behandlungsmodi:

1. Hohe Konfidenz, geringe Konsequenz → automatisieren. Lassen Sie es unbeaufsichtigt laufen; ziehen Sie Stichproben zur Qualitätskontrolle.
2. Niedrige Konfidenz, geringe Konsequenz → automatisieren mit einfacher Korrektur. Handeln Sie, aber machen Sie es dem Nutzer trivial einfach, das Ergebnis zu korrigieren oder rückgängig zu machen. Billige Fehler, billige Behebung.
3. Hohe Konfidenz, hohe Konsequenz → der Mensch bestätigt. Die KI übernimmt die gesamte Vorbereitung; ein Mensch löst die Aktion mit vollem Kontext aus. Schnell, aber mit klarer Verantwortung.
4. Niedrige Konfidenz, hohe Konsequenz → der Mensch führt, die KI assistiert. Der Mensch verantwortet den Fall; die KI liefert Informationen und eine Empfehlung. Automatisieren Sie diesen Quadranten nie.

Die Kunst liegt darin, die Konfidenzschwellen festzulegen, die Fälle zwischen den Modi verschieben – und das ist eine wirtschaftliche Berechnung, keine Bauchentscheidung.

Die Schwelle anhand der Fehlerkosten festlegen

Die Automatisierungsschwelle sollte dort liegen, wo die erwarteten Kosten eines automatisierten Fehlers den Kosten einer menschlichen Prüfung entsprechen. Unterhalb dieser Konfidenz ist ein Mensch billiger als der Fehler; oberhalb ist die Prüfung verschwendeter Aufwand. Konkret brauchen Sie drei Zahlen: die Kosten einer falschen automatisierten Aktion (C_wrong), die Kosten einer menschlichen Prüfung (C_review) und die kalibrierte Fehlerrate auf einem bestimmten Konfidenzniveau. Automatisieren Sie, wenn (Fehlerrate × C_wrong) < C_review. Damit wird aus «Wie viel Konfidenz sollen wir verlangen?» keine Diskussion mehr, sondern Arithmetik.

Praxisbeispiel: Automatisierte Rechnungsfreigabe

Ein Finanzteam wollte die Rechnungsfreigabe automatisieren. Der naive Plan: alles automatisch freigeben, was das Modell als passend zu einer Bestellung bewertet. Wir haben stattdessen nach Konsequenz gestaltet.

• C_review ≈ CHF 4 (ein paar Minuten Arbeitszeit einer Kreditorenbuchhalterin).
• C_wrong variierte je nach Betrag enorm: Eine falsche Freigabe über CHF 200 ist ein kleiner, behebbarer Fehler; eine falsche Freigabe über CHF 80’000 ist ein ernsthafter Vorfall.

Deshalb wurde die Schwelle betragsabhängig gemacht. Rechnungen mit geringem Betrag (< CHF 1’000) und hoher Matching-Konfidenz: automatisch freigegeben – die Fehlerkosten sind gering und behebbar, eine Prüfung würde mehr kosten als die Fehler. Rechnungen mit hohem Betrag: der Mensch bestätigt, unabhängig von der Konfidenz, weil C_wrong C_review um ein Vielfaches übersteigt. Mittlerer Bereich: nur oberhalb einer kalibrierten Konfidenz automatisiert, bei der die erwarteten Fehlerkosten unter CHF 4 fielen.

Ergebnis: 71 % der Rechnungen nach Anzahl automatisch freigegeben (der lange Schwanz der Kleinbeträge), aber nur 22 % nach Wert – bei jeder grossen Zahlung blieb ein Mensch am Abzug. Die Bearbeitungszeit sank deutlich dort, wo es sicher war, und das Risikoexposure des Teams veränderte sich kaum. Ein Design nach dem Muster «alles über 90 % Konfidenz automatisieren» hätte grosse Rechnungen auf Basis einer Zahl freigegeben, die nichts über deren Kosten aussagt.

Nach Anzahl sieht das nach massiver Automatisierung aus; nach Wert ist es genau dort konservativ, wo es sein muss. Diese Aufteilung – die vielen billigen Fälle automatisieren, die wenigen teuren absichern – ist das, was Ihnen ein Design entlang der Konsequenzen einbringt.

Der Loop muss mit der Zeit enger werden, nicht starr bleiben

Ein Human-in-the-Loop-Design ist keine Einstellung, die Sie einmal wählen. Es ist ein Regler, den Sie drehen, während sich Evidenz ansammelt – und die Systeme, die den grössten Nutzen bringen, sind jene, die konservativ starten und sich mehr Automatisierung verdienen. Zum Start, ohne Erfahrungswerte, setzen Sie die Schwellen vorsichtig – mehr Fälle für Menschen, mehr Bestätigungsschritte. Wenn Eval-Daten und Produktionshistorie wachsen, sehen Sie genau, wo das Modell verlässlich richtig liegt, und können die Schwelle dort anpassen: Fälle wandern von «der Mensch bestätigt» zu «automatisieren», gestützt auf Evidenz statt auf Hoffnung. Die Richtung ist entscheidend: Beginnen Sie dort, wo Fehler billig zu verkraften sind, und weiten Sie die Automatisierung erst dann auf folgenreichere Bereiche aus, wenn die kalibrierte Konfidenz es rechtfertigt.

Hier wird die Feedback-Schleife zum Motor der Wertschöpfung und nicht bloss zu einer netten Qualitätsmassnahme. Jede menschliche Korrektur ist ein gelabeltes Beispiel dafür, wo das Modell falsch lag und wie die richtige Antwort ausgesehen hätte – genau die Daten, die sowohl das Modell als auch die Kalibrierung seiner Konfidenzwerte verbessern. Ein System, das so gebaut ist, dass menschliche Prüfungen in das Eval-Set zurückfliessen, wird messbar besser darin zu erkennen, wann es etwas nicht weiss – und das wiederum erlaubt Ihnen, sicher mehr zu automatisieren. Ein System, das diese Korrekturen verwirft, bleibt für immer auf seinem Automatisierungsgrad vom Launch stehen und bezahlt menschliche Prüfungen für Fälle, die das Modell längst beherrscht.

Die wirtschaftliche Betrachtung macht das konkret: Der Wert eines Human-in-the-Loop-Systems ist nicht sein heutiger Automatisierungsgrad, sondern die Steigung, mit der es diesen Grad sicher erhöhen kann. Zwei Systeme, die mit 40 % Automatisierung starten, sind nicht gleichwertig, wenn das eine darauf ausgelegt ist, innerhalb eines Jahres auf Basis gesammelter Evidenz auf 75 % zu klettern, während das andere bei 40 % festsitzt, weil es kein Feedback erfasst. Wenn wir solche Systeme entwerfen, ist der Pfad von der menschlichen Korrektur über das Eval-Set zur neu kalibrierten Schwelle ein vollwertiger Teil der Architektur – denn genau diese Schleife macht aus einem statischen Automatisierungswerkzeug eines, dessen Nutzen sich laufend vervielfacht.

Stolperfallen

• Dem Automatisierungsgrad hinterherjagen. Er belohnt das Automatisieren von Fällen, die Sie nicht automatisieren sollten. Optimieren Sie auf den sicher automatisierten Wert, nicht auf den automatisierten Anteil.
• Unkalibrierte Konfidenz. Ein Konfidenzwert, der die tatsächliche Genauigkeit nicht abbildet, macht den ganzen Rahmen zu Rauschen. Kalibrieren Sie gegen Evals.
• Eine Schwelle für alle Fälle. Die Konsequenzen variieren innerhalb eines Workflows; die Schwelle sollte es auch (wie das Rechnungsbeispiel zeigt).
• Durchwink-Prüfungen. Wenn Menschen freigeben, ohne wirklich hinzuschauen, haben Sie die Kosten der Prüfung und das Risiko der Automatisierung. Gestalten Sie Prüfungen so, dass sie echte Auseinandersetzung erfordern, und zeigen Sie an, warum der Fall markiert wurde.
• Keine Feedback-Schleife. Menschliche Korrekturen sind Gold für Training und Evals – erfassen Sie sie, sonst lernen Sie nichts dazu.

Checkliste für die Entscheidung

1. Was kostet für jeden Falltyp eine falsche automatisierte Aktion, und ist sie reversibel?
2. Ist unser Konfidenzwert gegen die tatsächliche Genauigkeit kalibriert?
3. Haben wir die Schwellen wirtschaftlich festgelegt: Fehlerrate × Fehlerkosten vs. Prüfkosten?
4. Variiert die Schwelle innerhalb des Workflows mit der Konsequenz?
5. Löst bei folgenreichen Fällen eine namentlich verantwortliche Person die Aktion aus?
6. Sind menschliche Prüfungen so gestaltet, dass sie echt sind und kein Durchwinken?
7. Erfassen wir menschliche Korrekturen, um das System und die Evals zu verbessern?

Die gridz-Sicht

Die besten KI-Einsätze sind dort unaufgeregt konservativ, wo es zählt, und aggressiv, wo es sicher ist – und sie können Ihnen in Franken erklären, warum jede Schwelle genau dort liegt, wo sie liegt. Der Automatisierungsgrad ist eine Eitelkeitskennzahl; der sicher automatisierte Wert ist die echte. Gestalten Sie um die Kosten eines Fehlers herum, kalibrieren Sie Ihre Konfidenz und lassen Sie die Arithmetik Ihre Schwellen bestimmen. Wir bauen Human-in-the-Loop-Systeme für Umgebungen, in denen manche Fehler behebbar sind und andere im Posteingang der Aufsichtsbehörde landen – und das Design beginnt bei dieser Unterscheidung, nicht bei dem, was wir gerne automatisieren würden. Wenn Sie diese Unterscheidung für Ihre Prozesse sauber treffen wollen, sprechen Sie uns an.