Praxiseinstieg: Der Entwurf «sah gut aus»
Rolle: Du bist Luca Meier (erfundene Person), Sachbearbeiter der Bauverwaltung Hirzental. Nach dem Vorfall mit dem vergessenen Nachweis soll jeder Entwurf des Assistenten geprüft werden. Luca liest den Entwurf durch, findet keinen Tippfehler und gibt ihn frei. Eine Woche später fällt auf, dass die Parzellennummer im Entwurf mit der Nummer eines Nachbargesuchs verwechselt war.
Lage: Lucas Prüfung bestand aus «lesen und gut finden». Eine solche Prüfung findet Tippfehler und schlechten Stil, aber keine vertauschten Nummern und keine ausgelassenen Unterlagen. Sie braucht ein Raster: Welche Fehler sind möglich, und welche Prüfung fängt welchen?
Auftrag: Überlege, welche Arten von Fehlern ein Assistent bei dieser Aufgabe machen kann und wie du jeden einzelnen gezielt entdecken würdest.
Lernziele
- Fünf Fehlerarten von KI-Ausgaben unterscheiden.
- Jeder Fehlerart eine wirksame Prüfart zuordnen.
- Die Wahrscheinlichkeit berechnen, mit einer Stichprobe mindestens einen Fehler zu finden.
Nachdem in der ersten Lektion geklärt ist, wer entwirft, prüft und entscheidet, geht es jetzt darum, wie die Fachperson ihre Prüfung als Verfahren aufbaut, statt einen Entwurf nur durchzulesen.
Fehlerarten, Prüfarten und die Rechnung hinter der Stichprobe
Prüfen ist ein Verfahren, kein Blick
Das NIST-Rahmenwerk für KI-Risikomanagement hält fest, dass KI-Systeme vor dem Einsatz und regelmässig im Betrieb getestet werden sollen. Im Alltag heisst das: Jede KI-Ausgabe, die jemanden betrifft, durchläuft eine Qualitätsschleife mit festgelegten Prüfungen und einem Protokoll.
Fünf Fehlerarten
| Fehlerart | Beispiel in der Bauverwaltung | Wirksame Prüfung |
|---|---|---|
| Erfunden | Der Entwurf nennt einen Plan, der nicht eingereicht wurde | Quellenabgleich mit dem Original |
| Ausgelassen | Ein fehlender Nachweis wird nicht aufgelistet | Checkliste der Gemeinde als Gegenprobe |
| Verwechselt | Die Parzellennummer eines anderen Gesuchs | Schlüsselwerte einzeln mit dem Original vergleichen |
| Veraltet | Eine frühere Fassung der Checkliste wird genutzt | Aktualitätsprüfung: Datum und Version |
| Ton und Form | Zu schroffe Formulierung für die Bauherrschaft | Laut lesen, Zweitmeinung bei heiklen Fällen |
Die Fehler sind nicht gleich häufig. Erfundene und ausgelassene Angaben sind die gefährlichsten, weil sie überzeugend aussehen. In der Studie zur gezackten Grenze lösten Beratende die heikle Aufgabe mit KI seltener richtig als ohne KI, weil sie der überzeugenden Antwort vertrauten.
Prüfarten im Überblick
- Quellenabgleich: Zahl, Name und Nummer mit dem Original vergleichen, nicht mit dem Entwurf.
- Gegenprobe mit Checkliste: Gibt es etwas, das fehlt?
- Gegenrechnung: Summen und Fristen selbst nachrechnen.
- Zweitmeinung (Vier-Augen-Prinzip): Eine zweite Person prüft unabhängig.
- Aktualitätsprüfung: Stand, Datum und Version der Vorlage.
- Stichprobe: nur ein Teil der Ausgaben wird geprüft.
- Prüfliste mit Pflichtfeldern: Die Prüfung wird nicht übersprungen und lässt sich nachweisen.
Wie gross muss die Stichprobe sein?
Bei einer Fehlerquote p ist die Wahrscheinlichkeit, in einer Stichprobe von n Entwürfen mindestens einen Fehler zu finden: 1 − (1 − p)^n. Mit p = 8 Prozent:
| Stichprobe n | Wahrscheinlichkeit, mindestens einen Fehler zu finden |
|---|---|
| 10 Entwürfe | 56,6 Prozent |
| 20 Entwürfe | 81,1 Prozent |
| 30 Entwürfe | 91,8 Prozent |
| 50 Entwürfe | 98,5 Prozent |
Die Formel lässt sich in drei Schritten lesen. Ein einzelner Entwurf ist mit der Wahrscheinlichkeit 1 − p fehlerfrei, bei 8 Prozent Fehlerquote also mit 0,92. Sind alle n Entwürfe der Stichprobe fehlerfrei, multiplizieren sich diese Wahrscheinlichkeiten (unabhängige Entwürfe vorausgesetzt) zu (1 − p) hoch n. Das Gegenstück, mindestens ein Fehler in der Stichprobe, ist dann 1 − (1 − p) hoch n: Je grösser n, desto kleiner der fehlerfreie Anteil und desto grösser die Chance, dass die Prüfung etwas bemerkt.
Die Werte der Tabelle als Balken: Je länger der Balken, desto zuverlässiger bemerkt eine Stichprobe dieser Grösse mindestens einen Fehler. Achte darauf, wie stark die Balken zwischen 10 und 20 Entwürfen wachsen und wie wenig zwischen 30 und 50.
Mini-Fall und Prüfungsanker: Welche Prüfung für welchen Fehler?
Mini-Fall: Prüfplan für die Bauverwaltung
Ausgangslage: Daniela Frei (erfundene Person) erhält ein Protokoll mit 6 Prüfungen im letzten Monat: 4 Entwürfe «gelesen, gut», 2 mit Checkliste. Die Fehlerquote des Assistenten ist mit 8 Prozent bekannt, pro Monat entstehen etwa 10 Entwürfe.
Entscheidungspunkt: Beurteile die Prüfung, berechne die Wahrscheinlichkeit, dass 6 geprüfte Entwürfe mindestens einen Fehler zeigen, und schlage einen Prüfplan vor.
Musterlösung aufklappen
Berechnung: 1 − 0,92 hoch 6 = 1 − 0,606 = 39,4 Prozent. Mit sechs Prüfungen wird ein Fehler also nur in gut jedem dritten Fall bemerkt. Dazu kommt, dass «gelesen, gut» die Fehlerarten erfunden, ausgelassen und verwechselt gar nicht erfassen kann.
Prüfplan: Bei hohen Folgen werden alle 10 Entwürfe pro Monat geprüft, jeweils mit Quellenabgleich der Schlüsselwerte (Parzelle, Name, Datum), Gegenprobe mit der Checkliste und Aktualitätsprüfung der Vorlage. Heikle Fälle erhalten eine Zweitmeinung. Das Protokoll enthält Datum, Prüfperson, Prüfarten und Ergebnis.
Auswertung: Pro Quartal werden Fehler nach Art gezählt. Zeigt sich eine Fehlerart gehäuft, wird der Auftrag oder die Prüfung angepasst.
Bewertungskriterien: 39,4 Prozent berechnet, Mangel von «gelesen, gut» erkannt, Prüfarten den Fehlerarten zugeordnet, Prüftiefe nach Folgen, Protokoll und Auswertung genannt.
Typische Fehler
- Fehler: Nur lesen und gut finden. Ursache: Der Entwurf wirkt professionell. Folge: Erfundene und verwechselte Angaben bleiben unbemerkt. Korrektur: Schlüsselwerte mit dem Original vergleichen.
- Fehler: Zu kleine Stichprobe. Ursache: Zeitdruck. Folge: Fehler werden nicht bemerkt, und die Prüfung gibt falsche Sicherheit. Korrektur: Entdeckungswahrscheinlichkeit berechnen.
- Fehler: Kein Protokoll. Ursache: Die Prüfung gilt als selbstverständlich. Folge: Die Leitung kann Fehlerarten nicht erkennen. Korrektur: Protokoll mit Prüfarten führen.
Prüfungsanker
«Gestalte eine Qualitätsschleife.» Gute Antworten unterscheiden Fehlerarten, ordnen jeder Fehlerart eine Prüfart zu, wählen die Prüftiefe nach den Folgen, berechnen die Entdeckungswahrscheinlichkeit von Stichproben und fordern ein Protokoll mit Auswertung.
Entscheidungsregel: Fehlerart bestimmen, passende Prüfart wählen, Prüftiefe nach Folgen festlegen, Wahrscheinlichkeit berechnen, protokollieren.