Eine Regel kann formal eingehalten werden und trotzdem ihren Zweck verfehlen. Deshalb prüfe ich Schutzmaßnahmen, Freigabeprozesse und Abnahmekriterien auch mit der Frage: Wie könnte jemand alle Vorgaben erfüllen und dennoch ein unerwünschtes Ergebnis erzeugen? Das kann durch bewusste Umgehung entstehen, aber ebenso durch Zeitdruck, unklare Zuständigkeiten oder gut gemeinte Abkürzungen.
Ein Beispiel aus Betriebsprozessen: Ab einem bestimmten Betrag ist eine zusätzliche Freigabe erforderlich. Wird ein Auftrag in mehrere kleinere Aufträge aufgeteilt, bleibt jeder unter der Grenze. Die Einzelvorgänge entsprechen der Regel; die beabsichtigte Kontrolle der gesamten Verpflichtung fällt aus. Eine belastbare Schutzmaßnahme muss deshalb auch zusammengehörige Vorgänge berücksichtigen.
Bei KI-Werkzeugen gilt derselbe Gedanke. Eine vorgeschriebene menschliche Freigabe schützt wenig, wenn die prüfende Person weder die Informationsquellen noch bestehende Unsicherheiten erkennen kann. Der Freigabeschritt ist vorhanden, ermöglicht aber keine fundierte Entscheidung.
Ich unterziehe solche Regeln einem gezielten Stresstest: Wir prüfen typische Ausnahmefälle, mögliche Umgehungswege und widersprüchliche Anforderungen. Anschließend werden erkannte Lücken geschlossen und notwendige Ausnahmen mit klarer Verantwortung dokumentiert. Ziel sind wenige, wirksame Schutzmaßnahmen, die auch im tatsächlichen Arbeitsalltag tragen.
Asimovs Robotergesetze
Antipattern: Die Vorgabe ist erfüllt, ihre Schutzwirkung bleibt aus. → Fix: Umgehungswege und Ausnahmefälle vorab prüfen, Lücken schließen und die Wirksamkeit im Einsatz kontrollieren.