NEM05 · Not Enough Meaning
Automation Bias
Beispiel
Dr. Schneider arbeitet in der Notaufnahme eines Krankenhauses. Das neue computergestützte Diagnosesystem analysiert die Symptome einer Patientin und schlägt eine gewöhnliche Virusinfektion vor. Dr. Schneider überfliegt die Werte nur kurz und nickt. Dabei übersieht er einen auffälligen Laborwert, der auf eine ernstere bakterielle Infektion hindeutet – einen Wert, den das System nicht in seine Analyse einbezogen hatte. Später am Tag bemerkt eine Kollegin den übersehenen Wert und spricht Dr. Schneider darauf an. "Das System hat doch Virusinfektion angezeigt", rechtfertigt er sich. "Ich dachte, das wäre geprüft." Die Kollegin schüttelt den Kopf: "Das System kann nicht alles erfassen. Du musst trotzdem alle Werte selbst kontrollieren." Dr. Schneider erkennt: Er hat dem automatisierten System blind vertraut und seine eigene Prüfung vernachlässigt.
Was ist dieser Effekt?
Automation Bias beschreibt die Tendenz, Empfehlungen und Vorschläge automatisierter Systeme zu bevorzugen und dabei widersprüchliche Informationen aus anderen Quellen zu ignorieren – selbst wenn diese Informationen korrekt sind. Menschen reduzieren ihren eigenen kognitiven Aufwand, wenn sie mit automatisierten Systemen arbeiten, weil sie annehmen, dass diese analytisch überlegen sind. Dies führt zu Kommissionsfehlern (Befolgung falscher automatisierter Vorschläge) und Omissionsfehlern (Übersehen von Problemen, die das System nicht erkannt hat).
Warum ist das eine Verzerrung?
Diese Verzerrung ist besonders gefährlich in sicherheitskritischen Bereichen wie Medizin, Luftfahrt und Militär, wo automatisierte Systeme fehleranfällig sein können oder nicht alle relevanten Faktoren berücksichtigen. Menschen gehen fälschlicherweise davon aus, dass Computersysteme immer präziser und zuverlässiger sind als menschliches Urteilsvermögen. Dadurch schalten sie ihre eigene kritische Überwachung ab und verpassen wichtige Warnsignale. Das Vertrauen in Automatisierung wird zur mentalen Falle: Man verlässt sich auf die Technik, gerade wenn sie versagt.