Der technisierte Sisyphos: Leben in einer Welt voller Maschinenfehler

von Martina Heßler

Es sei ein Fehler gewesen, Menschen nur als Störfaktor wahrzunehmen, betonten Ingenieure in den 70er- und 80er-Jahren des vergangenen Jahrhunderts. Die Automatisierung mache vielmehr deutlich, wie wichtig die Menschen für das Funktionieren technischer Systeme seien. Allenthalben wurde nun ihre Rolle, beispielsweise in der automatisierten Fabrik, betont. Es war sogar davon die Rede, dass fortan der Mensch im Mittelpunkt stünde. Die Kognitionspsychologin Lisanne Bainbridge sprach von der „Ironie der Automatisierung“. Sie meinte damit, dass Versuche, Menschen aus technischen Prozessen auszuschalten, letztlich dazu geführt hatten, dass denjenigen, die in den Prozessen verbleiben, eine immens hohe Bedeutung zukomme. Sie wurden sogar unabdingbar, und zwar aus einem bemerkenswerten Grund: Sie mussten maschinelle Fehler beheben, um die Prozesse am Laufen zu halten. Der Philosoph Günther Anders hatte davon gesprochen, dass Menschen in technischen Systemen zu Objekthirten geworden seien. 

Die steigende Fehleranfälligkeit technischer Systeme hing mit deren zunehmender Komplexität zusammen. Besonders neue Flexibilitätsanforderungen hatten die automatisierten Systeme komplexer und damit fehleranfälliger werden lassen. Noch in den 1950er-Jahren hatten Ingenieure dagegen sehr ungeschminkt davon gesprochen, dass „Automation“, also die „Eliminierung“ der Menschen aus den technologischen Systemen, sicherstelle, dass diese fehlerfrei würden. „Mit der Ausschaltung des Menschen ist auch die Ausschaltung seiner Fehler und Unzulänglichkeiten verbunden“, formulierte ein Automatisierungsingenieur bereits 1938. Menschen machten einfach zu viele Fehler, sie arbeiteten unregelmäßig, bremsten und behinderten die Produktion, lautete das Mantra. 

Die Vorstellung, menschliche Fehler könnten mit Maschinen beseitigt werden, findet sich bereits im frühen 19. Jahrhundert. Der Mathematiker Charles Babbage hatte eine Rechenmaschine entwickelt, weil er sich so außerordentlich über die menschliche Unzulänglichkeit ärgerte. Mit einer Rechenmaschine werde er dem Übel menschlicher Fehler Abhilfe verschaffen. Geradezu obsessiv hatte Babbage menschliche Fehler gezählt und sich über sie beklagt, während er die Maschine als unfehlbar bezeichnete. 

Die Vorstellung von der überlegenen, ja perfekten Maschine und den fehlerhaften Menschen ist bis heute präsent. Sie manifestiert sich in den stets zu hörenden Bemerkungen über Maschinen, die so viel schneller und effizienter sind als die Menschen, keinen Urlaub brauchen, nicht streiken, zuverlässig arbeiten und objektiv seien. Allzu häufig wird noch immer die perfekte Maschine erwartet, obwohl wir doch alltäglich technologisches Nichtfunktionieren erfahren, sei es ein eingefrorener Bildschirm, Softwarefehler, die Flughäfen lahmlegen oder halluzinierende KI-Anwendungen. Manche Menschen sind gar überzeugt, dass Chatbots oder Roboter bessere Freunde darstellen, weil sie zuverlässiger seien, ihr Gegenüber nicht verletzten und man ihnen vertrauen könne. Auch der kürzlich erschienene International-AI-Safety-Report unterstrich die Gefahr eines Automation Bias, also des übermäßigen Vertrauens in KI-Anwendungen. Dies könne die menschliche Autonomie gefährden. Aber auch die Fehlerhaftigkeit und die nicht zu garantierende Zuverlässigkeit der KI können zu Schäden führen.  

Es ist bemerkenswert, dass in den 1960er- und 1970er-Jahren ähnliche Bedenken im Zusammenhang mit dem Einsatz von Software geäußert wurden. Auf einer wissenschaftlichen Konferenz, organisiert vom Science Committee der Nato 1968, wurde gewarnt, dass die Zuverlässigkeit der Software nicht zu garantieren sei, dass ihre Anwendung sogar zu einer Frage von Leben und Tod werden könne. Informatiker warnten gewissermaßen vor ihren eigenen Produkten und beklagten, dass Menschen glaubten, Computer könnten keine Fehler machen. Mitte der 1980er-Jahre betonte ein Informatiker, dass die Zuverlässigkeit von Softwaresystemen aus grundsätzlichen Gründen nicht garantiert werden könne. Dies werde sich auch mit verbesserter Technologie nicht ändern. 

Das mag erschreckend klingen. Es stellt allerdings keineswegs ein dystopisches Szenario dar. Es charakterisiert vielmehr das Leben in einer fehlerhaften technologischen Bedingung, also einer Existenzweise, die dadurch gekennzeichnet ist, dass Menschen und Maschinen fehlerhaft sind. Anders als mechanische Maschinen, die verstehbar und berechenbar waren und immer gleich arbeiteten – wie das Uhrwerk als Inbegriff einer zuverlässigen Maschine –, sind komplexe technologische Systeme und Softwaresysteme inhärent fehlerhaft. Hoch technisierte Gesellschaften haben es jedoch gelernt, mit der Allgegenwart von Fehlern umzugehen, Fehler zu erkennen, zu verhindern, einzuhegen und zu beheben – ohne dass es möglich wäre, Fehlerfreiheit oder absolute Zuverlässigkeit zu garantieren. Wie der Organisationssoziologe Charles Perrow Ende der 1990er-Jahre beobachtete, sei die Robustheit einer chipabhängigen Gesellschaft beeindruckend, das heißt, trotz der Fehleranfälligkeit der Chips funktionieren die Systeme im Großen und Ganzen. 

Die Herausforderung, mit technologischen Fehlern umzugehen, ist mithin nicht gänzlich neu. Wie der Technikphilosoph Langdon Winner bereits vor einigen Dekaden bemerkte, ist der Preis für Komplexität permanente Wachsamkeit. Im Kontext von KI steht es nun an, deren – anders geartete – Fehlerhaftigkeit und ihr mögliches Nichtfunktionieren in den Griff zu bekommen. KI-Anwendungen, die selbständig lernen, werden von keinem Menschen mehr vollständig verstanden. Menschen müssen besonders lernen, einzuschätzen, wann sie der Technik vertrauen können und wann nicht. Sie müssen diskutieren, in welchen Bereichen es vertretbar ist, fehlerhafte KI-Anwendungen einzusetzen und wann nicht. Der Aufwand, diese KI-Anwendungen nun einzuhegen, zu kontrollieren, ist immens. Und wieder sind Menschen unabdingbar: Sie müssen die Technik warten, Fehler finden und beheben, die Entscheidungen von KI-Anwendungen einschätzen und kontrollieren, obwohl sie diese Systeme nicht mehr gänzlich verstehen können. 

In meinem Buch spreche ich, vielleicht etwas provozierend, davon, dass Menschen zu einem technisierten Sisyphos geworden sind. Kaum haben sie ein Problem gelöst, gelernt, mit einer Technik umzugehen, tauchen neue Probleme auf, oft komplexer, fordernder und schwieriger zu verstehen, die wiederum nur technisch zu lösen sind. Elon Musk ist der Überzeugung, dass Menschen mit einem Chip im Hirn ausgestattet werden sollten, um mit KI künftig mithalten zu können. Aber kann dies wirklich die geeignete Lösung für stetig wachsende Komplexität sein? Sinnvoller scheint doch die Diskussion darüber, wann sich das technologische Versprechen auf höhere Produktivität, mehr Effizienz, Beschleunigung und weniger Fehler selbst konterkariert, weil doch immer wieder neue Probleme, neue Flaschenhälse und neue Fehler entstehen und so neue Routinen und Tätigkeiten notwendig werden, um etwas funktionsfähig zu machen. Der Preis für wachsende Komplexität ist nicht nur stete Wachsamkeit, sondern auch die Notwendigkeit, die Technik stets aufwendig am Laufen zu halten. Das wird wohl in absehbarer Zeit weiterhin die Aufgabe der Menschen sein.