Einsatz von KI-Systemen und ihre Auswirkungen auf Menschen im Arbeitskontext Use of AI systems and their impact on people in the context of work
Sabine T. Köszegi
Spätestens seit dem Sieg 2016 von DeepMind über Lee Sedol im Strategiespiel Go ist die Vorstellung, dass nichts an menschliche Intelligenz, Kreativität und Intuition herankommen kann, zutiefst erschüttert. KI-Systeme können ohne Zutun des Menschen Umwelt wahrnehmen, sich an sie anpassen und aus ihr lernen. Nehmen uns Roboter und KI (Künstliche Intelligenz) in Zukunft die Arbeit weg? Oder können mit ihrer Hilfe menschliche Grenzen und Unzulänglichkeiten überwunden werden? Steht uns ein paradigmatischer Wandel bevor, der durch die neuen kognitiven Fähigkeiten von KI-Systemen und insbesondere durch ihre Lernfähigkeit ermöglicht wird?
Diese Fragen sind nicht einfach und vor allem nicht ein für alle Mal, aber am ehesten mit „ja, aber“ zu beantworten. In diesem Kapitel skizziere ich meine „Ja, aber“-Antwort für algorithmische Entscheidungssysteme, bei denen Entscheidungen zum Teil oder gänzlich automatisiert werden in der Hoffnung, damit schnellere, bessere und objektivere Entscheidungen treffen zu können.
Der Gedanke, sich von klugen Maschinen bei der Entscheidungsfindung unterstützen zu lassen, ist nicht neu. Menschen nutzen schon seit etwa 50 Jahren daten- und modellbasierte Systeme zur Unterstützung komplexer und schwieriger Entscheidungen. Mit datengesteuerten KI-Methoden hat sich allerdings das Anwendungsgebiet auch auf einfache, häufig vorkommende Alltagsentscheidungen ausgeweitet, bei denen wir entweder durch die Vorauswahl geeigneter Alternativen unterstützt werden oder die gänzlich für uns Entscheidungen treffen und ausführen. Bei vielen Anwendungen ist uns nicht einmal bewusst, dass algorithmische Entscheidungssysteme (AES) im Hintergrund arbeiten mit verschwimmender Grenze zwischen automatisierter Entscheidung und Entscheidungsunterstützung. Der Paradigmenwechsel, der durch den technologischen Fortschritt ausgelöst wird, beruht einerseits auf der zunehmenden Autonomie und der daraus resultierenden Handlungsfähigkeit solcher Systeme und andererseits auf ihrem verbreiteten, aber oft nicht transparenten Einsatz.
Einsatzmöglichkeiten algorithmischer Entscheidungssysteme sind vielfältig und divers, die Gründe dafür und ihre Auswirkungen ebenso. Etwa helfen bei der Vorselektion von Entscheidungsalternativen Recommender-Systeme (z. B. Suchmaschinen), bei der Reduktion von Komplexität Systeme zur Mustererkennung (z. B. medizinische Diagnostik), bei der Reduktion von Unsicherheit und Risiko Predictive Analytics Systeme (z. B. Vorhersage von Kreditwürdigkeit) und für die Reduktion menschlicher Fehlurteile können Assistenzsysteme (z. B. automatischer Bremsassistent) eingesetzt werden.
Sind die hohen Erwartungen an diese Systeme zum heutigen Stand der KI-Technik überhaupt berechtigt? Bisher hat sich die Forschung vor allem auf die Analyse der Auswirkungen algorithmischer Entscheidungen auf Betroffene fokussiert – und die hohen Erwartungen bereits gedämpft. Es zeigt sich, dass auch algorithmische Entscheidungen aufgrund verzerrter oder unvollständiger Daten, unzureichender Modellbildung und problematischer Zielsetzungen ähnliche Probleme aufweisen, wie Entscheidungen von Menschen. Schließlich werden ja auch KI-Systeme „nur“ von jenen fehleranfälligen Menschen entwickelt, die man ersetzen möchte – eine Ironie der Automatisierung. In diesem Kapitel möchte ich aber einen anderen Aspekt beleuchten, der bisher nur wenig Aufmerksamkeit in der Öffentlichkeit erhalten hat: Wie wirken sich AES im Arbeitskontext aus, wenn Menschen und Algorithmen gemeinsam Aufgaben lösen (müssen)? Wie wirkt sich dies auf ihr eigenes Selbstverständnis und ihre Rollenwahrnehmung aus und wer trägt am Ende die Verantwortung für Entscheidungen?
Beginnen wir von vorne. Tatsächlich kann unter Laborbedingungen durch die Kombination komplementärer Fähigkeiten von Menschen und AES eine Verbesserung der Entscheidungsqualität nachgewiesen werden. Während Menschen für die Auswahl und Entwicklung der Entscheidungsmodelle, die Zielsetzungen und die Interpretation des Entscheidungskontexts benötigt werden, können Algorithmen unglaublich große Datenmengen in kürzester Zeit analysieren und Zusammenhänge und Muster erkennen. Dafür braucht es eine gut gestaltete Schnittstelle zwischen Mensch und AES.
Wenn im Arbeitskontext AES eingesetzt werden, entstehen soziotechnische Systeme, in denen Menschen und Maschinen gemeinsam Aufgaben erledigen. In diesem Kontext erhalten AES Handlungskompetenzen, die mit einem gewissen Grad an Autonomie einhergehen. Darüber hinaus treffen Menschen Annahmen über die Fähigkeiten und Kompetenzen der AES und entwickeln bestimmte Erwartungen an sie. Es verändert sich damit für Menschen nicht nur die Wahrnehmung der eigenen Rolle, sondern auch die Wahrnehmung der eigenen Fähigkeiten (im Vergleich zum AES) und der Selbstwirksamkeit. Schließlich kommt es auch zu einer veränderten Zuschreibung von Verantwortung für den Arbeitsprozess und für das Ergebnis.
In der britischen TV-Comedy-Show Little Britain werden diese Veränderungen satirisch dargestellt: In diesem Sketch kommt eine Mutter mit ihrer fünfjährigen Tochter ins Krankenhaus, um einen Termin für eine Mandeloperation zu vereinbaren. Nachdem die Sprechstundenhilfe die Daten der Tochter eingegeben hat, sagt sie, das Kind sei für eine beidseitige Hüftoperation vorgesehen. Trotz der Einwände der Mutter, die die Sprechstundenhilfe zunächst in ihren Computer eintippt, antwortet sie immer wieder: „Der Computer sagt nein!“ Unabhängig davon, wie vernünftig die Einwände der Mutter und wie falsch die Aussagen des Computers sind, setzt sich der Entscheidungsvorschlag der Maschine letztlich durch. In der Satire wird deutlich, wie angeblich „intelligente Systeme“ die Rollen und Verantwortlichkeiten von Menschen und Maschinen auf absurde Weise verschieben können. Sie zeigt auf, dass den klugen Maschinen mit ihren mathematischen Algorithmen zu sehr vertraut wird. Das schwächt unsere Autonomie und Selbstwirksamkeit und schließlich kommt es zu einer Diffusion von Verantwortung. Die kritischen Fragen lauten: Warum verlässt sich die Empfangsdame auf das fehlerhafte System, ohne es kritisch zu hinterfragen, und wie könnten wir solche Situationen im Arbeitskontext vermeiden?
Erfahrungen aus der Praxis und wissenschaftliche Studien bestätigen, dass diese Satire leider allzu realistisch ist und auf einen sehr kritischen Aspekt aufmerksam macht. Beispielhaft kann hier die Fallstudie in einer schwedischen Behörde angeführt werden, in der die Verschiebungen des Rollengefüges deutlich sichtbar werden1. In dieser Behörde wird ein algorithmisches Entscheidungssystem eingesetzt, um die Anspruchsberechtigung von Personen, die staatliche Hilfsleistungen beantragen, einzuschätzen. Während die Mitarbeitenden dies bisher selbst eingeschätzt und entschieden haben, nehmen sie sich zunehmend nur noch als Vermittelnde zwischen dem System und den antragstellenden Personen wahr. Sie halten das System „nur am Laufen“, obwohl sie formal für die endgültige Entscheidung verantwortlich sind. Beamtinnen und Beamte äußern in Interviews, dass das System eine Entscheidung auf Basis aller eingegebenen Informationen vorschlägt und es daher keinen Raum für Zweifel geben könne. Sie sind überzeugt, dass das AES nicht irren kann und schreiben dem System hohe Kompetenzen zu, während gleichermaßen die Wahrnehmung eigener Kompetenzen sowie das Handlungsvermögen (im Vergleich) als geringer wahrgenommen werden.
Gerade weil AES so komplex und intransparent sind, können ihre Entscheidungsprozesse weder von den Entwicklerinnen und Entwicklern, geschweige denn von ihren Anwenderinnen und Anwendern vollständig nachvollzogen werden. Und dennoch haben Menschen in der Regel großes Vertrauen in Technologie, selbst wenn sie nicht genau verstehen, wie sie funktioniert.
Übertriebenes Vertrauen kann so weit führen, dass Menschen ihr Selbstverständnis infrage stellen: Das Ergebnis muss richtig sein, weil die Analyse ja von einem Computer gemacht wurde und Computer bessere Schlussfolgerungen ziehen als Menschen. Mit Argumenten wie diesen rechtfertigen Menschen sogar offensichtlich falsche Klassifizierungen ihrer Person durch das algorithmische Entscheidungssystem2. Mit dem übermäßigen Vertrauen gehen aber Fähigkeiten und Kompetenzen verloren, weil sie nicht regelmäßig gebraucht und trainiert werden. Entscheidungsprozesse, deren Regeln und Zusammenhänge nicht verstanden werden, bieten auch keine Lernchancen für neue Erfahrungen und Erkenntnisse für Menschen. Damit steigt unsere Abhängigkeit von KI-Systemen, die insbesondere dann problematisch wird, wenn sie ausfallen oder nicht richtig funktionieren. Zwar wird in sogenannten Out-of-the-loop-Szenarien erwartet, dass Menschen einspringen und die Aufgaben der Systeme wieder übernehmen können, aber dann fehlen ihnen die Erfahrungen und Kompetenzen dazu. Eine weitere Ironie der Automatisierung.
Autonomie und selbstbestimmtes Handeln erfordern ein bestimmtes Maß an (Eigen-)Verantwortung. Jede Entscheidung, die AES treffen, wird nicht von Menschen getroffen und schränkt letztendlich unsere Handlungsmacht ein. Das kann durchaus eine Erleichterung sein, letztendlich sinken damit aber auch die wahrgenommene Kontrolle und das Verantwortungsgefühl. Allein die Tatsache, dass eine Entscheidung nicht von einem Menschen getroffen wird, sondern das Ergebnis eines automatisierten Prozesses ist, verleiht ihr eine gewisse Neutralität und Legitimität – und schwächt damit das Verantwortungsgefühl der Anwenderinnen und Anwender. Dies ist deshalb besonders problematisch, weil insbesondere Laien sehr großes Vertrauen in AES haben und sich lieber auf Algorithmen als auf die Fachexpertise von Menschen verlassen. Aber wer trägt schlussendlich die Verantwortung, wenn etwas passiert? Wenn sich AES irren oder wenn Menschen durch AES diskriminiert werden?
Gerade beim Einsatz von AES, die Einfluss auf die Rechte, das Leben und die Gesundheit von Menschen haben, ist die Frage der Verantwortung höchst relevant. Wie sollen beispielsweise Ärztinnen und Ärzte für Diagnosen verantwortlich gemacht werden, die sie aufgrund von Fehleinschätzungen von AES, welche ihnen ihr Arbeitgeber zur Verfügung stellt, getroffen haben? Ob die Verantwortung für potenzielle Folgen algorithmischer Entscheidung eindeutig zugeordnet werden können, hängt in hohem Maße von der Transparenz und Erklärbarkeit der eingesetzten AES ab. Nur wer versteht, wie algorithmische Entscheidungen zustande kommen, und damit auch deren Plausibilität überprüfen und einschätzen kann, kann Verantwortung übernehmen und zur Rechenschaft herangezogen werden. Bei der hohen Komplexität von AES ist diese Übersicht allerdings meist nicht gegeben: Zu viele Systemkomponenten (Systeme in Systemen) wirken zusammen. Die Verantwortung liegt bei vielen und bei niemandem eindeutig. Darüber hinaus können AES die Anforderungen an moralisches Handeln und Verantwortung noch nicht erfüllen. Es ist daher essenziell, die Informationsasymmetrie zwischen den AES und ihren Anwenderinnen und Anwendern zu schließen. Dabei reicht es nicht aus, den Zugang zu Daten, Zielsetzungen und Entscheidungsmodellen zu haben, sondern die Anwenderinnen und Anwender müssen den Entscheidungsprozess auch nachvollziehen und verstehen können.
Auch wenn AES das Leben einfacher machen können, so machen sie es nicht immer besser. AES sind nicht objektiv oder wertfrei, sondern das Ergebnis vieler Werturteile, die in mathematische Codes und Rechenschritte verpackt sind. AES haben Auswirkungen auf unser Selbstverständnis, indem sie uns von der aktiven Rolle einer Entscheidungsträgerin in die passive Rolle der Vermittlerin drängen. Im schlimmsten Fall schränken diese Systeme unsere Autonomie und unser selbstbestimmtes Leben ein. Weil wir sie nicht verstehen, verhindern sie, dass wir aus den Erfahrungen, die wir mit ihnen machen, lernen. Im Gegenteil! Wir verlernen, was wir früher gekonnt haben, weil wir unsere Kompetenzen nicht mehr nutzen. Dabei ist es so einfach: Nicht die Frage „Wo können uns Maschinen ersetzen?” soll uns in der Entwicklung neuer Technologien leiten, sondern „Wo wollen wir Maschinen einsetzen?”. In einem komplementären Ansatz, in dem KI-Systeme uns dort unterstützen, wo Arbeit gefährlich oder ungesund ist, wo wir Schwächen haben und unsere kognitiven Kapazitäten nicht ausreichen, erweitern sie unsere Stärken in Kreativität, Innovation, unser verantwortliches Handeln, Führung, Kommunikation, Problemlösung und unsere ethischen Entscheidungsfindungen.
Sabine T. Köszegi ist Professorin für Arbeitswissenschaft und Organisation an der TU Wien. Ihre Forschungsinteressen liegen in der Schnittmenge Arbeit, Technologie und Organisation. 2020 erhielt sie den Käthe Leichter Staatspreis für Exzellenz in der Genderforschung. Seit 2018 engagiert sie sich auch in der Politikberatung, als Mitglied der hochrangigen Expert*innengruppe zu KI der Europäischen Kommission (2018–2021), als Vorsitzende des Österreichischen Rats für Robotik und KI (2017–2021), als Mitglied der Arbeitsgruppe Future of Work and Inclusive Growth des europäischen Thinktanks Bruegel AISBL (seit 2021) und als Vorsitzende des UNESCO Fachbeirats Ethik der Künstlichen Intelligenz für Österreich (seit Juli 2023).
1 Wihlborg, E./Larsson, H./Hedström, K. (2016): »The Computer Says No!«– A Case Study on Automated Decision-making in Public Authorities. In: IEEE Computer Society, Proceedings of HICCS 2016, S. 2903–2912. doi.org/10.1109/HICSS.2016.364.
2 Wouters, N./Kelly, R./Velloso, E./Wolf, K./Ferdous, H. S./Newn, J./Joukhadar, Z./Vetere, F. (2019): Biometric Mirror: Exploring Values and Attitudes towards Facial Analysis and Automated Decision-Making. In: Conference on Designing Interactive Systems, 1145.