Künstliche Intelligenz

Programmierter Rassismus

In den letzten Jahren hat in den USA ein algorithmengestütztes System für großes Aufsehen gesorgt. Das System sollte Entscheidungen im Rahmen von Strafverfahren über eine vorzeitige Haftentlastung unterstützen. Das sogenannte COMPAS („Correctional Offender Management Profiling for Alternative Sanctions“) System versprach eine Einschätzung der Sozialprognose, ob eine Strafrückfälligkeit bei vorzeitiger Entlassung zu erwarten ist. Das traf bei den Gerichten, die wie in Deutschland stets an der Belastungsgrenze arbeiten, wenig überraschend einen Nerv. Doch Begleitstudien über das System zeigten immense Probleme auf: Das System schrieb Angeklagte, die zuvor bereits Straftäter waren, jedoch nach ihrer Entlassung nicht rückfällig wurden, ein hohes Rückfallrisiko zu – und zwar bei 45 Prozent der schwarzen und 23 Prozent der weißen Angeklagten. Das Risiko, eine schlechte Sozialprognose ausgestellt zu bekommen, war demnach für schwarze Angeklagte doppelt so hoch wie für weiße Angeklagte. Trotz dieser Erkenntnis kommt das System noch immer in einigen Bundesstaaten der USA zum Einsatz. Durch diverse Rechtsprechungen wurde mittlerweile festgelegt, dass bei der Einbeziehung der Prognose in die gerichtliche Entscheidung, die Grenzen der technischen Möglichkeiten des Systems in Betracht zu ziehen sind.

Wie konnte es zu diesen verzerrten, oftmals gegenüber Schwarzen diskriminierenden Ergebnissen kommen? Haben Algorithmen möglicherweise die Tendenz voreingenommen zu entscheiden? Natürlich sind Algorithmen nicht von sich aus voreingenommen oder rassistisch. Aber sie können es sein. Und zwar dann, wenn die Datengrundlage, mit der sie trainiert werden oder aufgrund der sie Entscheidungen treffen, es ist. Oder wenn die Datengrundlage einen Status Quo beschreibt, der von systemischer Diskriminierung gegenüber bestimmten Personengruppen bestimmt ist. Den Einsatz eines ähnlich funktionierenden Systems wie COMPAS halte ich in Deutschland für ausgeschlossen. Insbesondere staatliche Stellen unterliegen einer direkten Grundrechtsbindung. Sie müssen sich also bei ihrem Handeln und auch mit ihren eingesetzten Systemen am Gleichbehandlungsgrundsatz orientieren und für sie gilt ein Diskriminierungsverbot. Wenn also klar ist, dass der Einsatz eines Systems ein hohes Risiko für Diskriminierung birgt, weil uns keine ausreichend guten Daten zur Verfügung stehen, um es zu trainieren, dann können wir das System durch staatliche Stellen nicht zur Anwendung bringen.

Um es mal ganz konkret zu machen. Sollten wir Systeme zur Unterstützung der Polizei einsetzen, mit denen Vorhersagen über die Begehung von Straftaten oder zu möglichen Tatorten getroffen werden? Oder sollten wir zur Kriminalitätsprävention und -aufklärung flächendeckend Gesichtserkennungssysteme im öffentlichen Raum einsetzen? Wenn durch einen Algorithmus Voraussagen für die Begehung von Straftaten oder Tatorten anhand vergangener Kriminalitätssttatistiken getroffen werden sollen und diese Kriminalitätsstatistiken Ausdruck eines geübten kriminalistischen Vorgehens sind, das momentan an manchen Stellen unter Druck gerät (das beweisen die Debatten zu „racial profiling“), dann ist das vielleicht keine so gute Idee. Gleiches gilt beim Einsatz von Video-Überwachungssystemen mit Gesichtserkennung. Auch hier gibt es bereits Studien, die belegen, dass die Gesichtserkennung bei Betroffenen mit dunkler Hautfarbe viel häufiger fehleranfällig ist, das Risiko einer falsch positiven Erkennung also besonders groß ist. Nicht nur deshalb fordere ich schon lange, dass wir von Überlegungen zur flächendeckenden Gesichtserkennung im öffentlichen Raum Abstand nehmen sollten.

Aber nicht nur im staatlichen Bereich, sondern auch in anderen Lebenssituationen und beim Einsatz durch Private kann die Anwendung von Algorithmen, die diskriminierende Muster replizieren, zum echten Chancen-Killer werden. Das muss insbesondere dann den Staat auf den Plan rufen, wenn die Grundrechtsrelevanz bei der Versagung von Chancen besonders hoch ist. Ich denke dabei etwa an die Versagung einer Kreditzusage aufgrund eines schlechten Scorings wegen einer Postleitzahl, die auf ein migrantisch geprägten Wohngebiet hinweist. Oder auf Systeme, die zur Bewerberauswahl bei großem Bewerbungsaufkommen eingesetzt werden und Menschen mit ausländisch klingenden Namen aussortieren.

In der diesjährigen internationalen Woche gegen Rassismus geht mein Appell deshalb an die Regierung und auch an die Entwickler von Algorithmen: nehmt die Risiken von vorprogrammiertem Rassismus im System endlich ernst. Wir brauchen deshalb eine bessere Nachvollziehbarkeit von Entscheidungen durch Algorithmen, damit man sich auch gerichtlich dagegen wehren kann. Wir brauchen hochwertige Datensätze zum Training von Algorithmen, die nicht analoge Vorurteile technisch replizieren. Und wir brauchen zur Not auch das Verbot des Einsatzes von Algorithmen, wenn die Grundrechte der Betroffenen durch rassistische Entscheidungen des Systems in tiefgreifender Weise verletzt werden könnten.