Immer mehr Unternehmen und staatliche Institutionen setzen verstärkt auf algorithmusbasierte Systeme, um bei Entscheidungen Unterstützung zu erhalten. Der Einsatz spart Zeit und Geld, birgt aber auch Gefahren, etwa wenn dadurch einzelne Menschen oder ganze Bevölkerungsgruppen benachteiligt werden. Das Karlsruher Institut für Technologie (KIT) hat dazu jetzt eine Studie erstellt.
Menschen werden bei Entscheidungen immer öfter von Algorithmen unterstützt – in manchen Fällen fällt der Algorithmus die Entscheidung, etwa zur Kreditvergabe oder bei der Auswahl neuer Mitarbeiter, komplett autonom. „Dass dies zwangsläufig zu objektiveren und damit faireren Entscheidungen führt, erweist sich heute leider oft als Trugschluss“, sagt Carsten Orwat vom Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) des KIT. Kritisch werde es vor allem dann, wenn Algorithmen mit tendenziösen Daten arbeiteten und auf eigentlich geschützte Merkmale zurückgriffen. Hierzu gehörten insbesondere Alter, Geschlecht, ethnische Herkunft, Religion, sexuelle Orientierung oder Behinderungen.
Orwat hat in der Studie „Diskriminierungsrisiken durch Verwendung von Algorithmen“ im Auftrag der Antidiskriminierungsstelle des Bundes untersucht, welche Ursachen diese Formen der Diskriminierung haben, wie sie sich auf die Gesellschaft auswirken und wie sie sich in Zukunft verringern lassen. Anhand von 47 Beispielen zeigt der Forscher dabei auf, wie Algorithmen auf unterschiedliche Weise diskriminieren können und wie dies nachgewiesen werden kann.
Diskriminierungsrisiken bei Immobilien, Krediten und mehr
Orwat beschreibt zum Beispiel Szenarien auf dem Immobilienmarkt, bei der Kreditvergabe oder im Strafvollzug. In den USA gebe es mehrere dokumentierte Fälle, in denen Algorithmen Sozialer Medien Wohnungsanzeigen zugelassen hätten, die durch den ‚Fair Housing Act‘ geschützte Personengruppen nicht zu sehen bekamen – etwa Migranten oder Menschen mit Behinderung, schreibt der Autor der Studie. In Finnland benachteiligte ein Algorithmus bei der automatisierten Online-Kreditvergabe Männer gegenüber Frauen und finnische gegenüber schwedischen Muttersprachlern. US-amerikanische Richter arbeiten bei der Entscheidung über vorzeitige Haftentlassungen mit einem umstrittenen System, das Risikoscores berechnet. Journalisten- und Menschrechtsverbände kritisieren, dass das System das Rückfallrisiko von schwarzen Menschen systematisch zu hoch bewertet.
Problematisch, wenn KI-Systeme Stereotype abbilden
„Bei Systemen des maschinellen Lernens wird es häufig problematisch, wenn KI-Systeme mit Daten trainiert werden, die Ungleichbehandlungen oder Stereotypen abbilden“, erklärt Orwat. Auf diese Art nämlich spiegelten sich Ungleichbehandlungen oder Stereotype in den erzeugten Algorithmen wider. „Werden Daten verarbeitet, die Bewertungen von Menschen über anderer Menschen beinhalten, so können sich Ungleichheiten und Diskriminierungen sogar verbreiten oder verstärken“, unterstreicht der Studienautor. Das zeigte sich beispielsweise in den USA bei einem System für Lebensmittel- und Gesundheitskontrollen, das auf diskriminierenden Bewertungen von Restaurants basierte.
Empfehlungen zur Regulierung
Die Gesellschaft muss diese Ungleichbehandlungen aber nicht tatenlos hinnehmen. Die Studie nennt mehrere Ansatzmöglichkeiten, um den Diskriminierungen zu begegnen. „Am sinnvollsten erscheinen präventive Maßnahmen“, sagt Orwat. So könnten Firmen ihre Mitarbeiter von Antidiskriminierungsstellen beraten lassen. Diese Angebote könnten auch dafür sensibilisieren, nur Datensätze zu verwenden, die keine diskriminierenden Praktiken oder Ungleichheiten widerspiegeln.
Orwats Ziel ist es, Algorithmen in Zukunft „diskriminierungsfrei by design“ zu machen. Dazu müssten Programme bereits während ihrer Entwicklung geprüft werden. Letztlich gehe es dabei immer um den Schutz von gesellschaftlichen Werten wie Gleichheitsziele oder Schutz der freien Entfaltung der Persönlichkeit. (wag)
Die vollständige Studie gibt es beim KIT zum Download (externer Link, PDF).
Kontakt zum KIT
Karlsruher Institut für Technologie
Kaiserstraße 12
76131 Karlsruhe
Tel.: +49 721 6080
Fax: +49 721 608 44290
E-Mail: info@kit.edu
Website: www.kit.edu
Ebenfalls interessant:
https://industrie.de/top/deutschland-noch-nicht-der-algorithmischen-welt-angekommen/
