Wer arbeitslos ist oder nur wenig verdient, hat es schwer. Eine Software der französischen Familienkasse macht es Betroffenen gleich nochmal schwerer und weist ihnen einen höheren Risikowert für Betrug oder Überzahlungen zu. Eine französische NGO hat das Programm analysiert und kritisiert diskriminierende Kriterien.
Wer in Frankreich finanzielle Unterstützung von der Caisse Nationale d’Allocations Familiales (CAF) bekommt, erhält nicht nur Geld, sondern auch einen persönlichen Risikowert dazu. Die „Familienausgleichskasse“ zahlt etwa Zulagen oder Wohngeld an einkommensschwache Familien. Wo die CAF Betrug oder Überzahlungen vermutet, kann sie die Empfangenden besonders kontrollieren oder überprüfen. Doch die Anhaltspunkte stammen nicht nur von Menschen, sondern vor allem aus einer Software.
Die französische NGO La Quadrature du Net (LQDN) hat durch Informationsfreiheitsanfragen Zugang zum Quellcode dieser Software erhalten und sie analysiert. Die Organisation zeigt damit, welche Faktoren zu einem vermeintlich erhöhten Risiko für unberechtigte Zahlungen führen und wie dadurch bestimmte Gruppen diskriminiert werden.
Faktoren, die den „Verdächtigkeitswert“ steigen lassen, sind demnach etwa ein geringes Einkommen, Arbeitslosigkeit oder instabile Beschäftigungsverhältnisse. Aber auch wer in einer ungünstigen Nachbarschaft lebt oder einen großen Teil des Einkommens für Miete ausgibt, muss mit einem höheren Wert rechnen. „Der Gipfel des Zynismus“, wie LQDN schreibt: „Der Algorithmus zielt bewusst auf Menschen mit Behinderungen ab.“ Wenn jemand eine Beihilfe für Erwachsene mit Behinderungen beziehe und gleichzeitig arbeite, wirke sich das „am stärksten auf die Punktzahl des Empfängers“ aus.
Doppelte Strafe
LQDN kritisiert auch die „Doppel-Bestrafung“, die dem System zugrunde liege. Als auffällig würden gerade diejenigen markiert, die sowieso schon Probleme hätten. Sie starten aufgrund ihrer Lebensumstände unabhängig von ihrem aktuellen Verhalten bereits mit einem höheren Wert, während gut situierten Personen anfangs kein Risiko zugeschrieben wird.
Die Software ist jedoch nicht die aktuelle Version, sondern wurde von 2014 bis 2018 genutzt. Die derzeitige Variante bekam LQDN nicht. Die Organisation geht davon aus, dass sich die Verantwortlichen im Zweifel damit verteidigen, dass die neue Version weniger diskriminierend sei. LQDN aber findet: „Es kann kein Modell des Algorithmus geben, das nicht auf die am stärksten Benachteiligten abzielt. Und damit auch auf diejenigen, die von der Norm abweichen, die seine Entwickler definiert haben.“
Die Analyse ist Teil einer Reihe von LQDN, die sich automatisierten Verarbeitungen im Sozialsystem Frankreichs widmet. LQDN habe das Thema zur Priorität des kommenden Jahres gemacht und will ähnliche Systeme genau untersuchen, etwa im Gesundheitswesen oder bei der Rentenversicherung.
Doch Frankreich ist längst nicht das einzige Land mit problematischen (teil-)automatisierten, staatlichen Entscheidungssystemen: In den Niederlanden hatte beispielsweise die sogenannte Kindergeldaffäre gezeigt, wie mit diskriminierenden Kriterien betriebene Systeme viele Familien finanziell fast ruinierten. Die dortige Regierung musste schließlich ein Bußgeld in Millionenhöhe zahlen.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
0 Commentaires