In einer kürzlich veröffentlichten wissenschaftlichen Forschung kritisiert Jura-Professor Douwe Korff den Einsatz von KI-Modellen zur Terrorismusabwehr im Rahmen der EU-Richtlinie zur Verarbeitung von Fluggastdaten. Mindestens 500.000 Personen würden demnach jedes Jahr zu Unrecht verdächtigt.
Die EU-Richtlinie zu Fluggastdatensätzen (PNR-Richtlinie) verpflichtet die EU-Mitgliedsstaaten seit 2016 dazu, europaweit Daten über Fluggäste zu erheben und untereinander auszutauschen. Ein EuGH-Urteil im Jahr 2022 beschränkte diese Massenüberwachung bei Flugreisen und legte auch ein Diskriminierungsverbot fest. Die PNR-Richtlinie blieb jedoch bestehen.
Die PNR-Daten sollen vor allem sogenannte terroristische Gefährder identifizieren – unter anderem mit Hilfe sogenannter Künstlicher Intelligenz (KI). Mehrere europäische Länder (pdf) – darunter auch Deutschland – setzen KI bereits für die Strafverfolgung und die Vorhersage von Verbrechen ein.
Ebendies kritisiert Douwe Korff, Jura-Professor an der London Metropolitan University und Anwalt für Menschenrechte, in seiner kürzlich veröffentlichten wissenschaftlichen Forschung. Er zählt drei grundlegende Probleme auf, die all jenen algorithmischen Verfahren gemein sind, die dem Profiling von potenziellen Gefährder:innen dienen.
500.000 potenzielle Terrorist:innen
Als Erstes benennt er einen statistischen Fehlschluss, den sogenannten Prävalenzfehler. Dieser Fehler beschreibt, dass vermeintlich zuverlässige statistische Modelle dazu neigen, besonders unwahrscheinliche Ereignisse disproportional häufig vorherzusagen.
Selbst wenn beispielsweise ein KI-Modell Terrorist:innen in 99,9 Prozent der Fälle frühzeitig erkennen könnte, würde das Modell viele Unschuldige gleichermaßen verdächtigen, da die absolute Häufigkeit von Terrorist:innen in der Bevölkerung außerordentlich gering ist. Dieses Problem ist weitgehend unabhängig vom Anwendungsfall und beschreibt eine grundlegende Eigenschaft statistischer Verfahren.
Die Auswertung der Fluggastdaten in der EU würde nach Einschätzung des Wissenschaftlers – selbst bei dieser unrealistisch hohen Trefferquote – jedes Jahr etwa 500.000 Personen fälschlicherweise als potenzielle Terrorist:innen kennzeichnen. Bei einer plausibleren Trefferquote geriete eine noch höhere Zahl Unschuldiger ins Visier der Ermittler:innen. Bereits in der Vergangenheit hatte Korff die EU-Kommission auf diesen Umstand hingewiesen, allerdings sei die Warnung folgenlos geblieben.
Software erbt unsere Verzerrungen
Darüber hinaus neigt Profiling-Software dazu, gesellschaftliche Vorurteile zu replizieren und zu verstärken. Ein solcher Bias (Verzerrung) sei allerdings laut EU-Kommission bei der Analyse von Fluggastdaten ausgeschlossen, da Eigenschaften wie Ethnie oder politische Einstellung ignoriert würden. Diese zu verwenden sei gesetzlich auch verboten.
Korff widerspricht und weist erstens darauf hin, dass die entsprechende Richtlinie es den Mitgliedsstaaten erlaube, auch umfangreiche Datenbanken anderer Behörden in die Analyse einzubeziehen. Diese enthielten durchaus auch sensible personenbezogene Daten.
Zweitens wiesen auch Datensätze ohne sensible personenbezogene Daten starke Verzerrungen auf, die dann die statistische Auswertung beeinflussen würden, so Korff. Besonders marginalisierte Gruppen müssten damit rechnen, disproportional häufig und ohne nachvollziehbare Gründe verdächtigt zu werden.
Software ist intransparent
Denn, so kritisiert Korff schließlich, Behörden könnten selbst die Details solcher Software nicht einsehen. Aus diesem Grund seien sie außerstande, die Ergebnisse der Datenanalyse zu hinterfragen. Ihre Verdachtsfälle könnten sie damit auch nur unzureichend begründen. Aus diesem Grund bezeichnet Korff die Profiling-Algorithmen aus wissenschaftlicher Sicht als fragwürdig und für den polizeilichen Gebrauch als ungeeignet.
Korffs Kritik richtet sich in dem wissenschaftlichen Artikel insbesondere gegen die PNR-Richtlinie der EU-Kommission. Sie sei jedoch auf alle KI-basierten Profiling-Verfahren anwendbar, etwa bei der Chatkontrolle.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
0 Commentaires