Ein Vater fotografiert den Genitalbereich seines kleinen Sohnes für den Kinderarzt – plötzlich wird sein Google-Account gesperrt. Die automatische Bilderkennung hatte falschen Alarm ausgelöst. Für die geplante Chatkontrolle lässt das wenig Gutes erwarten.
Ein Fall aus San Francisco macht anschaulich, was passieren kann, wenn automatische Bilderkennung einen falschen Verdacht hegt. Die Geschichte beginnt im Februar 2021. Ein Vater bemerkt, dass sein kleiner Sohn Schmerzen am Penis hat. Wegen der Pandemie bietet der Kinderarzt eine Videosprechstunde an. Man solle vorab ein Foto der schmerzenden Stelle schicken. So berichtet es die New York Times. Was der Vater nicht ahnt: Die Fotos vom Genitalbereich seines kleinen Sohnes landen auch auf Google-Servern und werden dort automatisch gescannt.
Die automatische Synchronisierung von Fotos lässt sich auf Android-Geräten ein- und ausschalten. In diesem Fall war sie eingeschaltet, und Google scannte die Fotos auf der Suche nach sexualisierter Gewalt gegen Kinder. Bei mindestens einem Foto schlug die automatische Bilderkennung Alarm. Mit schweren Folgen: Das Erstellen sogenannter Kinderpornografie ist auch in den USA eine schwere Straftat. Der Vater verlor seinen Google-Account, die Polizei wurde eingeschaltet. Zahlreiche US-amerikanische und deutsche Nachrichtenmedien haben inzwischen darüber berichtet.
KI kennt keinen Kontext
Hier zeigt sich das Problem von automatischer Bilderkennung, die auf Machine Learning aufbaut, auch bekannt als Künstliche Intelligenz. Die Software hat an dieser Stelle wie vorgesehen gearbeitet und eine mutmaßlich kriminelle Situation erkannt. Eine erwachsene Hand, der Genitalbereich eines Kindes – genau solche Bilder soll die Software erkennen. Doch sie versteht den Kontext nicht.
Für den Vater aus San Francisco endete der Fall noch glimpflich. Die Polizei kam bei ihren Ermittlungen zum Ergebnis, dass keine Straftat vorlag. Bloß seinen Google-Account hatte der Vater verloren, samt aller privaten Daten.
Das macht den Fall zu einem Paradebeispiel für die Schwächen automatischer Bilderkennung. Irrtümliche Treffer, false positives, sind nicht nur eine Randnotiz in der Statistik. Sie treffen das Leben realer Menschen. Der Fall zeigt auch, wie machtlos Nutzer:innen gegenüber den Tech-Giganten sind. Trotz Beschwerden wurde die Sperre des Google-Accounts nicht aufgehoben.
Die deutsche Google-Pressestelle teilt auf Anfrage von netzpolitik.org mit, dass Google Verdachtsfälle händisch überprüfe, bevor ein Konto gesperrt werde. Nutzer:innen hätten die Möglichkeit, Einspruch zu erheben, und Einsprüche würden durch das Team überprüft. Außerdem leite Google Verdachtsfälle sexualisierter Gewalt gegen Kinder an eine zentrale Meldestelle in den USA weiter, das NCMEC. Über die Arbeit des NCMEC haben wir hier ausführlich berichtet. Bei Fällen im Ausland kontaktiert das NCMEC wiederum lokale Behörden, in der EU ist es beispielsweise Europol.
Vorschau auf die Chatkontrolle
Der Fall ist auch im Hinblick auf die sogenannte Chatkontrolle spannend. Die Europäische Kommission plant mit diesem Gesetzesvorhaben, dass Tech-Unternehmen bekannte Darstellungen sexualisierter Gewalt gegen Kinder automatisch erkennen sollen, auch in privaten Chats. Darüber hinaus sollen sie auch bislang unbekannte Aufnahmen erkennen.
Genau das birgt viele Fallstricke. Vorgänge wie der aus San Francisco könnten sich wiederholen. Fotos für Kinderärzt:innen können ebenso falschen Alarm auslösen wie Chatgruppen, in den Familienmitglieder Fotos vom Baden am See posten, oder einvernehmliches Sexting unter Jugendlichen. Schon heute ist mehr als Hälfte der Tatverdächtigen bei sogenannter Kinderpornographie selbst minderjährig.
Dass False Positives erwartet werden, gibt die EU-Kommission selbst zu, aus technologischer Sicht sind sie unvermeidlich. Auch wenn sich die Fehlerquoten durch Training der Bilderkennung senken lassen – bei Abermillionen täglich verschickten Fotos bedeuten selbst geringste Fehlerquoten, dass reihenweise unbescholtene Menschen unter Verdacht geraten können. Die mögliche Folge wären teils monatelange Ungewissheit, wie Ermittlungsbehörden mit dem Verdacht umgehen.
Datenschützer:innen und Bürgerrechtsorganisationen aus ganz Europa warnen seit Monaten davor, massenhaft die private Kommunikation von Internet-Nutzer:innen zu durchleuchten. EU-Datenschutzbehörden haben an das Vorhaben komplett auseinandergenommen. Es Vorhaben bedroht Grundrechte und birgt die Gefahr einer neuen Form von anlassloser Massenüberwachung. Als nächstes wird der Entwurf der EU-Kommission im EU-Parlament diskutiert.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
0 Commentaires