Enthüllungen des Journals wired zeigen, dass Tausende von Bahnfahrern im Vereinigten Königreich unwissentlich von Amazon-Software gescannt wurden. Diese weit verbreiteten künstlichen Intelligenz (KI)-Tests wurden durchgeführt, um das Alter, das Geschlecht und die potenziellen Emotionen der Reisenden zu analysieren – möglicherweise mit dem Ziel, diese Daten künftig in Werbesystemen zu nutzen. In diesem Blogbeitrag fassen wir die wichtigsten Erkenntnisse zusammen.
Wie wurden die KI-Kameras eingesetzt?
In den vergangenen zwei Jahren wurden an acht Bahnhöfen im Vereinigten Königreich, darunter große Bahnhöfe wie London Euston und Waterloo sowie Manchester Piccadilly, KI-Überwachungstechnologien mit CCTV-Kameras getestet. Ziel war es, das Personal auf Sicherheitsvorfälle aufmerksam zu machen und bestimmte Arten von Kriminalität zu reduzieren.
Welche Technologien kamen zum Einsatz?
Die umfassenden Tests, die von der Eisenbahninfrastrukturbehörde Network Rail überwacht wurden, nutzten Objekterkennung – eine Form des maschinellen Lernens, die Gegenstände in Videofeeds identifizieren kann. Diese Technologie sollte Personen erkennen, die auf Gleisen herumlungern, Überfüllungen auf Bahnsteigen vorhersagen, unsoziales Verhalten wie Rennen, Schreien, Skateboardfahren und Rauchen identifizieren und potenzielle Fahrraddiebe aufspüren. In separaten Tests wurden drahtlose Sensoren eingesetzt, um rutschige Böden, volle Mülltonnen und möglicherweise überlaufende Abflüsse zu erkennen.
Wie wurden die Kameras und Sensoren eingesetzt?
Die KI-Tests verwendeten eine Kombination aus „intelligenten“ CCTV-Kameras, die Objekte oder Bewegungen aus den von ihnen aufgenommenen Bildern erkennen können, und älteren Kameras, deren Videofeeds zur Analyse in die Cloud hochgeladen wurden. Laut den Dokumenten, die auf April 2023 datiert sind, waren an jedem Bahnhof zwischen fünf und sieben Kameras oder Sensoren im Einsatz. Eine Tabelle listet 50 mögliche KI-Anwendungsfälle auf, obwohl nicht alle in den Tests verwendet wurden. Ein Bahnhof, London Euston, sollte ein „Selbstmordrisiko“-Erkennungssystem testen, aber die Kamera fiel aus und das Personal sah keinen Bedarf, sie zu ersetzen, da der Bahnhof ein „Endbahnhof“ ist.
Welche Aspekte sind besonders bedenklich?
Besorgniserregend war die Fokussierung auf „Passagierdemografien“. Den Dokumenten zufolge könnte das Setup Bilder der Kameras verwenden, um eine „statistische Analyse der Altersgruppen und männlichen/weiblichen Demografien“ zu erstellen und auch Emotionen wie „glücklich, traurig und wütend“ zu analysieren. Die Bilder wurden aufgenommen, wenn Personen eine „virtuelle Stolperfalle“ in der Nähe der Ticketbarrieren überquerten, und zur Analyse an Amazons Rekognition-System gesendet, das Gesichts- und Objekterkennung ermöglicht. Dies könnte laut den Dokumenten die Messung der Passagierzufriedenheit ermöglichen und „diese Daten könnten genutzt werden, um die Werbe- und Einzelhandelseinnahmen zu maximieren“.
Welche Kritik gibt es an der Emotionserkennungstechnologie?
KI-Forscher warnen häufig davor, dass der Einsatz der Technologie zur Emotionserkennung „unzuverlässig“ ist, und einige sagen, die Technologie sollte aufgrund der Schwierigkeiten, herauszufinden, wie sich jemand anhand von Audio- oder Videodaten fühlt, verboten werden. Im Oktober 2022 veröffentlichte die britische Datenschutzbehörde, das Information Commissioner’s Office, eine öffentliche Erklärung, in der sie vor der Verwendung von Emotionserkennung warnte und erklärte, die Technologien seien „unreif“ und „sie könnten noch nicht funktionieren oder möglicherweise niemals funktionieren“.
Ausblick
Gerade die KI-Verordnung der EU hegt Risiken für derartige (stillschweigende) Experimente mit großen Gefahren für Grundrechte ein. Das Vereinigte Königreich hat hier noch einiges aufzuholen.