Im Frühjahr 2024 ist der AI Act - und somit ein globaler Standard-Setter für KI-Regulierung - auf der Zielgraden. Im Zentrum des Regelwerkes stehen sogenannte Hochrisiko-KI-Systemen. In diesem Blogeintrag möchten wir dieses Herzstück des AI Acts laut aktuellem Entwurf näher anschauen und rausfinden, und was dies für Unternehmen bedeutet. Wichtig ist dabei hinzuweisen, dass der Blog-Artikel auf Basis des KI-Verordnungs-Entwurfs zum Stand März 2024 ist und nicht deckungsgleich mit der endgültigen Fassung des AI Acts, die im Juni 2024 im Amtsblatt der EU veröffentlicht wurde, ist.
Was sind Hochrisiko-KI-Systeme?
Hochrisiko-KI-Systeme sind laut Art. 6 des KI-Verordnungsentwurf solche, die in sensiblen Bereichen (wie der Sicherheit von Spielzeug oder Aufzügen - Annex I zum AI Act) oder etwa in bestimmten Anwendungen und Kontexten (Annex III zum AI Act) eingesetzt werden.
Hierbei geht es um KI-Systeme, die potenziell erhebliche Risiken für Gesundheit, Sicherheit oder Grundrechte darstellen können. Bemerkenswert ist, dass KI-Systeme des Annex III nicht als hochriskant gelten, wenn sie keine signifikanten Schadensrisiken bergen.
Insofern muss für einen ersten Einstieg zu den Hochrisiko-KI-Systeme den Annex I (der eine Liste von harmonisierten EU-Regeln enthält) und Annex III (der spezifische KI Systeme näher definiert) genauer analysieren.
Annex I
Annex I enthält eine Aufzahlung verschiedener EU-Regulativen, deren Geltungsbereich nunmehr mit dem AI-Act näher betrachtet werden muss:
Maschinenrichtlinie
Richtlinie über die Sicherheit von Spielzeug
Richtlinie über Sportboote und Wassermotorräder
Richtlinie über Aufzüge und Sicherheitsbauteile von Aufzügen
Richtlinie über Geräte und Schutzsysteme zur bestimmungsgemäßen Verwendung in explosionsgefährdeten Bereichen
Richtlinie über das Inverkehrbringen von Funkanlagen
Richtlinie über die Bereitstellung auf dem Markt für Druckgeräte
Verordnung über Seilbahnen
Verordnung über persönliche Schutzausrüstungen
Verordnung über Gasverbrauchseinrichtungen
Medizinprodukteverordnung
In-vitro-Diagnostika-Verordnung
Verordnung über gemeinsame Vorschriften für die Sicherheit in der Zivilluftfahrt
Verordnung über die Genehmigung und Marktüberwachung von zweirädrigen, dreirädrigen und vierrädrigen Kraftfahrzeugen
Verordnung über die Genehmigung und Marktüberwachung von land- und forstwirtschaftlichen Fahrzeugen
Richtlinie über Schiffsausrüstung
Richtlinie über die Interoperabilität des Eisenbahnsystems in der europäischen Union
Verordnung über die Genehmigung und Marktüberwachung von Kraftfahrzeugen und Kraftfahrzeuganhängern sowie von Systemen, Bauteilen und selbstständigen technischen Einheiten für diese Fahrzeuge
Verordnung über die Typgenehmigung von Kraftfahrzeugen und Kraftfahrzeuganhängern sowie von Systemen, Bauteilen und selbstständigen technischen Einheiten für diese Fahrzeuge hinsichtlich ihrer allgemeinen Sicherheit und des Schutzes von Fahrzeuginsassen und ungeschützten Verkehrsteilnehmern
Verordnung über gemeinsame Vorschriften für die Zivilluftfahrt und zur Errichtung einer Europäischen Agentur für Flugsicherheit.
Annex III
Annex III enthält folgende acht Themen:
Biometrische Daten, soweit ihre Verwendung nach EU-Recht oder nationalem Recht zulässig ist;
Kritische Infrastruktur;
Bildung und Berufsausbildung;
Beschäftigung, Arbeitnehmermanagement und Zugang zur Selbstständigkeit;
Zugang zu und Inanspruchnahme von wesentlichen privaten Dienstleistungen und wesentlichen öffentlichen Dienstleistungen und Leistungen;
Strafverfolgung, soweit ihre Verwendung nach EU-Recht oder nationalem Recht zulässig ist;
Migrations-, Asyl- und Grenzkontrollmanagement, soweit ihre Verwendung nach EU-Recht oder nationalem Recht zulässig ist;
Rechtspflege und demokratische Prozesse
Zusammenfassend ist damit festzuhalten, dass bei derartigen Einsatzgebieten von KI-Systemen die Regeln für die Hochrisiko-KI-Systeme gelten werden.
Welche Verpflichtungen müssen erfüllt sein?
Die EU legt in Art. 8 des KI-Verordnungsentwurf allgemeine Anforderungen fest, bevor Hochrisiko-KI-Systeme auf dem Markt zugelassen oder in Betrieb genommen werden dürfen. Die jeweiligen Pflichten werden dann in den darauffolgenden Artikeln näher spezifiziert.
Zu den Pflichten zählen:
Ein Risikomanagementsystem und eine KI-Risikobewertung (Art. 9)
Eine Grundrechts-Folgenabschätzung für Anwendungen des Annex III (Art. 9 Abs. 2)
Einhaltung von Datenqualitätsanforderungen (Art. 10)
Anforderungen an technische Dokumentationen (Art. 11)
Aufzeichnungspflichten (Art. 12)
Transparenzverpflichtungen gegenüber den Nutzern (Art. 13)
Menschliche Aufsicht (Art. 14)
Sicherstellung von Genauigkeit, Robustheit und Cybersicherheit (Art. 15)
Zusätzlich müssen Anbieter eine EU-Konformitätserklärung vorlegen und das CE-Zeichen anbringen.
Was wird von Anbietern von Hochrisiko-KI-Systemen erwartet?
Unter einem Anbieter versteht der AI Act eine natürliche oder juristische Person, Behörde, Einrichtung oder jede andere Stelle, die ein KI-System oder ein KI-Modell für allgemeine Anwendungen entwickelt, entwickeln lässt, für allgemeine Zwecke entwickelt und in Verkehr bringt, oder das KI-System
entgeltlich oder unentgeltlich unter seinem eigenen Namen oder seiner eigenen Marke in Betrieb nimmt.
Von diesen Anbietern erwartet Art. 16 des KI-Verordnungsentwurf, dass verschiedene Regeln eingehalten werden.
Zu diesen Regeln gehört ein Qualitätsmanagementsystem gemäß Art. 17 KI-Verordnungsentwurf. Dieses System muss insbesondere schriftliche Strategien, Verfahren und Anweisungen umfassen und sich auf folgende Aspekte erstrecken, wobei die Umsetzung dieser Aspekte in einem angemessenen Verhältnis zur Größe der Organisation des Diensteanbieters stehen muss:
eine Einhaltungsstrategie, einschließlich der Einhaltung der Konformitätsbewertungsverfahren und der Verfahren für die Handhabung von Änderungen am High-Risk-KI-System;
die Techniken, Verfahren und systematischen Maßnahmen, die für den Entwurf, die Entwurfskontrolle und die Entwurfsprüfung des High-Risk-KI-System anzuwenden sind;
die Techniken, Verfahren und systematischen Maßnahmen, die bei der Entwicklung, Qualitätskontrolle und Qualitätssicherung des High-Risk-KI-Systems anzuwenden sind;
die Verifikations-, Test- und Validierungsverfahren, die vor, während und nach der Entwicklung des KI-Systems mit hohem Risiko anzuwenden sind, sowie die Häufigkeit ihrer Anwendung;
die anzuwendenden technischen Spezifikationen, einschließlich Normen, und Mittel, mit denen sichergestellt werden soll, dass das AI-System für hohe Risiken diese Anforderungen erfüllt
Datenmanagementsysteme und -verfahren, einschließlich Datenerfassung, Datenerhebung, Datenanalyse, Datenkennzeichnung, Datenspeicherung, Datenfilterung, Datengewinnung, Datenaggregation, Datenspeicherung und sonstiger Datenverarbeitung, die vor und zum Inverkehrbringen oder zur Inbetriebnahme von AI-Systemen mit hohem Risiko durchgeführt werden;
das in Artikel 9 genannte Risikomanagementsystem;
die Einrichtung, Durchführung und Aufrechterhaltung eines Systems zur Überwachung nach dem Inverkehrbringen gemäß Artikel 72;
Verfahren zur Meldung schwerwiegender Zwischenfälle gemäß Artikel 73
die Abwicklung der Kommunikation mit den zuständigen nationalen Behörden, anderen einschlägigen Behörden, einschließlich derjenigen, die Daten bereitstellen oder den Zugang zu ihnen erleichtern, benannten Stellen, anderen Unternehmern, Kunden oder sonstigen interessierten Parteien;
Systeme und Verfahren für die Aufbewahrung aller einschlägigen Aufzeichnungen und Informationen;
Ressourcenmanagement, einschließlich Maßnahmen im Zusammenhang mit der Versorgungssicherheit;
einen Rahmen für die Rechenschaftspflicht, in dem die Zuständigkeiten der Unternehmensleitung und anderer Mitarbeiter in Bezug auf alle in diesem Absatz genannten Aspekte festgelegt sind.
Zu weitere Vorgaben für die Anbieter gehören:
Dokumentationspflicht gemäß Artikel 18 während eines Zeitraums von zehn Jahren nach dem Inverkehrbringen oder der Inbetriebnahme des IV-Systems mit hohem Risiko. Die Mitgliedstaaten legen dabei die Bedingungen fest, unter denen die Dokumentation den zuständigen nationalen Behörden während des in diesem Absatz genannten Zeitraums zur Verfügung zu halten ist, falls ein Anbieter oder sein in ihrem Hoheitsgebiet niedergelassener Bevollmächtigter vor Ablauf dieses Zeitraums insolvent wird oder seine Geschäftstätigkeit einstellt.
Aufbewahrungspflichten bezüglich der von ihren AI-Systemen mit hohem Risiko gemäß Artikel 19 automatisch erstellten Aufzeichnungen, wenn sie diese kontrollieren; unbeschadet des geltenden Unionsrechts oder nationalen Rechts werden die Aufzeichnungen für einen Zeitraum aufbewahrt, der der Zweckbestimmung des AI-Systems mit hohem Risiko angemessen ist, mindestens jedoch sechs Monate beträgt, sofern das geltende Unionsrecht oder nationale Recht, insbesondere die Rechtsvorschriften der Union über den Schutz personenbezogener Daten, nichts anderes vorsehen.
Unterziehung von einschlägigen Konformitätsbewertungsverfahren gemäß Artikel 43 AI Act
Ausstellung der EU-Konformitätserklärung gemäß Artikel 47 und Anbringung der CE-Kennzeichnung gemäß Artikel 48 auf dem AI-System mit hohem Risiko oder, falls dies nicht möglich ist, auf der Verpackung oder den Begleitunterlagen an, um dessen Konformität mit dieser Verordnung anzuzeigen.
Erfüllung der Registrierungsanforderungen gemäß Artikel 49 Absatz 1
Ergreifen der erforderlichen Korrekturmaßnahmen und Bereitstellung der in Artikel 20 genannten Informationen; falls das AI-System nicht der AI-Verordnung entspricht, unverzügliches Ergreifen der erforderlichen Korrekturmaßnahmen, um die Konformität des Systems herzustellen, es gegebenenfalls zurückzunehmen, unbrauchbar zu machen oder zurückzurufen. Sie unterrichten die Händler des betreffenden AI-Systems mit hohem Risiko und gegebenenfalls die Installateure, Bevollmächtigten und Importeure entsprechend. Geht von einem AI-System mit hohem Risiko eine Gefahr im Sinne von Artikel 79 Absatz 1 aus und wird dem Lieferanten diese Gefahr bekannt, so untersucht er unverzüglich, gegebenenfalls in Zusammenarbeit mit dem meldenden Lieferanten, die Ursachen und unterrichtet die Marktüberwachungsbehörden des Mitgliedstaats oder der Mitgliedstaaten, in dem oder in denen er das AI-System mit hohem Risiko auf dem Markt bereitgestellt hat, sowie gegebenenfalls die notifizierte Stelle, die für dieses AI-System mit hohem Risiko eine Bescheinigung gemäß Artikel 44 ausgestellt hat, insbesondere über die Art der Nichtkonformität und die ergriffenen Korrekturmaßnahmen.
Nachweispflicht auf begründetes Verlangen einer zuständigen nationalen Behörde, wonach das AI-System mit hohem Risiko die Anforderungen gemäß Abschnitt 2 (allgemeine Pflichten der Hochrisiko-KI-Systeme) erfüllt;
Sicherstellung der Anforderungen an die Barrierefreiheit gemäß den Richtlinien (EU) 2016/2102 und (EU) 2019/882 erfüllt.
Welche Regeln gelten für die AI Wertschöpfungskette bei Hochrisiko-KI-Systemen?
Art. 25 KI-Verordnungsentwurf regelt die Verantwortlichkeiten entlang der KI-Wertschöpfungskette. Distributoren, Importeure, Nutzer oder Dritte können unter bestimmten Umständen als Anbieter eines Hochrisiko-KI-Systems betrachtet werden und unterliegen dann den entsprechenden Anbieterverpflichtungen.
Anbieter von Hochrisiko-Ki-Systemen
Insofern ist ein Schlüsselaspekt der KI-Verordnung (Entwurf) die Definition, wer als Anbieter eines Hochrisiko-KI-Systems gilt. Dies umfasst nicht nur die Entwickler und unmittelbaren Anbieter dieser Systeme, sondern erweitert die Verantwortlichkeit auf Distributoren, Importeure, Betreiber und andere Dritte unter bestimmten Umständen.
Diese können als Anbieter angesehen werden:
wenn sie ihren Namen oder ihre Marke auf ein bereits auf dem Markt befindliches oder in Betrieb genommenes Hochrisiko-KI-System setzen, unabhängig von vertraglichen Vereinbarungen, die die Verantwortlichkeiten anders zuweisen.
wenn sie wesentliche Änderungen an einem solchen System vornehmen, sodass es gemäß Artikel 6 weiterhin als Hochrisiko-KI-System gilt.
wenn sie den vorgesehenen Zweck eines KI-Systems ändern, einschließlich allgemeiner KI-Systeme, die nicht als Hochrisiko eingestuft wurden, sodass das betreffende System nach Artikel 6 als Hochrisiko-KI-System gilt.
Tritt einer dieser Fälle ein, wird der ursprüngliche Anbieter, der das KI-System auf den Markt gebracht oder in Betrieb genommen hat, nicht mehr als Anbieter dieses spezifischen Systems betrachtet. Er ist jedoch verpflichtet, eng mit den neuen Anbietern zusammenzuarbeiten und ihnen alle notwendigen Informationen sowie technischen Zugang und andere Unterstützung zur Verfügung zu stellen. Diese Kooperation ist essenziell, um die Einhaltung der Regulierungsvorschriften, insbesondere die Konformitätsbewertung von Hochrisiko-KI-Systemen, sicherzustellen.
Die Verantwortung für Hochrisiko-KI-Systeme endet aber nicht beim Anbieter. Dritte, die KI-Systeme, Werkzeuge, Dienstleistungen, Komponenten oder Prozesse liefern, die in ein Hochrisiko-KI-System integriert oder dafür verwendet werden, spielen ebenfalls eine wichtige Rolle. Sie sind verpflichtet, durch schriftliche Vereinbarungen die notwendigen Informationen, Fähigkeiten, technischen Zugang und andere Unterstützung bereitzustellen. Diese Zusammenarbeit basiert auf dem allgemein anerkannten Stand der Technik und ermöglicht es dem Anbieter eines Hochrisiko-KI-Systems, alle im KI-Act festgelegten Verpflichtungen vollständig zu erfüllen.
Hierfür erfahren Unternehmen Unterstützung durch das KI-Büro der EU. Das AI Office kann freiwillige Modellvertragsbedingungen entwickeln und empfehlen, die zwischen Anbietern von Hochrisiko-KI-Systemen und Dritten vereinbart werden können. Diese Modellbedingungen berücksichtigen mögliche vertragliche Anforderungen, die in spezifischen Sektoren oder Geschäftsfällen anwendbar sind, und werden kostenlos in einem leicht zugänglichen elektronischen Format veröffentlicht.
Betreiber von Hochrisiko-KI-Systemen
Art. 26 KI-Verordnungsentwurf nimmt die Betreiber von Hochrisiko-KI-Systemen in die Pflicht. Ein Betreiber von Hochrisiko-KI-Systemen kann eine natürliche oder juristische Person, eine öffentliche Behörde, eine Agentur oder eine andere Einrichtung sein, die ein KI-System unter ihrer Autorität nutzt, es sei denn, das System wird im Rahmen einer persönlichen, nicht-professionellen Tätigkeit verwendet. Dies schließt eine Vielzahl von Akteuren ein, von Unternehmen über staatliche Organisationen bis hin zu Bildungseinrichtungen, die KI-Systeme für verschiedenste Zwecke einsetzen.
Betreiber von Hochrisiko-KI-Systemen sind verpflichtet, angemessene technische und organisatorische Maßnahmen zu ergreifen, um sicherzustellen, dass diese Systeme gemäß den Gebrauchsanweisungen verwendet werden.
Dies umfasst unter anderem:
die Zuweisung menschlicher Aufsicht durch natürliche Personen, die über die notwendige Kompetenz, Ausbildung und Autorität verfügen, sowie die Bereitstellung der notwendigen Unterstützung.
die Überwachung des Betriebs des Hochrisiko-KI-Systems auf der Grundlage der Gebrauchsanweisungen und, falls relevant, die Information der Anbieter gemäß Artikel 72.
bei festgestellten Risiken oder ernsthaften Zwischenfällen müssen die Betreiber ohne unangemessene Verzögerung den Anbieter oder Distributor sowie die zuständige Marktüberwachungsbehörde informieren und die Nutzung des Systems aussetzen.
Vor dem Einsatz oder der Nutzung eines Hochrisiko-KI-Systems am Arbeitsplatz müssen Betreiber, die Arbeitgeber sind, die Vertreter der Arbeitnehmer und die betroffenen Arbeitnehmer darüber informieren, dass sie dem Einsatz des Hochrisiko-KI-Systems unterliegen werden. Diese Information muss gegebenenfalls in Übereinstimmung mit den Regeln und Verfahren erfolgen, die im Unionsrecht und im nationalen Recht sowie in der Praxis zur Information von Arbeitnehmern und ihren Vertretern festgelegt sind.
Spezielle Grundrechtsfolgenabschätzung für gewisse Betreiber
Weil gewisse Hochrisiko-KI-Systeme Grundrechte der Menschen beeinflussen können, adressiert Artikel 27 KI-Verordnungsentwurf diese Herausforderung: Er verpflichtet die Betreiber von Hochrisiko-KI-Systemen, eine umfassende Grundrechtsfolgenabschätzung durchzuführen, bevor solche Systeme zum Einsatz kommen.
Betreiber von Hochrisiko-KI-Systemen, die unter die Kategorie nach Artikel 6(2) KI-Verordnungsentwurf fallen und nicht für die in Punkt 2 von Anhang III aufgeführten Bereiche vorgesehen sind, sind dazu aufgefordert, diese Abschätzung vorzunehmen. Dies gilt für ferner Körperschaften des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienstleistungen erbringen, sowie für Betreiber von Hochrisiko-KI-Systemen, die in den Punkten 5 (b) und (c) von Anhang III genannt sind.
Die Bewertung soll sicherstellen, dass der Einsatz von Hochrisiko-KI-Systemen die Grundrechte nicht negativ beeinflusst. Folgende Elemente sind Teil der Abschätzung:
eine Beschreibung der Prozesse des Betreibers, in denen das Hochrisiko-KI-System gemäß seinem vorgesehenen Zweck eingesetzt wird.
eine Beschreibung des Zeitraums und der Häufigkeit, mit der jedes Hochrisiko-KI-System eingesetzt werden soll.
die Kategorien natürlicher Personen und Gruppen, die durch den Einsatz im spezifischen Kontext wahrscheinlich betroffen sein werden; die spezifischen Schadensrisiken, die einen Einfluss auf die identifizierten Personen oder Gruppen haben könnten, unter Berücksichtigung der vom Anbieter gemäß Artikel 13 bereitgestellten Informationen.
eine Beschreibung der Umsetzung von Maßnahmen zur menschlichen Aufsicht gemäß den Gebrauchsanweisungen.
die (Crisis Response) Maßnahmen, die bei Realisierung dieser Risiken ergriffen werden sollen, einschließlich Vorkehrungen für interne Governance und Beschwerdemechanismen.
Diese Verpflichtung gilt für den ersten Einsatz des Hochrisiko-KI-Systems. Betreiber können in ähnlichen Fällen auf zuvor durchgeführte Grundrechtsfolgenabschätzungen oder bestehende Bewertungen, die vom Anbieter durchgeführt wurden, zurückgreifen. Sollte sich während der Nutzung des Hochrisiko-KI-Systems herausstellen, dass eines der aufgeführten Elemente geändert wurde oder nicht mehr aktuell ist, muss der Betreiber die notwendigen Schritte unternehmen, um die Informationen zu aktualisieren.
Ausblick
Die komplexe Regelungslandschaft für Hochrisiko-KI-Systeme unterstreicht die Ambitionen der Europäischen Union, eine führende Rolle in der Gestaltung eines ethischen und sicherheitsorientierten Rahmens für die Nutzung von KI zu spielen. Während die Anforderungen zweifellos eine Herausforderung darstellen, bieten sie auch eine einzigartige Gelegenheit, die Entwicklung und den Einsatz von KI-Technologien in eine Richtung zu lenken, die das Wohl der Menschen in den Mittelpunkt stellt. Ob dies gelingt, wird sich erst zeigen.