KI-Verordnung

Begriff und Hintergrund der KI-Verordnung

Die KI-Verordnung (englisch: Artificial Intelligence Act oder AI Act) ist eine von der Europäischen Union entwickelte Rechtsverordnung, die einen umfassenden Rechtsrahmen zur Regulierung von Künstlicher Intelligenz (KI) schaffen soll. Ziel der Verordnung ist es, einheitliche Regelungen hinsichtlich der Entwicklung, dem Inverkehrbringen und Einsatz von KI-Systemen innerhalb des europäischen Binnenmarktes zu etablieren. Die KI-Verordnung zählt zu den weltweit ersten umfassenden Gesetzesinitiativen, die einen sektorübergreifenden regulatorischen Ansatz wählen und sowohl Anbieter als auch Nutzer von KI-Technologien adressieren.

Im Zentrum der Verordnung steht die Sicherstellung des Schutzes von Grundrechten, Sicherheit sowie der Wahrung europäischer Werte beim Einsatz von KI-Technologien. Die Verordnung wurde von der Europäischen Kommission erstmals im April 2021 vorgeschlagen und befindet sich seitdem in fortlaufender legislativer Entwicklung.

Regelungsgegenstand und Anwendungsbereich

Adressaten und Anwendungsbereich

Die KI-Verordnung erstreckt sich auf sämtliche Akteure, die KI-Systeme in Verkehr bringen, anbieten oder anwenden, sofern diese Tätigkeiten den europäischen Binnenmarkt betreffen. Erfasst werden sowohl Anbieter, die KI-Systeme entwickeln und vertreiben, als auch Nutzer und weitere Akteure der Wertschöpfungskette.

Definition des KI-Systems

Ein KI-System im Sinne der KI-Verordnung ist eine softwarebasierte Technologie, die zur Erreichung menschlich ähnlicher kognitiver Fähigkeiten mittels Datenauswertung und maschinellem Lernen eingesetzt wird. Die Definition umfasst unter anderem Machine Learning, Deep Learning, regelbasierte Systeme und bestimmte Expertensysteme.

Sektorübergreifende Reichweite

Die Verordnung gilt sektorübergreifend für verschiedenste Branchen – etwa Gesundheit, Finanzwesen, öffentliche Verwaltung, Bildung sowie kritische Infrastrukturen. Ausnahmen bestehen für Bereiche, die nicht in der Zuständigkeit der EU liegen oder bereits durch sektorspezifische Regelungen abschließend geregelt werden.

Systematik der Risikoklassifizierung

Risikobasierter Ansatz

Die KI-Verordnung verfolgt einen risikobasierten Regulierungsansatz. Sie unterscheidet zwischen vier Risikokategorien:

• Unannehmbares Risiko: KI-Anwendungen, die gegen Grundrechte verstoßen, wie zum Beispiel Social Scoring durch staatliche Akteure, werden strikt verboten.
• Hohes Risiko: KI-Systeme, die erhebliche Auswirkungen auf Gesundheit, Sicherheit oder Grundrechte haben (z.B. biometrische Identifizierung, kritische Infrastrukturen, Bewerbungsverfahren), unterliegen strengen Anforderungen.
• Begrenztes Risiko: Anwendungen mit potenziell manipulatorischem Charakter (u.a. KI-Chatbots) müssen Transparenzanforderungen erfüllen.
• Minimales Risiko: Die überwiegende Mehrheit der KI-Anwendungen fällt in diese Kategorie und unterliegt keiner besonderen Regulierung außer den allgemeinen Vorgaben.

Kriterien für die Kategorisierung

Entscheidend für die Einordnung ist der Verwendungszweck der KI sowie der potenzielle Einfluss des Systems auf Individuen und die Gesellschaft. Der Gesetzgeber sieht Listen für verbotene und hochriskante Anwendungen vor, die regelmäßig angepasst werden.

Anforderungen und Pflichten nach Risikostufen

Verpflichtungen bei Hochrisiko-KI-Systemen

Für als hochriskant eingestufte KI-Systeme sieht die Verordnung umfassende Anforderungen vor:

• Risikomanagementsysteme: Entwicklung, Implementierung und fortlaufende Überwachung eines Risiko-Managements für mögliche negative Auswirkungen des KI-Systems.
• Datenqualität und -governance: Sicherstellung qualitativ hochwertiger Trainings-, Validierungs- und Testdaten, um Diskriminierung und Verzerrungen zu minimieren.
• Technische Dokumentation: Ausführliche technische und funktionale Dokumentation muss erstellt, gepflegt und bereitgehalten werden, um behördliche Prüfungen zu erleichtern.
• Transparenz und Nachvollziehbarkeit: Informationen über Funktion und Einsatz des Systems müssen für Anwender und Aufsichtsbehörden verfügbar gemacht werden.
• Menschliche Aufsicht: Geeignete Maßnahmen zur Ermöglichung und Wahrung menschlicher Aufsicht und Interventionsmöglichkeiten sind vorzusehen.
• IT-Sicherheit und Robustheit: Sicherstellung der Widerstandsfähigkeit der KI-Systeme gegen Manipulation und Cyberangriffe.

Transparenzvorschriften und Kennzeichnungspflichten

KI-Systeme, die mit Menschen interagieren oder Inhalte künstlich generieren, müssen als solche klar kenntlich gemacht werden. So sind etwa KI-Chatbots, Deepfakes oder emotionserkennende Systeme entsprechend zu kennzeichnen.

Marktüberwachungsmechanismen und Aufsicht

Marktüberwachung und Konformitätsbewertung

Vor dem Inverkehrbringen von Hochrisiko-KI-Systemen ist ein Konformitätsbewertungsverfahren durchzuführen. Anbieter müssen dokumentieren, dass ihr System sämtliche Rechtsanforderungen der KI-Verordnung erfüllt. Die Marktüberwachungsbehörden erhalten umfassende Prüf- und Eingriffsrechte, um die Einhaltung der Rechtsvorschriften zu kontrollieren.

Notifizierung und Europäische KI-Datenbank

Jede Bereitstellung eines Hochrisiko-KI-Systems ist der Europäischen KI-Datenbank zu melden. Diese zentrale Datenbank gewährleistet Transparenz und Nachverfolgbarkeit der eingesetzten Anwendungen.

Datenschutz und Grundrechtsbezug

Die KI-Verordnung ergänzt bestehende datenschutzrechtliche Regelungen – insbesondere die Datenschutz-Grundverordnung (DSGVO). Sie konkretisiert spezifische Anforderungen zum Schutz der Persönlichkeitsrechte im Kontext automatisierter Entscheidungsfindung und Datenverarbeitung. Besondere Aufmerksamkeit gilt dabei der Minimierung von Risiken im Hinblick auf Diskriminierung, Datenschutzverletzungen und Grundrechtsbeschränkungen.

Sanktionen und Rechtsfolgen bei Verstößen

Die KI-Verordnung sieht bei Verstößen gegen ihre zentralen Bestimmungen empfindliche Sanktionen vor. Zu den möglichen Maßnahmen zählen:

• Geldbußen (je nach Schwere des Verstoßes bis zu 30 Millionen Euro bzw. bis zu 6 % des jährlichen weltweiten Umsatzes),
• Vertriebsverbote,
• behördliche Anordnungen oder Rückrufe.

Die Sanktionierung orientiert sich an den Prinzipien der Verhältnismäßigkeit und Wirksamkeit und nimmt dabei Anleihen am Sanktionssystem der DSGVO.

Verhältnis zu anderen Rechtsakten

Die KI-Verordnung steht in engem Zusammenhang mit verwandten europäischen Gesetzesinitiativen, wie der DSGVO, dem Digital Services Act (DSA), dem Digital Markets Act (DMA) sowie branchenspezifischen Vorschriften, beispielsweise im Medizinprodukterecht (MDR) oder im Produktsicherheitsrecht. Für Anbieter und Anwender bestehen daher umfangreiche Überschneidungen und Wechselwirkungen.

Fazit und Ausblick

Mit der KI-Verordnung verfolgt die Europäische Union das Ziel, Innovation und Wachstum im Bereich Künstlicher Intelligenz zu fördern sowie Grundrechte und öffentliche Interessen wirksam zu schützen. Der Rechtsrahmen setzt Maßstäbe für einen verantwortungsvollen und sicheren Umgang mit KI-Systemen und fungiert als internationales Referenzmodell für die Regulierung digitaler Technologien. Mit fortschreitendem Inkrafttreten der KI-Verordnung wird eine kontinuierliche Anpassung und Konkretisierung der Vorschriften erwartet, um der technologischen Entwicklung adäquat Rechnung zu tragen.

Häufig gestellte Fragen

Welche Pflichten ergeben sich für Anbieter und Nutzer von KI-Systemen nach der KI-Verordnung?

Die KI-Verordnung (KI-VO) der Europäischen Union sieht differenzierte Pflichten für Anbieter (Hersteller, Inverkehrbringer) und Nutzer (Anwender, Betreiber) von KI-Systemen vor, wobei insbesondere zwischen risikoarmen, Hochrisiko- und verbotenen KI-Systemen unterschieden wird. Dabei sind Anbieter verpflichtet, Konformitätsbewertungen durchzuführen, technische Dokumentationen zu erstellen und das Risikomanagement- sowie Überwachungssystem kontinuierlich zu betreiben (§§ 16 ff., KI-VO). Dies beinhaltet insbesondere die Sicherstellung von Transparenz, Nachvollziehbarkeit und Robustheit der KI-Systeme sowie die Implementierung menschenzentrierter Kontrollmechanismen. Anbieter von Hochrisiko-KI-Systemen müssen zudem detaillierte Vorgaben erfüllen, etwa zur Datenqualität, Protokollierung, menschlichen Aufsicht und Informationspflichten gegenüber den Nutzern. Nutzer von KI-Systemen haben vor allem sicherzustellen, dass die Anwendung den vom Anbieter festgelegten Nutzungsbedingungen entspricht und die Systeme nicht zweckentfremdet werden. Ferner müssen Nutzer eventuelle Vorfälle oder Fehlfunktionen melden und mit Aufsichtsbehörden kooperieren. Besonders zu beachten sind dabei sektorale Ergänzungsvorschriften, etwa im Arbeits- oder Gesundheitsrecht, die zusätzliche Pflichten begründen können.

Welche Sanktionen drohen bei einem Verstoß gegen die KI-Verordnung?

Die KI-Verordnung sieht einen abgestuften Sanktionsrahmen vor, der sich insbesondere am Schweregrad des Verstoßes und der betroffenen Schutzgüter orientiert (§ 71 KI-VO). Bei besonders schwerwiegenden Verstößen, wie dem Einsatz verbotener KI-Systeme (z.B. für soziale Bewertung oder manipulative Zwecke), können Geldbußen von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes des Unternehmens verhängt werden. Für weniger gravierende Verletzungen, wie Fehler bei der Durchführung von Konformitätsbewertungen oder Dokumentationspflichten, können Bußgelder von bis zu 15 Millionen Euro oder 3 % des Jahresumsatzes ausgesprochen werden. Zusätzlich können nationale Aufsichtsbehörden ergänzende verwaltungs- oder zivilrechtliche Maßnahmen, etwa Vertriebsverbote, Rückrufanordnungen oder Veröffentlichungspflichten, anordnen. Eine individuelle strafrechtliche Haftung der Verantwortlichen bleibt nach Maßgabe nationalen Rechts unberührt.

Welche Rolle spielen die unabhängigen Überwachungsbehörden im Rahmen der KI-Verordnung?

Unabhängige Überwachungsbehörden (sogenannte „Notified Bodies“) übernehmen gemäß KI-Verordnung zentrale Aufgaben hinsichtlich der Marktüberwachung, Durchsetzung und Beratung. Sie sind insbesondere zuständig für die Durchführung und Überprüfung von Konformitätsbewertungen bei Hochrisiko-KI-Systemen, die Überwachung der Einhaltung der Verordnung durch Anbieter und Nutzer sowie die Untersuchung gemeldeter Vorfälle und Beschwerden (§§ 59 ff. KI-VO). Darüber hinaus obliegt ihnen die Erarbeitung verbindlicher Leitlinien zu technischen und ethischen Standards und die Kooperation auf europäischer Ebene über das European Artificial Intelligence Board (EAIB). In Streitfällen haben sie weitreichende Durchsetzungsbefugnisse, einschließlich der Anordnung von Maßnahmen oder Produktenotifizierungen. Ihre Unabhängigkeit und Fachkompetenz werden durch verbindliche Akkreditierungsverfahren gewährleistet.

Inwiefern sind Datenschutz und KI-Verordnung miteinander verknüpft?

Die KI-Verordnung baut in weiten Teilen auf bestehenden Datenschutzbestimmungen der EU, insbesondere der Datenschutz-Grundverordnung (DSGVO), auf und ergänzt diese um spezifische Anforderungen für den Einsatz von KI. Hochrisiko-KI-Systeme, die personenbezogene Daten verarbeiten, unterliegen dabei einer doppelten Regulierung im Sinne der KI-VO und der DSGVO. Anbieter sind verpflichtet, Datenschutzprinzipien wie Datenminimierung, Zweckbindung, Transparenz und Sicherheit technisch wie organisatorisch umzusetzen (§ 10, § 12 KI-VO). Ferner schreibt die KI-VO spezielle Anforderungen an die (anonyme oder pseudonyme) Datenaufbereitung, an die Einhaltung von Betroffenenrechten sowie an die Durchführung von Datenschutz-Folgenabschätzungen vor, sobald eine Verletzung von Persönlichkeitsrechten oder Diskriminierungsrisiken besteht. Verstöße gegen die Datenschutzregelungen können dabei zusätzlich zu sanktionsbewehrten Maßnahmen nach KI-VO auch nach DSGVO geahndet werden.

Wie sind Bestimmungen zur Risikobewertung und -steuerung im Rahmen der KI-Verordnung geregelt?

Die KI-Verordnung verlangt von Anbietern, insbesondere im Hochrisiko-Bereich, ein umfassendes Risikomanagementsystem, das sämtliche Phasen des KI-System-Lebenszyklus abdeckt (§ 9 KI-VO). Hierzu zählen die Identifikation, Bewertung und Dokumentation von Risiken in Bezug auf Gesundheit, Sicherheit und Grundrechte. Das Risikomanagement umfasst sowohl technische Prüfungen als auch organisatorische Kontrollen und muss regelmäßig aktualisiert werden. Anbieter sind verpflichtet, Risikoberichte zu erstellen, sie fortlaufend zu evaluieren und wirksame Kontrollmaßnahmen zu definieren, um erkannte Risiken zu mitigieren. Die Verordnung schreibt zudem vor, dass auch unbeabsichtigte Nebenwirkungen und Fehlfunktionen systematisch in das Risikomanagement einbezogen und relevante Erkenntnisse an Nutzer sowie Behörden kommuniziert werden. Darüber hinaus müssen Anbieter eine ethische Risikoabwägung vornehmen, soweit gesellschaftliche und individuelle Grundrechte betroffen sind.

Welche Ausnahmen vom Anwendungsbereich der KI-Verordnung sind vorgesehen?

Die KI-Verordnung sieht bestimmte Ausnahmen vor, in denen die Regelungen nicht greifen. Insbesondere sind KI-Systeme, die ausschließlich für militärische oder verteidigungspolitische Zwecke entwickelt und eingesetzt werden, vom Anwendungsbereich der Verordnung ausgenommen (§ 2 Abs. 3 KI-VO). Ebenso fallen Forschungsvorhaben, die sich ausschließlich auf die Erprobung oder Ermittlung von KI-Anwendungen im geschlossenen Laborkontext erstrecken, ohne dass eine Inverkehrbringung oder Bereitstellung erfolgt, nicht unter die Verordnung. Für privat genutzte, nicht-kommerzielle KI-Anwendungen gilt eine abgeschwächte Regulierung. Ferner können Ausnahmen gelten, wenn besondere Notstandslagen es erforderlich machen, beispielsweise zur Abwehr erheblicher Bedrohungen der öffentlichen Sicherheit, wobei flankierende Maßnahmen zur Missbrauchsprävention vorgeschrieben werden. Grundsätzlich bleiben jedoch die allgemeinen Bestimmungen unionsrechtlicher Rechtsakte – wie etwa Datenschutz-, Produktsicherheits- oder Verbraucherschutzregeln – weiterhin anwendbar.