Begriff und Zielsetzung der KI-Verordnung
Die KI-Verordnung ist eine europäische Regelung, die den Einsatz von Systemen der Künstlichen Intelligenz (KI) im Binnenmarkt einheitlich ordnet. Sie verfolgt das Ziel, die Sicherheit von KI, den Schutz von Grundrechten und den fairen Wettbewerb zu gewährleisten und zugleich Innovationen zu ermöglichen. Kernprinzip ist ein risikobasierter Ansatz: Je höher das Risiko einer Anwendung für Menschen und Gesellschaft, desto strenger sind die Vorgaben.
Anwendungsbereich und räumlicher Geltungsbereich
Die KI-Verordnung erfasst das Inverkehrbringen, die Inbetriebnahme und die Nutzung von KI-Systemen im Europäischen Wirtschaftsraum sowie bestimmte KI-Modelle mit allgemeinem Verwendungszweck. Sie gilt für:
- Anbieter, die KI-Systeme oder allgemeine KI-Modelle entwickeln und auf dem Markt bereitstellen,
- Betreiber (Anwender), die KI-Systeme verwenden,
- Importeure, Händler und Bevollmächtigte in der Lieferkette,
- Unternehmen mit Sitz außerhalb der EU, wenn deren KI-Systeme oder Modelle in der EU genutzt werden oder deren Ergebnisse sich in der EU auswirken.
Was ist ein KI-System?
Ein KI-System ist ein technisch autonomes System, das aus Daten Muster ableitet, Vorhersagen oder Entscheidungen trifft und dabei einen bestimmten Grad an Autonomie aufweist. Es kann Software, Modelle und Daten umfassen und in Produkten eingebettet oder als Dienst angeboten sein. Davon zu unterscheiden sind allgemeine KI-Modelle (GPAI), die für vielfältige Zwecke trainiert sind und in zahlreichen Anwendungen eingesetzt werden können.
Ausnahmen
Nicht erfasst sind Tätigkeiten im Bereich der nationalen Sicherheit, militärische Zwecke sowie reine Forschung und Entwicklung ohne Inverkehrbringen. Bestimmte Open-Source-Konstellationen können Erleichterungen erfahren, sofern dadurch keine Hochrisiko-Anwendungen auf dem Markt bereitgestellt werden. Weitere spezialgesetzliche Ausnahmen und Begrenzungen bestehen für Strafverfolgung und andere hoheitliche Bereiche, die engen Voraussetzungen unterliegen.
Risikobasierter Ansatz
Die Verordnung ordnet KI-Anwendungen in Risikoklassen ein und knüpft daran abgestufte Rechtsfolgen und Pflichten.
Verbotene KI-Praktiken
Untersagt sind KI-Praktiken, die die Menschenwürde, Grundrechte oder Sicherheit in unvertretbarer Weise gefährden. Dazu zählen insbesondere:
- Manipulative oder täuschende Techniken, die das Verhalten von Personen wesentlich verzerren und dadurch Schaden verursachen können,
- Ausnutzung von Schutzbedürftigkeit etwa aufgrund von Alter oder Behinderung mit schädlichen Folgen,
- Biometrische Kategorisierung anhand besonders sensibler Merkmale,
- Bestimmte Formen staatlicher Sozialbewertung,
- Bestimmte Praktiken zur Erstellung umfassender biometrischer Datenbanken durch wahlloses Bildabgreifen,
- Einsatz von Echtzeit-Fernidentifikation in öffentlichen Räumen für Zwecke der Strafverfolgung ist grundsätzlich unzulässig; eng begrenzte gesetzliche Ausnahmen unterliegen strikten Auflagen.
Hochrisiko-KI
Hochrisiko-KI umfasst Anwendungen mit erheblicher Tragweite für Gesundheit, Sicherheit, Grundrechte oder wesentliche Lebensbereiche. Typische Bereiche sind kritische Infrastrukturen, Bildung und Prüfungen, Beschäftigung und Personalsteuerung, Zugang zu wesentlichen privaten und öffentlichen Diensten, Kredit- und Sozialleistungen, Strafverfolgung, Migration und Grenzkontrolle sowie Rechtspflege.
Pflichten für Anbieter
Anbieter von Hochrisiko-KI müssen ein durchgängiges Risikomanagement umsetzen, hochwertige Trainings-, Validierungs- und Testdaten verwenden, technische Dokumentation erstellen, Protokollierung ermöglichen, Informations- und Transparenzpflichten erfüllen, menschliche Aufsicht vorsehen, Robustheit und Cybersicherheit gewährleisten sowie Konformitätsbewertungen durchführen. Vor dem Inverkehrbringen ist eine Registrierung in einer EU-Datenbank vorgesehen, soweit keine Ausnahmen greifen.
Pflichten für Betreiber (Anwender)
Betreiber müssen die vom Anbieter bereitgestellten Anweisungen beachten, die Wirksamkeit der menschlichen Aufsicht sicherstellen, die Nutzung überwachen, Vorfälle melden und, soweit einschlägig, Folgenabschätzungen zu Grundrechten durchführen, insbesondere bei hoheitlicher oder grundrechtsrelevanter Nutzung. Werden Systeme wesentlich verändert, kann die Rolle des Betreibers in die eines Anbieters übergehen.
Technische und organisatorische Anforderungen
- Risikomanagement über den gesamten Lebenszyklus,
- Datenqualität, Repräsentativität und Governance,
- Genauigkeit, Robustheit, Resilienz gegen Angriffe,
- Protokollierung, Nachvollziehbarkeit, technische Dokumentation,
- Transparente Nutzerinformationen und menschliche Aufsicht,
- Cybersicherheit und Vorfallmanagement.
Begrenztes Risiko und Transparenzpflichten
Für KI mit begrenztem Risiko gelten Informationspflichten. Personen müssen darüber informiert werden, wenn sie mit einem KI-System interagieren (z. B. Chatbots), wenn Emotionserkennung oder biometrische Kategorisierung stattfindet oder wenn synthetische Inhalte (z. B. Deepfakes) präsentiert werden. Ausnahmen können bei legitimen hoheitlichen Tätigkeiten unter strengen Voraussetzungen bestehen.
Allgemeine KI-Modelle (GPAI) und Modelle mit systemischem Risiko
Für allgemeine KI-Modelle gelten eigenständige Pflichten: technische Dokumentation, angemessene Transparenz gegenüber nachgelagerten Entwicklern, Zusammenfassungen der verwendeten Trainingsdatenquellen sowie Beachtung des Urheberrechts, einschließlich Mechanismen zur Achtung von Nutzungsbeschränkungen. Für besonders leistungsfähige Modelle mit systemischem Risiko bestehen zusätzliche Anforderungen wie Modellbewertungen, Risikominderung, Sicherheitstests, Meldung schwerwiegender Vorfälle und Anforderungen an Cybersicherheit und Ressourcenberichterstattung. Übergangsweise können Verhaltenskodizes als Nachweis geeigneter Verfahren dienen.
Konformitätsbewertung, CE-Kennzeichnung und Marktaufsicht
Konformitätsbewertungsverfahren
Hochrisiko-KI unterliegt vor dem Inverkehrbringen einer Konformitätsbewertung. Je nach Kategorie kann dies als interne Kontrolle anhand harmonisierter Normen erfolgen oder unter Einbeziehung benannter Stellen. Bei Einhaltung sind CE-Kennzeichnung und Konformitätserklärung vorgesehen. Für KI, die Teil bereits regulierter Produkte ist (z. B. Maschinen, Medizinprodukte), greifen angepasste Verfahren im bestehenden Produktrechtsrahmen.
Aufsichtsstrukturen und Durchsetzung
Die Aufsicht erfolgt durch nationale Behörden in Koordination mit einer EU-Stelle für KI sowie einem Gremium für Kohärenz. Eine EU-Datenbank unterstützt Transparenz zu Hochrisiko-Systemen. Regulatorische Sandkästen ermöglichen Erprobung unter behördlicher Begleitung. Betroffene Personen können Beschwerden bei zuständigen Behörden einreichen.
Sanktionen
Verstöße können zu erheblichen Geldbußen führen. Für verbotene Praktiken sind sehr hohe Höchstbeträge vorgesehen, für sonstige Verstöße und fehlerhafte Informationen abgestufte Obergrenzen. Für kleinere Unternehmen gelten verhältnismäßige Maßstäbe. Zusätzlich kommen produktrechtliche Maßnahmen wie Rücknahmen, Rückrufe oder Nutzungsbeschränkungen in Betracht.
Governance, Transparenz und Grundrechte
Menschliche Aufsicht
Hochrisiko-KI muss so gestaltet sein, dass geschulte Personen den Betrieb überwachen, Ergebnisse verstehen, eingreifen und die Nutzung sicher beenden können. Die Aufsicht ist auf den konkreten Zweck und Kontext zuzuschneiden.
Datenqualität und Diskriminierungsschutz
Daten für Hochrisiko-KI müssen angemessen, repräsentativ und frei von Verzerrungen im Rahmen des beabsichtigten Zwecks sein. Es gelten Anforderungen an Dokumentation, Prüfprozesse und Korrekturmaßnahmen, um Benachteiligungen zu vermeiden.
Rechte betroffener Personen
Personen, die erheblich von Hochrisiko-KI betroffen sind, haben Informationsrechte hinsichtlich Einsatz, Zweck, maßgeblicher Logik und Stellen zur Kontaktaufnahme. Für bestimmte Konstellationen bestehen Anforderungen an Transparenz gegenüber Betroffenen und Möglichkeiten zur Geltendmachung von Rechten bei den zuständigen Behörden.
Verhältnis zu anderen Rechtsakten
Datenschutz
Die KI-Verordnung ergänzt den Datenschutzrahmen. Regeln zur Rechtmäßigkeit der Datenverarbeitung, Betroffenenrechte, Datenschutz-Folgenabschätzungen und Datensicherheit bleiben anwendbar. Bei der Nutzung personenbezogener Daten sind die einschlägigen Vorgaben parallel zu beachten.
Produktsicherheit und sektorale Vorschriften
Für KI in regulierten Produkten greifen zusätzlich sektorale Vorschriften, etwa zu Sicherheit, Qualität, Leistungsfähigkeit und Konformität. Die KI-Verordnung verzahnt sich mit bestehenden Produktrechtsrahmen, damit keine Doppelregulierung entsteht, sondern Pflichten konsistent gebündelt werden.
Digitale Dienste und Plattformen
Vorgaben zu Inhalteaufsicht, Transparenz und Risikomanagement aus anderen EU-Digitalakten bleiben unberührt. Schnittstellen bestehen insbesondere bei Risikobewertungen großer Plattformen, Transparenzpflichten und Aufsichtszusammenarbeit.
Urheberrecht
Für allgemeine KI-Modelle beinhaltet die Verordnung Vorgaben zur Beachtung urheberrechtlicher Beschränkungen und zur Transparenz der Trainingsdatenquellen in Form von Zusammenfassungen. Nationale und unionsrechtliche Vorgaben zum Schutz geistigen Eigentums gelten fort.
Zeitplan und Übergangsregelungen
Die Verordnung ist in Kraft und wird stufenweise anwendbar. Verbote gelten nach kurzer Übergangsfrist, Pflichten für allgemeine KI-Modelle folgen innerhalb eines Jahres, die meisten Hochrisiko-Vorgaben nach zwei Jahren; einzelne Hochrisiko-Kategorien werden später wirksam. Verhaltenskodizes und Sandkästen dienen in Übergangsphasen als Instrumente zur Umsetzung und Auslegung.
Begriffe und Rollen
Anbieter, Einführer, Händler, Bevollmächtigte
Die Pflichten variieren je nach Rolle in der Lieferkette. Anbieter sind für Entwicklung, Konformität und Dokumentation verantwortlich. Einführer stellen die Einhaltung bei Produkten aus Drittstaaten sicher. Händler achten auf formale Anforderungen und Kennzeichnungen. Bevollmächtigte handeln im Namen des Anbieters in der EU.
Inverkehrbringen, Inbetriebnahme, wesentliche Änderung
Inverkehrbringen bezeichnet die erstmalige Bereitstellung auf dem Markt. Inbetriebnahme ist die erste Nutzung für den vorgesehenen Zweck. Eine wesentliche Änderung eines KI-Systems kann dazu führen, dass der Ändernde als Anbieter gilt und die entsprechenden Pflichten übernimmt.
Rechtsfolgen bei Nichtbeachtung
Bei Verstößen drohen behördliche Maßnahmen, Bußgelder und vertriebsbezogene Eingriffe. Schwere Verstöße wie verbotene Praktiken unterliegen besonders hohen Sanktionen. Nationale Behörden koordinieren sich mit europäischen Stellen, um eine einheitliche Anwendung sicherzustellen.
Häufig gestellte Fragen
Für wen gilt die KI-Verordnung?
Sie gilt für Anbieter, Betreiber, Importeure, Händler und Bevollmächtigte, die KI-Systeme oder allgemeine KI-Modelle in der EU bereitstellen oder nutzen. Unternehmen außerhalb der EU fallen darunter, wenn ihre Systeme in der EU verwendet werden oder Auswirkungen in der EU haben.
Was ist ein Hochrisiko-KI-System?
Das ist eine Anwendung mit erheblicher Tragweite für Sicherheit, Gesundheit oder Grundrechte in sensiblen Bereichen wie kritische Infrastrukturen, Bildung, Beschäftigung, Zugang zu wesentlichen Diensten, Strafverfolgung, Migration oder Rechtspflege. Für diese Systeme gelten strenge technische, organisatorische und dokumentarische Pflichten.
Welche KI-Praktiken sind verboten?
Verboten sind insbesondere manipulative oder ausnutzende Techniken mit schädlichen Folgen, bestimmte biometrische Kategorisierungen, Formen der sozialen Bewertung durch Behörden, wahlloses Bildabgreifen zur Erstellung biometrischer Datenbanken sowie der Einsatz bestimmter Fernidentifikation in Echtzeit in öffentlichen Räumen, vorbehaltlich eng begrenzter Ausnahmen.
Welche Pflichten treffen Anbieter im Hochrisikobereich?
Anbieter müssen Risikomanagement, Datenqualität, Dokumentation, Protokollierung, Transparenz, menschliche Aufsicht, Robustheit und Cybersicherheit sicherstellen, Konformitätsbewertungen durchführen und Hochrisiko-Systeme vor dem Inverkehrbringen registrieren, soweit vorgesehen.
Welche Rechte haben betroffene Personen?
Betroffene Personen haben Informationsrechte über den Einsatz, den Zweck und die grundlegende Funktionsweise von hochrisikobehafteter KI, sowie über Kontaktstellen und Beschwerdemöglichkeiten bei zuständigen Behörden. Transparenz- und Kennzeichnungspflichten dienen der Nachvollziehbarkeit.
Wie verhält sich die KI-Verordnung zur DSGVO?
Sie ergänzt den Datenschutzrahmen. Vorgaben zur Rechtmäßigkeit, zu Betroffenenrechten und Sicherheit personenbezogener Daten gelten unabhängig fort. Beide Regelungswerke sind parallel zu beachten.
Welche Sanktionen drohen?
Es sind abgestufte Geldbußen vorgesehen, mit sehr hohen Obergrenzen bei verbotenen Praktiken. Für andere Verstöße und unrichtige Informationen gelten niedrigere, aber erhebliche Höchstbeträge. Zusätzlich können behördliche Maßnahmen wie Rücknahmen und Nutzungsbeschränkungen angeordnet werden.
Ab wann gelten die Pflichten?
Die Anwendung erfolgt gestaffelt: Verbote nach kurzer Frist, Pflichten für allgemeine KI-Modelle innerhalb eines Jahres, die meisten Hochrisiko-Pflichten nach zwei Jahren, einzelne Kategorien später. Übergangsregelungen und Verhaltenskodizes unterstützen die Umsetzung.
