Data Governance, verantwortungsvolle KI und die KI-Verordnung der EU

Verantwortungsvolle KI als architektonisches Anliegen

Verantwortungsvolle KI fasst die Prinzipien zusammen, die die meisten Rahmenwerke teilen: Fairness, Transparenz, Rechenschaftspflicht, Datenschutz, Betriebssicherheit, IT-Sicherheit und Robustheit. Als Prinzipien formuliert, kann man ihnen kaum widersprechen und sie leicht ignorieren. Real werden sie erst, wenn sie in Eigenschaften des Systems übersetzt werden: wohin Daten fließen und wie lange sie bleiben, was geloggt wird und wer es lesen darf, wo ein Mensch eingreifen kann, was dokumentiert und aktuell gehalten wird und was für welche Gruppen gemessen wird. Das sind architektonische Entscheidungen, die sich oft nur teuer nachrüsten lassen; deshalb gehört verantwortungsvolle KI in Design-Reviews und Entscheidungsdokumente und nicht nur in ein Richtliniendokument.

Dieser Abschnitt baut auf den Datenschutzprinzipien aus Abschnitt 8.7 und der Ethikdiskussion aus Abschnitt 11.8 auf und wendet sie auf Systeme mit gelernten, probabilistischen Komponenten an. Danach geht es um die wichtigsten regulatorischen Rahmen und Normen, denen ein Architekt begegnet: die KI-Verordnung der EU, das NIST AI Risk Management Framework und ISO/IEC 42001.

Data Governance: Herkunft, Lizenzen und personenbezogene Daten

Datenherkunft (Data Provenance) ist der dokumentierte Ursprung und Werdegang von Daten: woher sie stammen, unter welcher Lizenz oder Einwilligung und wie sie umgewandelt wurden. KI-Systeme verbrauchen Daten auf mehr Arten als gewöhnliche Software: Trainings- und Fine-Tuning-Daten prägen die Gewichte des Modells, Retrieval-Korpora prägen seine Antworten, Evaluierungssets legen fest, was gut bedeutet, und Feedbackschleifen können Ausgaben als Eingaben zurückführen. Jede dieser Datenarten braucht eine bekannte Quelle und eine rechtmäßige, lizenzierte Grundlage für ihre Nutzung. Auch Modellgewichte haben Lizenzen: Open-Weight-Modelle werden unter Lizenzen veröffentlicht, die von permissiven Open-Source-Lizenzen bis zu eigenen Lizenzen mit Nutzungsbeschränkungen oder Bedingungen für sehr große Nutzer reichen, und diese Bedingungen sind Randbedingungen der Architektur wie eine Datenbanklizenz.

Personenbezogene Daten verdienen besondere Sorgfalt, weil KI-Funktionen sie an neue Orte verbreiten. Jeder Prompt an ein gehostetes Modell ist eine Offenlegung gegenüber einem Auftragsverarbeiter, die nach der DSGVO einen Vertrag, einen geeigneten Standort oder Übermittlungsmechanismus und Klarheit über die Aufbewahrung beim Anbieter verlangt sowie darüber, ob er die Daten zum Training verwenden darf. Datenminimierung gilt auch für Prompts: Senden Sie die Bestellnummer und den fehlenden Artikel, nicht das vollständige Kundenprofil. Pseudonymisieren oder schwärzen Sie, wo die Aufgabe es zulässt. Die Tabelle zeigt die weniger offensichtlichen Orte, an denen sich personenbezogene Daten ansammeln. Am schwierigsten sind Modellgewichte: Daten, die für das Fine-Tuning verwendet werden, können memoriert werden und lassen sich nicht selektiv entfernen; personenbezogene oder sich schnell ändernde Daten gehören daher in einen Retrieval-Speicher (Abschnitt 12.3), wo sie gefiltert, berichtigt und gelöscht werden können, nicht in die Gewichte.

Bias und Fairness

Algorithmischer Bias bedeutet systematisch schlechtere Ergebnisse für bestimmte Gruppen von Menschen. Er entsteht durch historische Daten, in denen frühere Diskriminierung steckt, durch Gruppen, die in den Daten unterrepräsentiert sind, durch Stellvertretermerkmale (eine Postleitzahl, die für die ethnische Herkunft steht), durch Messentscheidungen (Festnahmen als Stellvertreter für Kriminalität) und durch den Einsatz in Kontexten, für die das Modell nicht gebaut wurde. Sprachmodelle bringen eigene Formen mit: stereotype Assoziationen, die aus Webtexten gelernt wurden, und eine deutlich ungleiche Qualität über Sprachen und Dialekte hinweg, sodass ein Support-Assistent auf Englisch hervorragend und auf Polnisch oder Walisisch schwach sein kann.

Fairness lässt sich auf mehrere messbare Arten definieren, zum Beispiel als gleiche Quoten positiver Entscheidungen über Gruppen hinweg (Demographic Parity), gleiche Fehlerraten über Gruppen hinweg (Equalised Odds) oder Scores, die in jeder Gruppe dieselbe Wahrscheinlichkeit bedeuten (Kalibrierung). Kleinberg, Mullainathan und Raghavan (2016) und Chouldechova (2017) haben gezeigt, dass ein Klassifikator bei unterschiedlichen Basisraten der Gruppen im Allgemeinen nicht zugleich Kalibrierung und gleiche Fehlerraten erfüllen kann. Die Wahl eines Fairnesskriteriums ist daher ein Werturteil für die Betroffenen und die Organisation, keine technische Voreinstellung. Die Aufgabe des Architekten ist es, die Wahl ausdrücklich zu machen, die Evaluierungsergebnisse wie in Abschnitt 12.5 nach Gruppe und Sprache aufzuschlüsseln und zu entscheiden, wie die für diese Messung nötigen Daten erhoben und geschützt werden. Um Bias zu messen, braucht man oft sensible Merkmale, die das System sonst nicht halten sollte; Artikel 10 Absatz 5 der KI-Verordnung erlaubt ihre Verarbeitung zur Erkennung von Bias in Hochrisiko-KI-Systemen unter strengen Schutzvorkehrungen, und die Änderungen von 2026 haben eine ähnliche, streng an Bedingungen geknüpfte Erlaubnis für andere KI-Systeme und -Modelle hinzugefügt.

Transparenz, Erklärbarkeit und Model Cards

Transparenz bedeutet, Menschen zu sagen, womit sie es zu tun haben: dass sie mit einer KI sprechen, dass ein Bild synthetisch ist, wofür ein System gedacht ist und wo es unzuverlässig ist. Erklärbarkeit bedeutet, sagen zu können, warum eine bestimmte Ausgabe entstanden ist. Bei klassischen Machine-Learning-Modellen können Techniken wie Feature Attributions anzeigen, welche Eingaben einen Score beeinflusst haben, mit bekannten Einschränkungen. Bei Sprachmodellen sind Erklärungen schwieriger: Die eigene Darstellung eines Modells über sein Reasoning ist erzeugter Text, der nicht die Berechnung widerspiegeln muss, die die Antwort tatsächlich hervorgebracht hat. Praktische Erklärbarkeit entsteht in LLM-Systemen daher durch Architektur statt durch Introspektion: Zeigen Sie die abgerufenen Quellen, auf die sich eine Antwort stützt, halten Sie folgenreiche Entscheidungen in deterministischen Regeln, die Begründungscodes erzeugen, und loggen Sie Eingaben, Quellen, Prompt- und Modellversionen, damit sich jede Entscheidung später rekonstruieren und anfechten lässt. Wo Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung ausschließlich automatisiert getroffen werden, gewährt die DSGVO zusätzlich Rechte auf menschliches Eingreifen und auf aussagekräftige Informationen über die involvierte Logik.

Model Cards, 2019 von Mitchell und Kollegen vorgeschlagen, sind kurze Dokumente, die ein trainiertes Modell begleiten: seine vorgesehenen und nicht vorgesehenen Verwendungen, die Faktoren (etwa demografische Gruppen), über die hinweg es evaluiert wurde, seine Metriken und ihre Ergebnisse pro Gruppe, seine Trainings- und Evaluierungsdaten, ethische Überlegungen und Vorbehalte. Datasheets for Datasets (Gebru et al.) leisten dasselbe für Daten, und viele Anbieter veröffentlichen inzwischen System Cards, die ein ganzes eingesetztes System abdecken. Für Architekten sind sie sowohl Eingaben (lesen Sie die Card jedes Modells, das Sie übernehmen, einschließlich seiner Grenzen und Lizenz) als auch Ergebnisse (veröffentlichen Sie eine für Ihr eigenes System, im Repository gepflegt und mit jedem Release aktualisiert, neben der Architekturdokumentation aus Kapitel 4).

Menschliche Aufsicht

Menschliche Aufsicht hat drei verbreitete Formen: Ein Mensch genehmigt jede Entscheidung, bevor sie wirksam wird (Human in the Loop), ein Mensch überwacht das System und kann eingreifen (Human on the Loop), oder Menschen bestimmen, wann und wie das System überhaupt eingesetzt wird (Human in Command). Aufsicht ist nur so gut wie ihr Design. Automation Bias, die Neigung, die Empfehlung eines Systems ohne echte Prüfung zu übernehmen, macht Prüfer, die Hunderte KI-Vorschläge pro Stunde genehmigen, zu einem Abnickstempel, der Haftung hinzufügt, aber keine Sicherheit.

Wirksame Aufsicht wird eingeplant: Zeigen Sie zu jeder Empfehlung die Belege und Quellen, nicht nur die Antwort; machen Sie Widerspruch einfach und halten Sie ihn fest; bemessen Sie die Prüflast realistisch; schleusen Sie regelmäßig bekanntermaßen falsche Fälle ein, um zu prüfen, ob die Prüfer sie erkennen; messen Sie die Override-Raten (eine Rate nahe null ist ein Warnzeichen, kein Erfolg); und geben Sie den Bedienenden einen getesteten Weg, das System anzuhalten oder zu stoppen. Abschnitt 12.2 behandelt Human-in-the-Loop-Designs und ihre Kapazitätsplanung. Artikel 14 der KI-Verordnung verlangt, dass Hochrisiko-KI-Systeme so gestaltet werden, dass die Aufsichtspersonen die Fähigkeiten und Grenzen des Systems verstehen, sich des Automation Bias bewusst bleiben, die Ausgaben interpretieren, entscheiden können, sie nicht zu verwenden oder sich über sie hinwegzusetzen, und das System unterbrechen können.

Die KI-Verordnung der EU

Die KI-Verordnung der EU (EU AI Act), Verordnung (EU) 2024/1689, ist das erste umfassende horizontale Gesetz über KI. Sie ist am 1. August 2024 in Kraft getreten und gilt stufenweise. Sie reguliert nach Risiko, weist Pflichten vor allem Anbietern (die ein System oder Modell entwickeln und unter ihrem Namen in Verkehr bringen) und Betreibern (die es beruflich verwenden) zu und reicht über die EU hinaus: Sie gilt für Anbieter, die Systeme in der EU in Verkehr bringen, und für Anbieter und Betreiber andernorts, deren Systemausgaben in der EU verwendet werden. Die Geldbußen für verbotene Praktiken reichen bis zu 35 Mio. EUR oder 7 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist, mit niedrigeren Obergrenzen für andere Verstöße.

Die Verordnung ordnet Systeme vier Stufen zu, dazu kommt ein gesonderter Strang für Modelle. Zu den verbotenen Praktiken (Artikel 5) gehören Social Scoring, manipulative oder täuschende Techniken und die Ausnutzung der Vulnerabilität oder Schutzbedürftigkeit von Personen, die erheblichen Schaden verursachen, das ungezielte Auslesen von Gesichtsbildern, Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen (mit engen Ausnahmen), biometrische Kategorisierung zur Ableitung sensibler Merkmale, die Vorhersage von Straftaten allein auf Grundlage von Profiling und biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken außer in eng begrenzten Fällen. Hochrisiko-KI-Systeme (Artikel 6) sind Sicherheitsbauteile von Produkten, die unter die in Anhang I aufgeführten Produktsicherheitsvorschriften der EU fallen, sowie Systeme, die in den in Anhang III aufgeführten Bereichen eingesetzt werden: Biometrie, kritische Infrastruktur, allgemeine und berufliche Bildung, Beschäftigung und Personalmanagement, Zugang zu grundlegenden privaten und öffentlichen Diensten (etwa Kreditwürdigkeitsprüfung sowie Preisgestaltung bei Lebens- und Krankenversicherungen), Strafverfolgung, Migration und Grenzkontrolle sowie Rechtspflege und demokratische Prozesse. Ein System nach Anhang III kann der Hochrisiko-Kategorie nach Artikel 6 Absatz 3 entgehen, wenn es nur eine eng gefasste oder vorbereitende Aufgabe erfüllt und kein erhebliches Risiko birgt, niemals aber, wenn es ein Profiling von Personen vornimmt. Transparenzpflichten (Artikel 50) verlangen, dass Menschen informiert werden, wenn sie mit einem KI-System interagieren, sofern das nicht offensichtlich ist, dass erzeugte oder manipulierte Inhalte maschinenlesbar gekennzeichnet und Deepfakes offengelegt werden. Systeme mit minimalem Risiko, die große Mehrheit, haben keine besonderen neuen Pflichten, auch wenn die Bestimmung zur KI-Kompetenz in Artikel 4 allgemein für Anbieter und Betreiber gilt.

KI-Modelle mit allgemeinem Verwendungszweck (GPAI-Modelle), etwa die großen Sprachmodelle hinter den meisten Assistenten, werden auf Modellebene reguliert. Nach Artikel 53 müssen ihre Anbieter eine technische Dokumentation führen, nachgelagerten Anbietern die benötigten Informationen geben, eine Strategie zur Einhaltung des EU-Urheberrechts haben und eine Zusammenfassung der für das Training verwendeten Inhalte veröffentlichen. Modelle mit systemischem Risiko, das vermutet wird, wenn die Trainingsrechenleistung 10²⁵ Gleitkommaoperationen übersteigt, tragen nach Artikel 55 weitere Pflichten: Evaluierung einschließlich Angriffstests (Adversarial Testing), Risikominderung, Meldung schwerwiegender Vorfälle und Cybersicherheit. Ein im Juli 2025 veröffentlichter Praxisleitfaden für KI mit allgemeinem Verwendungszweck (General-Purpose AI Code of Practice) bietet Anbietern einen freiwilligen Weg, die Einhaltung nachzuweisen. Ein Unternehmen, das eine Anwendung auf dem Modell eines anderen aufbaut, ist normalerweise Anbieter oder Betreiber eines KI-Systems, nicht des Modells, kann aber zum Modellanbieter werden, wenn es das Modell wesentlich verändert.

Der Zeitplan und die Änderungen von 2026

Die Pflichten der Verordnung sollten zwischen Februar 2025 und August 2027 stufenweise wirksam werden. Im November 2025 schlug die Europäische Kommission einen digitalen Omnibus zu KI (Digital Omnibus on AI) vor, um die Umsetzung zu vereinfachen, vor allem weil die für die Hochrisiko-Regeln nötigen harmonisierten Normen und Leitlinien verspätet waren. Nach einer Einigung zwischen Europäischem Parlament und Rat wurde er als Verordnung (EU) 2026/1744 vom 8. Juli 2026 angenommen, am 24. Juli 2026 im Amtsblatt veröffentlicht und ist seit dem 27. Juli 2026 in Kraft. Sie verschiebt die Hochrisiko-Pflichten auf feste Termine (2. Dezember 2027 für Systeme nach Anhang III und 2. August 2028 für Systeme nach Anhang I); fügt Verbote von KI-Systemen hinzu, die Darstellungen sexuellen Missbrauchs von Kindern oder intime Bilder identifizierbarer Personen ohne deren Einwilligung erzeugen oder manipulieren; gewährt Anbietern generativer Systeme, die bereits auf dem Markt sind, eine viermonatige Übergangsfrist für die maschinenlesbare Kennzeichnung; ändert die Pflicht zur KI-Kompetenz von der Sicherstellung eines ausreichenden Kompetenzniveaus zu Maßnahmen, die sie fördern; schafft unter strengen Bedingungen eine Rechtsgrundlage für die Verarbeitung besonderer Kategorien personenbezogener Daten zur Erkennung und Korrektur von Bias über Hochrisiko-KI-Systeme hinaus; weitet Vereinfachungen von KMU auf kleine Midcap-Unternehmen aus; verschiebt die Maschinenverordnung in Anhang I von Abschnitt A nach Abschnitt B, sodass die Anforderungen an KI in Maschinen über jene Verordnung und nicht unmittelbar nach der KI-Verordnung anzuwenden sind; und gibt dem Büro für Künstliche Intelligenz (AI Office) eine stärkere Rolle bei der Aufsicht über KI-Systeme, die auf Modellen mit allgemeinem Verwendungszweck aufbauen. Die bereits geltenden Verbote und GPAI-Pflichten wurden nicht verschoben, und die Transparenzpflichten nach Artikel 50 gelten wie geplant ab dem 2. August 2026.

Ein gesonderter Vorschlag für einen digitalen Omnibus vom November 2025, der die DSGVO, die ePrivacy-Vorschriften und die Datenverordnung ändern würde, durchläuft ein eigenes Gesetzgebungsverfahren; prüfen Sie, ob er angenommen wurde, und entwerfen Sie nach geltendem Recht, nicht nach Vorschlägen. Prüfen Sie die aktuelle konsolidierte Fassung der KI-Verordnung, bevor Sie sich auf ein Datum in der folgenden Tabelle verlassen.

Was bedeutet das für die Essenslieferplattform? Der Kundensupport-Assistent fällt in keinen Bereich nach Anhang III und ist daher kein Hochrisiko-KI-System, muss den Kunden aber mitteilen, dass sie mit einer KI sprechen, und die DSGVO gilt uneingeschränkt für seine Prompts und Logs. Die Kuriersysteme desselben Unternehmens sind etwas anderes: KI, die Kurieren auf Grundlage ihres Verhaltens oder ihrer Merkmale Arbeit zuweist, ihre Leistung überwacht und bewertet oder über eine Deaktivierung entscheidet, fällt in den Bereich Beschäftigung und Personalmanagement nach Anhang III und damit ab Dezember 2027 unter das Hochrisiko-Regime, außerdem unter die EU-Plattformarbeitsrichtlinie (Richtlinie (EU) 2024/2831) zum algorithmischen Management, die die Mitgliedstaaten bis Dezember 2026 umsetzen müssen. Die Einstufung folgt dem Zweck, nicht der Technologie: Ein Modell kann im selben Unternehmen einer Verwendung mit minimalem Risiko und einer Hochrisiko-Verwendung dienen.

Rahmenwerke und Normen: NIST AI RMF und ISO/IEC 42001

Das NIST AI Risk Management Framework (AI RMF 1.0, NIST AI 100-1, Januar 2023) ist ein freiwilliges US-Rahmenwerk, das international weit verbreitet ist. Es gliedert das KI-Risikomanagement in vier Funktionen: Govern (Kultur, Richtlinien, Rollen und Verantwortlichkeit), Map (Kontext, vorgesehene Verwendung und mögliche Auswirkungen), Measure (Analyse, Tests und Verfolgung von Risiken) und Manage (Priorisierung und Behandlung von Risiken sowie Reaktion auf Vorfälle). Es beschreibt vertrauenswürdige KI als valide und zuverlässig, betriebssicher, sicher und resilient, rechenschaftspflichtig und transparent, erklärbar und interpretierbar, datenschutzfördernd sowie fair mit beherrschtem schädlichem Bias. Sein Generative AI Profile (NIST AI 600-1, Juli 2024) ergänzt Risiken und Maßnahmen speziell für generative Modelle. Prüfen Sie auf der Website von NIST die aktuelle Version und die zugehörigen Profile, bevor Sie es zitieren.

ISO/IEC 42001:2023 legt Anforderungen an ein KI-Managementsystem fest: die Richtlinien, Rollen, Risiko- und Folgenabschätzungen, Kontrollen, Überwachung und kontinuierliche Verbesserung, mit denen eine Organisation ihre KI-Arbeit steuert, im selben Plan-Do-Check-Act-Stil wie ISO/IEC 27001 für Informationssicherheit. Anders als das NIST-Rahmenwerk ist sie zertifizierbar, und Organisationen verlangen von Lieferanten zunehmend eine Zertifizierung. ISO/IEC 23894:2023 gibt Leitlinien zum KI-Risikomanagement. Die drei greifen ineinander: Die KI-Verordnung legt rechtliche Pflichten fest, harmonisierte europäische Normen (in Entwicklung bei CEN und CENELEC) werden beschreiben, wie sie zu erfüllen sind, und das NIST-Rahmenwerk und ISO/IEC 42001 liefern die Managementpraktiken, in denen die Nachweise entstehen.