KI-Governance aufbauen: ein praxisnahes Rahmenwerk für Unternehmen

Viele Unternehmen nutzen KI längst im Alltag. Oft fehlt aber eine klare KI-Governance. Dann bleibt offen, wer ein Risiko freigibt, welche Regeln gelten und wer eingreift, wenn etwas schiefgeht. Dieser Beitrag zeigt, wie ein schlankes Rahmenwerk aussehen kann. Er stützt sich auf die Ideen aus dem Kurs „Designing Responsible AI Governance Frameworks“ von Tommy van Schaik bei Pluralsight. Wir fassen die Kernideen auf Deutsch zusammen, ordnen sie ein und gleichen sie mit den wichtigsten Standards ab.

Warum KI eine eigene Governance braucht

Ein bekanntes Beispiel stammt aus New York. Die Stadt startete 2023 einen KI-Chatbot, der kleinen Firmen bei rechtlichen Fragen helfen sollte. Im März 2024 deckte The Markup auf, dass der Bot teils Antworten gab, die zu Rechtsverstößen geführt hätten. Bürgermeister Eric Adams räumte Fehler ein, ließ den Bot aber als Pilot online.

Solche Fälle können trotz klassischer IT-Kontrollen passieren. Audits, Zuständigkeiten und Wartung können sauber geregelt sein. Trotzdem liefert das System falsche oder riskante Antworten. Der Grund liegt in der Art, wie KI arbeitet. Klassische IT-Governance deckt diese Besonderheiten nicht ab:

• Wahrscheinlich statt fest: Klassische Software liefert bei gleicher Eingabe immer das gleiche Ergebnis. Ein Sprachmodell kann auf denselben Prompt jedes Mal anders antworten.
• Verhalten kann sich verschieben: Neue Daten, neue Quellen oder ein Update beim Hersteller ändern die Ausgaben, ohne dass jemand im Haus den Code anfasst.
• Das Risiko hängt am Einsatz: Bei klassischer IT sichert man vor allem Zugänge und Eingaben ab. Bei einem Chatbot kommt die Eingabe von außen. Kontrollieren musst du deshalb vor allem die Ausgabe.
• KI handelt mit: Besonders KI-Agenten treffen eigene Entscheidungen in einem Prozess. Sie unterstützen nicht nur, sie wirken am Ergebnis mit.

Anwendungsfall statt System

Der Kurs bringt das auf eine einfache Formel: Klassische IT steuerst du wie ein Werkzeug. KI steuerst du eher wie ein Teammitglied, dem du Aufgaben überträgst. Daraus folgt der wichtigste Grundsatz dieses Rahmenwerks. Bewerte nicht das KI-System als Ganzes, sondern jeden einzelnen Anwendungsfall. Ein und dasselbe Sprachmodell kann Fragen beantworten, Texte zusammenfassen, Entwürfe schreiben und Kundschaft beraten. Jeder dieser Einsätze hat ein anderes Risiko.

Von Prinzipien zur KI-Governance im Alltag

Kein Regelwerk kann jede Entscheidung im Alltag vorwegnehmen. Darum beginnt gute KI-Governance mit Prinzipien. Sie lenken die vielen kleinen Entscheidungen, die Mitarbeitende jeden Tag treffen. Typische Prinzipien sind Fairness, Transparenz, Verantwortlichkeit, Datenschutz, Erklärbarkeit und menschliche Aufsicht.

Prinzipien allein reichen aber nicht. Wer direkt aus einem Prinzip eine harte Regel macht, schafft schnell zu viel Aufwand. Eine Vorgabe wie „Jede KI-Ausgabe prüft vorher ein Mensch“ klingt gut. Für interne Zusammenfassungen bremst sie aber den Nutzen aus. Der Kurs schlägt deshalb vier Schritte vor:

1. Geschäftlicher Kontext: Ziele, Anwendungsfall, betroffene Personen, Rolle und Autonomie der KI, Folgen von Fehlern und rechtliche Pflichten.
2. Risikoprofil: eine Einstufung auf Basis dieses Kontexts.
3. Governance-Design: Zuständigkeiten, Entscheidungsrechte, Richtlinien, Kontrollen und Dokumentation.
4. Laufende Absicherung: Überwachung, Audits, Umgang mit Vorfällen und Ausnahmen, stetige Verbesserung.

Die wichtigsten Referenzen

Für Inhalte und Begriffe lohnt der Blick in vier etablierte Quellen:

• KI-Verordnung der EU (AI Act): Die Verordnung (EU) 2024/1689 regelt KI nach Risiko. Sie verbietet bestimmte Praktiken und stellt strenge Pflichten für Hochrisiko-Systeme auf.
• ISO/IEC 42001:2023: Die Norm beschreibt ein Managementsystem für KI. Sie ist im Dezember 2023 erschienen und setzt auf stetige Verbesserung im Kreislauf aus Planen, Umsetzen, Prüfen und Handeln.
• NIST AI RMF: Das Rahmenwerk für KI-Risikomanagement des US-Instituts NIST erschien im Januar 2023. Es gliedert das Risikomanagement in vier Funktionen: Govern, Map, Measure und Manage. Für generative KI gibt es seit Juli 2024 ein eigenes Profil (NIST AI 600-1).
• OECD-Grundsätze für KI: Die Grundsätze wurden 2019 beschlossen und im Mai 2024 aktualisiert. Sie sind freiwillig, prägen aber viele Gesetze und Leitlinien.

Risikoklassen statt Einzelfallprüfung

Wenn du jeden Anwendungsfall von Grund auf prüfst, wird KI-Governance zum Bremsklotz. Der Kurs empfiehlt deshalb feste Risikoklassen. Jede Klasse bekommt Standardkontrollen, die sofort gelten:

• Leicht: harmlose Einsätze, etwa ein Sprachmodell für interne Entwürfe. Einfache Qualitätschecks genügen.
• Standard: Einsätze mit begrenzter Wirkung. Dazu kommen kleine Audits.
• Erweitert: zum Beispiel KI-Agenten in internen Abläufen oder KI mit Kontakt zur Kundschaft. Hier braucht es eigene Audits, eine Freigabe und eine bewusste Risikoakzeptanz.
• Kritisch: Einsätze in kritischen Prozessen oder mit sensiblen Daten. Zusätzlich gibt die Geschäftsleitung den Einsatz frei.
• Verboten: Einsätze, die ethisch oder rechtlich nicht vertretbar sind.

Für die Einstufung brauchst du klare Kriterien. Dazu gehören die betroffenen Personen, die Tragweite der Entscheidung, Rolle und Autonomie der KI, die Sensibilität der Daten, rechtliche Pflichten, Unsicherheit, Umkehrbarkeit und die Abhängigkeit vom Hersteller. Je höher die Klasse, desto häufiger prüfst du den Anwendungsfall erneut.

Rollen, Gremien und Eskalation

KI-Governance scheitert, wenn alle mitreden, aber niemand entscheidet. Jeder Anwendungsfall braucht deshalb genau eine verantwortliche Person, die ihn von Anfang bis Ende besitzt. Je nach Risikoklasse kommen weitere Rollen dazu: technische Verantwortung, Risiko und Compliance, Recht und Datenschutz sowie ein Sponsor aus der Leitung. Ab der Klasse Standard sollte die Risikorolle nicht bei derselben Person liegen wie der Anwendungsfall. In der kritischen Klasse trägt die Geschäftsleitung das verbleibende Risiko formal.

Konflikte zwischen Nutzen und Risiko löst ein Gremium. Der Kurs rät, zu Beginn mit höchstens drei bis vier Foren auszukommen und bestehende Runden wiederzuverwenden. Ein Beispiel ist ein Triage-Forum, das neue oder geänderte Anwendungsfälle einer Risikoklasse zuordnet. Für jedes Forum klärst du Zweck, Entscheidungsrechte, Mitglieder, Eingangsunterlagen, Ergebnisse, Rhythmus und den Eskalationsweg.

Eine Eskalation ist kein Zeichen von Schwäche. Sie sorgt dafür, dass die Leitung schwierige Entscheidungen kennt. Jede Entscheidung hältst du fest: Anwendungsfall, Ergebnis, Risikoklasse, Umfang und Grenzen, verantwortliche Person, Auflagen, Begründung, verbleibendes Risiko, Signale für eine erneute Prüfung und den nächsten Prüftermin.

Richtlinien über den ganzen Lebenszyklus

Eine Risikoklasse allein beantwortet nicht jede Frage. Darf ein Team den Prompt ändern, ohne neue Prüfung? Darf es eine neue Funktion des Herstellers einfach einschalten? Hilfreich ist eine Matrix aus Risikoklasse und Lebenszyklus. Die Phasen sind Entwicklung, Test und Pilot, Betrieb, Änderung und Stilllegung. Für jede Kombination legst du fest, wie viel menschliche Aufsicht nötig ist. Ein Beispiel ist das Prinzip Human-in-the-Loop: Ein Mensch prüft oder gibt frei.

Zwei Phasen werden oft vergessen. Bei einer Änderung kann ein Anwendungsfall in eine höhere Risikoklasse rutschen. Bei der Stilllegung solltest du Daten und Protokolle aufbewahren, damit Entscheidungen nachvollziehbar bleiben.

Dazu kommen drei Arten von Standards. Transparenz heißt: Zweck, Umfang, Grenzen, Hinweise an Betroffene und ein Weg zu einem Menschen. Dokumentation heißt: Risikobewertung, Testnachweise, Freigaben, Überwachungsplan und Auslöser für eine neue Prüfung. Verantwortlichkeit heißt: Die Rollen sind namentlich besetzt.

KI von Drittanbietern

Viele Modelle trainiert nicht das eigene Unternehmen, sondern ein Hersteller. Ändert der Hersteller das Modell oder die Quellen, ändert sich auch dein Anwendungsfall. Nimm die Abhängigkeit vom Hersteller deshalb in die Risikobewertung auf. Je höher die Klasse, desto mehr verlangst du: vorab geprüfte Tools in der leichten Klasse, geprüfte Nutzungsbedingungen und Protokolle in der Standardklasse, Nachweise und eine rechtliche Prüfung in der erweiterten Klasse. Für kritische Einsätze brauchst du vertragliche Zusagen sowie Ausstiegs- und Rückfalloptionen.

Governance in bestehende Prozesse einbetten

Eine KI-Governance, die neben dem restlichen Betrieb steht, übersieht Risiken. Drei Hebel helfen:

1. Bestehende Register füttern: Gib die Daten zum Anwendungsfall an das Risikoregister oder an die Software für Governance, Risiko und Compliance weiter. So wird KI-Governance Teil der vorhandenen Abläufe.
2. Auslöser festlegen: Steigt ein Anwendungsfall in eine höhere Klasse, startet das Risikomanagement. Häufen sich Vorfälle, startet eine neue KI-Prüfung.
3. KI-Checks in vorhandene Schritte einbauen: etwa bei der Aufnahme neuer Risiken, bei der Planung von Maßnahmen und bei der Überwachung von Kennzahlen.

Kein Rahmenwerk ist am ersten Tag perfekt. Teams werden Vorgaben finden, die sie nicht erfüllen können. Ein Hersteller sagt zum Beispiel vertraglich keine Vorabinformation über Updates zu. Dann brauchst du einen klaren Weg für Ausnahmen. Du bewertest die Folgen, suchst Ersatzmaßnahmen wie einen Test jeder neuen Version in einer Sandbox und klärst, wer entscheiden darf. Danach dokumentierst du die Entscheidung und überwachst sie.

Wirksamkeit von KI-Governance messen

Eine einzelne Kennzahl führt in die Irre. Misst du nur Tempo, wird die Prüfung flach. Zählst du nur Aktivitäten, wirken Teams kontrolliert, das Risiko bleibt aber gleich. Und wer allein auf Compliance schaut, bremst die Einführung. Besser ist ein Bündel aus sechs Blickwinkeln: Sichtbarkeit, Wirksamkeit der Kontrollen, betrieblicher Nutzen, Reaktion auf Risiken, Qualität der Nachweise und Verbesserung über die Zeit.

Für den Abgleich mit dem Markt helfen Stichproben. Wähle einige wichtige Anwendungsfälle aus und prüfe sie gegen Fragen aus den Referenzen. Verbesserungen sammelst du in einem Backlog und setzt sie nach Nutzen und Aufwand um. Achte dabei auf Veränderungsmüdigkeit. Zu viele Änderungen auf einmal überfordern Teams, die nebenbei ihr Tagesgeschäft erledigen.

Für die Akzeptanz der KI-Governance nennt der Kurs vier Hebel: bestehende Fachgemeinschaften einbinden, stetig verbessern, eine zentrale Quelle für alle Regeln und Entscheidungen schaffen und das vorhandene Änderungsmanagement nutzen.

Was die KI-Verordnung im Oktober 2026 bedeutet

Die KI-Verordnung ist seit dem 1. August 2024 in Kraft und gilt schrittweise. Laut Zeitplan der EU-Kommission gilt Folgendes:

• Ab 2. Februar 2025: Verbote bestimmter Praktiken, Begriffe und Vorgaben zur KI-Kompetenz.
• Ab 2. August 2025: Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck.
• Seit 2. August 2026: die meisten übrigen Regeln, darunter die Transparenzpflichten nach Artikel 50.
• Ab 2. Dezember 2027: Pflichten für Hochrisiko-Systeme nach Anhang III.
• Ab 2. August 2028: Pflichten für Hochrisiko-KI in Produkten nach Anhang I.

Die beiden letzten Termine lagen ursprünglich früher. Verschoben hat sie die Änderungsverordnung (EU) 2026/1744 vom 8. Juli 2026.

Ein Punkt verdient eine Präzisierung. Im Kurs stehen Software für die Personalauswahl und manipulative KI gemeinsam als Beispiele für Hochrisiko-Fälle. Rechtlich ist das zu trennen. KI für die Auswahl von Bewerbenden fällt laut Anhang III unter Hochrisiko. Manipulative Techniken, die Menschen erheblich schaden können, sind nach Artikel 5 dagegen verboten. Für dein Rahmenwerk heißt das: Solche Fälle gehören in die Klasse Verboten. Dieser Beitrag ist keine Rechtsberatung.

Fazit

Gute KI-Governance ist kein Papierberg. Sie ordnet jeden Anwendungsfall einer Risikoklasse zu, gibt ihm eine verantwortliche Person und verbindet Entscheidungen mit den Prozessen, die es im Unternehmen schon gibt. Starte schlank mit wenigen Klassen, wenigen Gremien und klaren Kennzahlen. Verbessere das Rahmenwerk dann Schritt für Schritt.