Dartint.com · Technologie, KI und Präzision

AI Governance – Wie Unternehmen künstliche Intelligenz kontrollierbar machen

Künstliche Intelligenz kann im Betrieb Texte vorbereiten, Informationen zusammenfassen und Arbeitsabläufe unterstützen. Sobald mehrere Personen unterschiedliche Werkzeuge verwenden, entstehen jedoch praktische Fragen: Welche Daten dürfen eingegeben werden? Wer prüft eine Antwort? Und wer stoppt einen Ablauf, wenn die KI falsche Angaben an Kunden weitergibt?

AI Governance, auf Deutsch KI-Governance, bezeichnet den organisatorischen Rahmen für solche Entscheidungen. Dazu gehören Regeln, Zuständigkeiten und Kontrollen über den gesamten Einsatz hinweg. Für einen kleinen Betrieb muss daraus kein umfangreiches Handbuch werden. Die Regeln müssen vor allem konkret genug sein, damit Beschäftigte im Arbeitsalltag danach handeln können.

Mit den tatsächlichen Anwendungen beginnen

Erfasse zunächst, wo KI bereits eingesetzt wird. Gemeint sind nicht nur bekannte Chatprogramme, sondern auch Funktionen in Office-Anwendungen, Kundenverwaltung, Besprechungssoftware oder automatisierten Abläufen. Eine Werkzeugliste allein reicht nicht: Dasselbe Programm kann für unverfängliche Textideen oder für die Verarbeitung vertraulicher Kundendokumente verwendet werden.

Beschreibe deshalb jeden Anwendungsfall anhand von Aufgabe, verwendeten Daten und anschließender Wirkung. Ein internes Brainstorming unterscheidet sich von einer Antwort, die direkt an einen Kunden verschickt wird. Wichtig ist auch, ob die KI nur etwas vorschlägt oder selbst auf weitere Systeme zugreifen und Änderungen auslösen kann.

Ein einfacher Eintrag könnte lauten: „Das Serviceteam erstellt Entwürfe für allgemeine Produktfragen. Verwendet werden freigegebene Produktinformationen. Vor dem Versand prüft eine zuständige Person den Inhalt.“ Damit ist der Einsatz deutlich genauer beschrieben als mit „Wir nutzen einen KI-Assistenten“.

Freigaben an Aufgabe, Daten und Wirkung knüpfen

Ein freigegebenes Werkzeug ist keine Freigabe für jeden Zweck. Halte fest, für welche Aufgaben und Datenarten die Nutzung erlaubt ist. Vermerke ebenso, was ausgeschlossen bleibt oder vorab geprüft werden muss. Die folgende Übersicht ist ein organisatorisches Beispiel und keine rechtliche Risikoklassifizierung nach dem EU AI Act.

BeispielanwendungWesentliche FrageMögliche betriebliche Regel
Ideen für einen allgemeinen WerbetextWerden vertrauliche Informationen eingegeben oder unbelegte Aussagen erzeugt?Nur freigegebene Informationen verwenden; Aussagen vor Veröffentlichung prüfen.
Zusammenfassung eines KundendokumentsDarf dieses Dokument im gewählten Dienst verarbeitet werden?Datennutzung und Dienst vorab prüfen; ohne entsprechende Freigabe keine Übertragung.
Entwurf einer KundenantwortVerändert die KI Preise, Fristen oder verbindliche Zusagen?Entwurf kennzeichnen und vor dem Versand fachlich kontrollieren.
Automatisches Schreiben in ein KundensystemWelche Datensätze können verändert werden, und lässt sich ein Fehler begrenzen?Rechte beschränken, Änderungen nachvollziehbar machen und Stoppmöglichkeit vorsehen.
Bewertung von Bewerbern oder anderen PersonenWelche rechtlichen und fachlichen Anforderungen gelten für den konkreten Einsatz?Keine beiläufige Einführung; spezialisierte Prüfung vor einer möglichen Nutzung.

Die notwendige Kontrolle ergibt sich aus dem möglichen Schaden. Ein interner Ideenfehler und eine falsche Zahlungsaufforderung haben unterschiedliche Folgen. Vermeide deshalb eine pauschale Regel wie „alle KI-Texte sind unkritisch“. Auch ein einfacher Text kann vertrauliche Angaben oder eine erhebliche Zusage enthalten.

Zuständigkeiten so festlegen, dass jemand handeln kann

Für jeden produktiven Anwendungsfall sollte es eine verantwortliche Person geben. Sie kennt den vorgesehenen Nutzen, organisiert die fachliche Prüfung und sorgt dafür, dass Änderungen berücksichtigt werden. Das muss nicht dieselbe Person sein, die technische Einstellungen verwaltet oder Verträge mit dem Anbieter prüft.

In einem kleinen Team kann eine Person mehrere Aufgaben übernehmen. Trotzdem sollten die Aufgaben unterscheidbar bleiben: Wer gibt den Anwendungsfall frei, wer kontrolliert Ergebnisse und wer bearbeitet Störungen? Eine Vertretung verhindert, dass bei Urlaub oder Krankheit niemand weiß, wie der Ablauf angehalten wird.

Ein Vermerk „Verantwortlich: IT“ ist wenig hilfreich, wenn ein fachlicher Fehler in einem Angebot auftritt. Die IT kann Zugriffe begrenzen, beurteilt aber nicht automatisch Preise oder Leistungszusagen. Ordne die inhaltliche Verantwortung dem passenden Fachbereich zu und halte einen erreichbaren Meldeweg fest.

Daten vor der Eingabe beurteilen

Prüfe vor einer Freigabe, welche Informationen die Anwendung verarbeitet und an welche Stellen sie übermittelt werden. Dazu gehören nicht nur die sichtbare Chatnachricht, sondern auch Anhänge, verbundene Datenquellen und gegebenenfalls gespeicherte Gesprächsverläufe. Ein Browserfenster auf dem Firmenrechner macht einen externen Dienst nicht zu einem internen System.

Bei einem Dienst sind unter anderem Kontotyp, vertragliche Vereinbarungen, Zugriffsrechte, Speicherung und mögliche Verwendung der Eingaben durch den Anbieter relevant. Eine einzelne Einstellung wie „nicht zum Training verwenden“ beantwortet nicht alle Datenschutz- und Vertraulichkeitsfragen. Auch eine kostenpflichtige Version ist nicht automatisch für sämtliche Geschäftsdaten geeignet.

Personenbezogene Daten, Geschäftsgeheimnisse und andere vertrauliche Inhalte dürfen nicht allein deshalb eingegeben werden, weil die Verarbeitung bequem wäre. Kläre die Anforderungen an den konkreten Einsatz. Datenschutzrechtliche Fragen, erforderliche Verträge und die rechtliche Grundlage gehören bei Bedarf in eine fachkundige Prüfung.

Namen entfernen genügt nicht immer

Wenn ein Dokument nur noch „Kunde A“ statt eines Namens enthält, kann die Person über Adresse, Fallbeschreibung oder andere Merkmale weiterhin erkennbar sein. Bezeichne solche Unterlagen nicht vorschnell als anonym. Verwende für erste Versuche besser frei erfundene Beispieldaten, die den Arbeitsablauf zeigen, ohne reale Fälle offenzulegen.

Auch bei freigegebenen Daten gilt: Gib nur weiter, was für die Aufgabe erforderlich ist. Für einen allgemeinen Antwortentwurf muss beispielsweise nicht die gesamte Kundenakte hochgeladen werden. Eine vorbereitete, geprüfte Informationsgrundlage erleichtert zugleich die spätere Kontrolle der Ergebnisse.

Qualität mit echten Aufgaben und unabhängigem Sollwert prüfen

Ein überzeugender Einzelversuch reicht für eine betriebliche Freigabe nicht aus. Stelle eine kleine, repräsentative Sammlung von Aufgaben zusammen. Sie sollte häufige Fälle, unvollständige Angaben und Situationen enthalten, in denen die richtige Reaktion eine Rückfrage oder die Weitergabe an einen Menschen ist.

Lege die erwarteten Aussagen vor der Auswertung fest. Bei einer Kundenantwort können das der richtige Preis, eine korrekt formulierte Lieferfrist und das Vermeiden zusätzlicher Versprechen sein. Die Prüfung darf nicht nur fragen, ob der Text flüssig klingt. Eine freundlich formulierte falsche Zusage bleibt ein Fehler.

Ein frei gewähltes Beispiel: Du prüfst 20 Antwortentwürfe. Drei enthalten eine falsche Frist; bei einem weiteren wird eine nicht zugesagte Zusatzleistung angeboten. Dann bestehen vier unterschiedliche Entwürfe die festgelegte Inhaltsprüfung nicht. 4 ÷ 20 × 100 ergibt 20 Prozent beanstandete Entwürfe in dieser kleinen Testmenge.

Das ist weder eine allgemeine Fehlerquote des Modells noch eine belastbare Prognose für sämtliche späteren Anfragen. Ein einzelner schwerwiegender Fehler kann bereits ausreichen, die Freigabe zu verweigern. Definiere deshalb zusätzlich zur Anzahl, welche Fehler unabhängig von ihrer Häufigkeit zum Abbruch führen.

Menschliche Kontrolle an den entscheidenden Stellen vorsehen

„Ein Mensch schaut darüber“ ist nur dann eine brauchbare Maßnahme, wenn die Person Zeit, Fachwissen und Zugriff auf die notwendigen Originalinformationen hat. Eine Zusammenfassung lässt sich nicht zuverlässig allein anhand derselben Zusammenfassung prüfen. Der Prüfer muss relevante Quellen und Bedingungen vergleichen können.

Bei einem Antwortentwurf sollten etwa Mengen, Preise, Fristen, Einschränkungen und die Verbindlichkeit der Aussage kontrolliert werden. Ein zweites KI-Urteil kann dabei helfen, mögliche Probleme zu finden. Es ersetzt jedoch keinen unabhängigen Vergleich mit den zugrunde liegenden Informationen.

Wenn eine Anwendung nach der Freigabe selbst versendet oder Daten verändert, müssen ihre Befugnisse dazu passen. Der Zugriff auf einen einzelnen notwendigen Bereich ist besser begrenzbar als ein umfassender Zugang. Kläre vorab, wie falsche Aktionen erkannt, angehalten und gegebenenfalls rückgängig gemacht werden können.

Ein schlanker Steckbrief macht die Nutzung nachvollziehbar

Für einen überschaubaren Anwendungsfall kann eine zentrale Tabelle ein sinnvoller Anfang sein. Sie ersetzt keine besonderen gesetzlichen Dokumentationspflichten, schafft aber eine gemeinsame Arbeitsgrundlage. Wichtig ist, dass die Angaben aktuell und für die beteiligten Personen erreichbar sind.

FeldBeispielinhaltPraktischer Zweck
Aufgabe und GrenzeEntwürfe für allgemeine Produktfragen; kein automatischer Versand.Begrenzt, wofür die Freigabe gilt.
Werkzeug und ZugangGenauer Dienst, freigegebener Kontotyp und genutzte Funktionen.Verhindert die Übertragung auf ungeprüfte Zugänge.
Daten und QuellenFreigegebene Produkttexte; keine Kundendokumente.Beschreibt zulässige Eingaben.
Verantwortung und KontrolleFachlich zuständige Person mit Vertretung; Prüfung vor Versand.Ordnet Entscheidungen und Rückfragen zu.
Test und ÄnderungsstandDatum, Testaufgaben, Ergebnis und eingesetzte Vorlagenversion.Macht die Grundlage der Freigabe prüfbar.
Störung und ÜberprüfungMeldeweg, Stoppmöglichkeit und Anlass für einen erneuten Test.Hilft bei Fehlern und Änderungen.

Speichere nicht vorsorglich sämtliche vertraulichen Eingaben unbegrenzt als Beleg. Dokumentation muss ebenfalls zu Zugriffsrechten, Aufbewahrung und Datenschutz passen. Häufig ist eine Beschreibung des Testfalls mit einem bereinigten Beispiel hilfreicher als eine unkontrollierte Sammlung echter Kundenakten.

Fehler melden, begrenzen und daraus eine Änderung ableiten

Ein Meldeweg muss auch für Beschäftigte funktionieren, die versehentlich einen Fehler gemacht haben. Wenn eine ungeeignete Datei hochgeladen wurde, hilft eine schnelle, sachliche Meldung mehr als das heimliche Löschen des Chatverlaufs. Wer die Störung bearbeitet, benötigt Angaben zu Dienst, Zeitpunkt, Datenart und möglicher Weiterverwendung.

Bei einer falschen Kundenantwort stehen andere Maßnahmen im Vordergrund als bei einem Datenabfluss. Stoppe bei Bedarf den betroffenen Ablauf, sichere die für die Untersuchung erforderlichen Informationen und ziehe die zuständigen Fachleute hinzu. Eine Löschung im sichtbaren Verlauf beweist nicht, dass alle Kopien beim Anbieter entfernt sind.

Aus dem Vorfall sollte eine überprüfbare Änderung entstehen: eine engere Berechtigung, eine bessere Informationsquelle, eine zusätzliche Freigabe oder die Aufgabe des ungeeigneten Anwendungsfalls. Ergänze den Fehler als Testfall, damit dieselbe Schwäche bei einer späteren Änderung erneut geprüft wird.

Eine neue Funktion ist nicht automatisch mitfreigegeben

Ein Beispiel macht die Grenze deutlich: Ein Assistent durfte bisher aus freigegebenen Produkttexten Antwortentwürfe erstellen. Nach einem Update kann er zusätzlich das E-Mail-Postfach lesen und Nachrichten selbst versenden. Der Produktname bleibt gleich, der mögliche Zugriff und die Wirkung haben sich aber verändert. Die bisherige Entwurfsfreigabe deckt diesen erweiterten Einsatz nicht ab.

Beschäftigte brauchen deshalb eine einfache Möglichkeit, eine Erweiterung anzufragen. Dabei sollten sie die gewünschte Aufgabe beschreiben, statt lediglich um Freischaltung einer Schaltfläche zu bitten. Für eine interne Anfrage eignet sich beispielsweise diese Vorlage:

Ich möchte [Werkzeug/Funktion] für [konkrete Aufgabe] verwenden. Benötigt werden [Datenarten und Quellen]. Das Ergebnis soll [nur intern geprüft/extern verwendet/in ein System geschrieben] werden. Fachlich prüfen könnte [Person oder Bereich]. Bisher ist unklar, ob [offene Frage]. Bitte prüfen Sie den beschriebenen Einsatz, bevor wir echte Daten verwenden oder automatische Aktionen aktivieren.

Eine solche Anfrage ersetzt die Prüfung nicht. Sie stellt jedoch die Informationen zusammen, mit denen Verantwortliche den Nutzen und die offenen Anforderungen beurteilen können.

Beschäftigte am eigenen Arbeitsablauf schulen

Eine Schulung wird praktisch, wenn das Team an eigenen, bereinigten Beispielen übt. Zeige eine falsche, aber überzeugend klingende Antwort und lass die entscheidende Abweichung am Original suchen. Übe auch, welche Daten nicht eingegeben werden dürfen und an wen sich Beschäftigte bei Unsicherheit wenden.

Die Europäische Kommission erläutert zu Artikel 4 des AI Act eine Pflicht für Anbieter und Betreiber, Maßnahmen zur Förderung von KI-Kompetenz zu ergreifen. Die Maßnahmen sollen den Kenntnissen der beteiligten Personen und dem Einsatzkontext Rechnung tragen. Eine allgemeine Produktvorführung beantwortet diese betrieblichen Fragen nicht automatisch.

Der Artikel beschreibt organisatorische Hilfen und ist keine vollständige Compliance-Anleitung. Welche Pflichten etwa aus AI Act, Datenschutz, Arbeitsrecht oder branchenspezifischen Vorgaben entstehen, muss für den konkreten Einsatz geprüft werden. Eine interne Einteilung in „einfach“ oder „sensibel“ ersetzt keine rechtliche Klassifizierung.

Änderungen prüfen und den tatsächlichen Nutzen messen

Neue Funktionen, andere Datenquellen oder veränderte Zugriffsrechte können die Grundlage einer Freigabe verändern. Auch eine neue Modellversion kann andere Ergebnisse liefern. Lege fest, bei welchen Änderungen erneut getestet wird und welche Kontrollen im laufenden Betrieb erforderlich bleiben.

Bewerte den Nutzen einschließlich Nacharbeit. Wenn eine KI einen Entwurf schneller erstellt, Beschäftigte aber lange Quellen suchen und Fehler berichtigen müssen, ist die reine Erstellungszeit kein ausreichender Erfolgsmaßstab. Erfasse beispielsweise Bearbeitungszeit, notwendige Korrekturen und die Zahl der an Menschen weitergegebenen Fälle.

Ein kleiner Betrieb kann mit einem klar begrenzten Anwendungsfall beginnen: tatsächliche Nutzung erfassen, Zuständigkeit benennen, Daten und Berechtigungen festlegen, testen und erst danach freigeben. Gute KI-Governance zeigt sich daran, dass Beteiligte wissen, was sie tun dürfen, wie sie Ergebnisse prüfen und wann sie Unterstützung brauchen.