KI-Einsatz mit klarem Kopf und eindeutigen Leitplanken

Vertrauenswürdige KI ist gerade im öffentlichen Sektor entscheidend

Öffentliche Institutionen und Bürger stehen in einem besonderen Vertrauensverhältnis zueinander. Dieses Vertrauen bildet das Fundament für jede technologische Innovation. Für den KI-Einsatz bedeutet das: Die Systeme müssen nachvollziehbar, fair und datenschutzkonform arbeiten. Besonders in Bereichen mit direkten Auswirkungen auf individuelle Rechte – etwa bei Entscheidungen zu Sozialleistungen – kann mangelnde Transparenz die Akzeptanz der Bürgerinnen und Bürger erheblich schwächen. Zudem verpflichtet der EU AI Act (KI-Verordnung) zur Einhaltung vielfältiger Anforderungen bei Hochrisiko-KI-Anwendungen: Behörden müssen Risiken systematisch bewerten, Entscheidungswege transparent gestalten und durchgehend menschliche Kontrolle sicherstellen. Für die Umsetzung dieser Vorgaben benötigen öffentliche Einrichtungen einen ganzheitlichen Governance-Ansatz mit vier tragenden Säulen:

1. Die ethische Dimension fokussiert sich auf Fairness und Transparenz, wirkt aktiv Verzerrungen in Daten entgegen und sorgt für nachvollziehbare KI-Entscheidungsprozesse.
2. Um diese ethischen Prinzipien wirksam umzusetzen, müssen Verwaltungen klare organisatorische Strukturen entwickeln – beginnend mit eindeutigen Zuständigkeiten und darauf aufbauenden fachübergreifenden Ethik-Gremien, die Verantwortung übernehmen, und mit Orientierungshilfen sowie Richtlinien steuern.
3. Die dritte Säule bildet die systematische Vernetzung verschiedener Kompetenzbereiche: Recht, IT, Datenschutz und fachspezifisches Wissen der einzelnen Abteilungen müssen ineinandergreifen. So können etwa bei digitalen Angeboten sowohl rechtliche als auch technische Expertise einfließen.
4. Als vierte Komponente benötigen diese organisatorischen Maßnahmen eine robuste technische Basis mit zuverlässigen Systemen, kontinuierlichem Monitoring und effektiven Sicherheitsvorkehrungen. Verbindende Prozesse halten diese Elemente zusammen – von systematischen Risikobewertungen über regelmäßige Konformitätsprüfungen bis hin zu bewährten Audit-Verfahren und kontinuierlichen Verbesserungszyklen.

KI-Risiken im Griff behalten

Behörden, die die Risiken ihres KI-Einsatzes bewerten wollen, sollten in der Lage sein, diese frühzeitig zu erkennen, systematisch zu evaluieren und gezielt zu minimieren – insbesondere bei sensiblen Anwendungen mit direktem Einfluss auf Bürgerrechte. Folgende Aspekte sollten dabei beachtet werden:

• „Black Box“-Problematik: Komplexe KI-Modelle liefern teils Ergebnisse oder Empfehlungen, bei denen die Entscheidungskriterien unklar bleiben. Das widerspricht dem Transparenzgebot der öffentlichen Verwaltung.
• Datenschutzrisiken sind in der Verwaltung eng mit der KI-Nutzung verknüpft, da Behörden häufig personenbezogene Daten und besondere Datenkategorien verarbeiten. KI-Systeme können auch unbeabsichtigt Personenprofile erstellen, die über den ursprünglichen Verarbeitungszweck hinausgehen oder gegen zentrale Datenschutzprinzipien verstoßen.
• Besonders kritisch ist das Diskriminierungspotenzial, denn mit historischen Daten trainierte KI-Systeme können bestehende Ungleichheiten verstärken oder ein unangemessenes Profiling ermöglichen – etwa bei der Bewerberauswahl, der Prüfung von Ansprüchen in der Leistungsverwaltung oder beim Vorgehen gegen potentielle Störer.
• KI-Systeme werfen zudem komplexe Haftungs- und Verantwortungsfragen auf, da bei Fehlentscheidungen oft unklar bleibt, wer die Verantwortung trägt: Entwickler*innen, Anbieter, Behördenleitung oder Sachbearbeiter*innen.
• Nicht zuletzt entstehen durch KI-Systeme neue IT-Sicherheitsrisiken, die Angriffsmöglichkeiten für Cyberkriminelle eröffnen – mit potenziell schwerwiegenden Folgen bei kritischer Infrastruktur oder sicherheitsrelevanten Behörden.

Um diesen vielschichtigen Herausforderungen gezielt zu begegnen, braucht es praxisnahe, skalierbare Bewertungsrahmen gemäß AI Act. Vor allem bei Hochrisiko-Systemen sind umfassende Schutzmaßnahmen erforderlich: Folgenabschätzungen vor der Implementierung, regelmäßige Audits, systematische Tests und kontinuierliche menschliche Aufsicht. Behörden müssen zudem die gesamte KI-Wertschöpfungskette transparent dokumentieren – von der Datenerhebung über das Modelltraining bis zur Entscheidungsfindung. Nur so lassen sich Compliance und Qualität nachhaltig sichern. Regelmäßige Überprüfungen und Neubewertungen der eingesetzten KI-Systeme helfen dabei, Risiken frühzeitig zu erkennen und notwendige Anpassungen rechtzeitig umzusetzen.

„Klare Zuständigkeiten, transparente Entscheidungswege und kontinuierliche Schulungen schaffen KI-Kompetenz und ein gemeinsames Verständnis für Chancen und Risiken. Denn nur wer KI versteht, kann sie sinnvoll einsetzen, Ergebnisse richtig bewerten und ethische Fragen angemessen berücksichtigen.“

Kerstin Harzendorf, Telekom MMS

So gelingt die Implementierung einer KI-Governance-Struktur

In der Praxis scheitern viele digitale Vorhaben nicht an der Technik, sondern an in Silos aufgeteilten Zuständigkeiten und unklaren Verantwortlichkeiten. Ein typisches Szenario: Die IT-Abteilung entwickelt eine KI-Lösung ohne ausreichende rechtliche Prüfung und frühzeitige Einbindung von Datenschutz und IT-Security. Oder notwendige technische Anpassungen verzögern die Implementierung ausgereifter Lösungen, weil zunächst noch aus diese aus fachlicher oder rechtlicher Sicht betrachtet werden müssen. Eine tragfähige Governance-Struktur bildet daher das Fundament für verantwortungsvollen KI-Einsatz in Behörden. Dabei müssen alle relevanten Bereiche von Anfang an zusammenarbeiten: IT, Rechtsabteilung, Datenschutz und die Fachabteilungen.

Klare Zuständigkeiten, transparente Entscheidungswege und kontinuierliche Schulungen schaffen KI-Kompetenz und ein gemeinsames Verständnis für Chancen und Risiken. Denn nur wer KI versteht, kann sie sinnvoll einsetzen, Ergebnisse richtig bewerten und ethische Fragen angemessen berücksichtigen. Gleichzeitig sollten Behörden typische Stolperfallen vermeiden. Projektverantwortliche in Verwaltungen unterschätzen häufig den erforderlichen Dokumentationsaufwand. Eine frühzeitige und systematische Dokumentation darüber, wie die KI welche Daten verarbeitet und zu welchen Ergebnissen sie kommt, hilft dabei, Schwachstellen früher zu erkennen und spart Zeit bei späteren Prüfungen oder Audits.

Um die Akzeptanz der Bürger in KI-Anwendungen zu gewinnen sind außerdem drei technische Prinzipien entscheidend. Erstens die Nachvollziehbarkeit („Explainable AI“): KI-Systeme müssen ihre Entscheidungen so darstellen, dass alle Nutzenden sie verstehen können. Verwaltungen sollten daher auf transparente Modelle setzen, die ihre Ergebnisse verständlich begründen. Zweitens der integrierte Datenschutz („Privacy by Design“): Dieser Ansatz stellt sicher, dass nur die wirklich notwendigen Daten erhoben, diese sicher verarbeitet und durch angemessene Zugriffskontrollen geschützt werden. Drittens die menschliche Kontrolle („Human-in-the-Loop“): Bei komplexen Entscheidungen dient die KI als Unterstützung, während Menschen die endgültige Entscheidung treffen und die Verantwortung tragen. Die Umsetzung dieser Prinzipien erfordert eine kontinuierliche Qualitätssicherung und Daten Governance. Dazu gehören regelmäßige Tests zur Überprüfung der Systemzuverlässigkeit sowie spezielle Kontrollen, die sicherstellen, dass die KI wie gewünscht objektiv arbeitet.

Beispiele aus der Praxis zeigen bereits heute die Umsetzungsmöglichkeiten: Der EU-Chatbot „Publio“ hilft Bürgern in mehreren Sprachen, Verwaltungsinformationen zu finden – und macht dabei transparent, wann sie mit einer KI kommunizieren. In anderen Ländern analysieren KI-Systeme Arbeitsmarktdaten und Stellenangebote. Dadurch unterstützen sie Arbeitssuchende gezielter oder helfen Behörden dabei, Bürgerfeedback mit KI-gestützter Textanalyse Bürgerfeedback effizienter auszuwerten.

Der Weg zur verantwortungsvollen KI-Nutzung

Vertrauenswürdige KI geht weit über Regelkonformität hinaus – sie ermöglicht nachhaltige Innovation und fördert Akzeptanz bei Bürgern und Mitarbeitenden. Behörden, die frühzeitig in klare Verantwortlichkeiten, offene Prozesse und technische Qualität investieren, schaffen die Grundlage für rechtlich abgesicherte und nutzerfreundliche digitale Angebote.

Selbstlernende KI-Systeme und digitale Entscheidungshilfen werden auch in der Verwaltung immer präsenter. Gleichzeitig steigen aber auch die Ansprüche an ethische Leitlinien, verständliche Prozesse und Bürgerbeteiligung. Verwaltungen sollten daher jetzt konkrete Mechanismen für Transparenz, Mitgestaltung und Feedbackmöglichkeiten entwickeln – so entsteht ein solides Fundament für den kontrollierten Einsatz von KI im öffentlichen Dienst.

Über die Autorin:
Kerstin Harzendorf ist seit 2017 bei Telekom MMS in Dresden tätig und verantwortet als Expertin für Consultant Privacy zentrale Themen wie die Durchführung von Datenschutz-Folgenabschätzungen, die Beratung zu Cloud Privacy und den Einsatz als die Beratung als externe Datenschutzbeauftragte für Unternehmen, auch außerhalb Deutschlands. Mit juristischem Hintergrund und umfassender Erfahrung im Datenschutz gestaltet sie maßgeblich die datenschutzkonforme Digitalisierung bei von Geschäftskunden mit. Der Fokus liegt auf praxisnaher Umsetzung regulatorischer Anforderungen und der entwicklungsbegleitenden und risikobasierten Beratung in komplexen IT-Projekten.

Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.