Agentische KI für eine demokratisch rechtsstaatliche Verwaltung.

  1      Gestaltungsprinzipien

Damit agentische KI dieses Potenzial entfalten kann, muss ihr Einsatz an sechs Gestaltungsprinzipien ausgerichtet werden:

1. 1. Verhältnismäßigkeit: Agentische KI muss das richtige Mittel sein, um das angestrebte Verwaltungsziel zu erreichen. Die Eingriffstiefe des Agenten muss im Verhältnis zum Nutzen stehen. Wo regelbasierte Lösungen ausreichen, etwa bei der Berechnung von Leistungsansprüchen ohne Ermessensspielräume, sollte man diese bevorzugen.
2. 2. Verantwortung: Die rechtliche Verantwortung für Verwaltungsakte und verfahrensrelevante Handlungen muss bei einer identifizierbaren Stelle der Behörde liegen. Diese muss die entscheidungserheblichen Informationen, die der Agent bereitstellt, nachvollziehen und eigenständig bewerten können. Wenn ein Agent über mehrere Behörden oder Verfahren hinweg wirkt, muss die Verantwortung für jede Teilhandlung identifizierbar bleiben.
3. 3. Verbindlichkeit: Für Adressaten muss erkennbar sein, welchen rechtlichen Status eine Agentenhandlung hat: Ist es eine unverbindliche Auskunft oder eine verbindliche Entscheidung? Agentische Erläuterungen, Auskünfte und Vorschläge müssen mit den maßgeblichen behördlichen Dokumenten, Verfahrensständen und Rechtsgrundlagen übereinstimmen (siehe auch 4. Nachvollziehbarkeit).
4. 4. Nachvollziehbarkeit: Jede agentische Handlung, die in ein Verfahren einfließt, muss sich in einer für Sachbearbeitung und Betroffene verständlichen Form begründen lassen. Zwischenschritte, ausgelöste Aktionen und die Quellen, auf denen ein Ergebnis beruht, müssen dokumentiert werden. Im Streitfall muss rekonstruiert werden können, was zum konkreten Zeitpunkt passiert ist.
5. 5. Datenhoheit: Es muss klar sein, wer die Kontrolle über die Daten ausübt, die der Agent verarbeitet. Der Agent darf nur jene Daten verarbeiten, die für die konkrete Aufgabe und Verfahrensphase erforderlich sind.
6. 6. Reformvorrang: Um strukturelle organisatorische oder rechtliche Mängel zu beheben, braucht es organisatorische und rechtliche Veränderungen. Keinesfalls sollte agentische KI hier zur Symptombekämpfung eingesetzt werden.

2      Empfehlungen

2.1         Für Behördenleitungen, die den Einsatz agentischer KI planen

1. 1. Agentische KI als Organisations- statt Technikprojekt begreifen: Die Einführung agentischer KI sollte stets Teil eines organisatorischen Reformvorhabens sein. Agentische KI sollte weder zur Symptombekämpfung struktureller organisatorischer noch für rechtliche Defizite eingesetzt werden. Schlechte Verfahren oder praxisuntaugliche Regelungen verbessert KI nicht.
2. 2. Demokratisch-rechtsstaatliches Verwaltungshandeln fokussieren: Der Einstieg in agentische KI sollte dort erfolgen, wo Verbesserungen für Zugänglichkeit, Transparenz und Gleichbehandlung erzielt werden können: Bei der Orientierung in komplexen Leistungssystemen, der Unterstützung bei der Antragstellung, der Verfahrensbegleitung, der Erläuterung von Bescheiden und Verwaltungsentscheidungen und der Koordination behördenübergreifender Verfahren.
3. 3. Vor Einsatz Notwendigkeit prüfen: Vor der Einführung eines agentischen Systems sollte geprüft werden, ob die angestrebten Ziele durch organisatorische Veränderungen, einfachere Verfahren oder konventionelle digitale Lösungen erreicht werden können. Wo agentische KI eingesetzt wird, müssen Autonomie, Berechtigungen und Eingriffstiefe des agentischen Systems an der konkreten Aufgabe ausgerichtet werden.
4. 4. In Fachverfahren und Verwaltungsprozesse integrieren: Agentische KI sollte in bestehende Fachverfahren und digitale Verwaltungsprozesse eingebettet werden statt als isoliertes Zusatzwerkzeug eingeführt zu werden. So entfaltet sie größeren Nutzen und lässt sich besser steuern und kontrollieren.
5. 5. Agentische KI für eine lernende Verwaltung nutzen: Behörden sollten agentische KI auch nutzen, um wiederkehrende Verfahrensengpässe, Ungleichbehandlungen oder unnötige Komplexität zu identifizieren und so die Grundlage für eine kontinuierliche Verbesserung der Verfahren zu schaffen.

2.2       Für politische Entscheidungsträger

1. 1. Demokratisches Verwaltungshandeln als strategisches Wirkungsziel etablieren: In Förderprogrammen und Digitalstrategien sollten Verbesserungen bei Zugänglichkeit, Transparenz und Nachvollziehbarkeit, sowie Gleichbehandlung und Nichtdiskriminierung als Wirkungsziele für agentische KI in der Verwaltung verankert werden.
2. 2. Verantwortungsarchitekturen verankern: Agentische Systeme werden künftig zunehmend Behörden, Verfahren und Leistungssysteme miteinander verbinden. Für diese behördenübergreifenden Handlungskonstellationen müssen ebenso übergreifende Regelungen für revisionssichere Protokollierung und Haftung geschaffen werden, die sicherstellen, dass die durchgeführten Aktivitäten im gesamten Prozess nachvollziehbar und die Verantwortlichkeiten zurechenbar sind.
3. 3. Verbindlichkeitsklarheit gesetzlich sicherstellen: Agentische Systeme werden zunehmend Bescheide erläutern, Verfahrensstände mitteilen oder Rückfragen beantworten. Solche kommunikativen Handlungen entfalten häufig erhebliche Steuerungswirkung, auch wenn sie rechtlich nicht verbindlich sind. Für Bürger:innen muss zum einen jederzeit erkennbar sein, ob es sich bei der Information des agentischen Systems um eine unverbindliche Erläuterung, eine Verfahrensinformation oder einen rechtlich verbindlichen Bescheid handelt. Zum anderen müssen sie darauf vertrauen können, dass diese Informationen korrekt sind. Dafür muss der rechtliche Status jeder durch agentische KI generierten Kommunikation im Verwaltungskontext verbindlich eindeutig kenntlich gemacht werden und Qualitätsanforderungen für diese Kommunikation (wie etwa verpflichtende Offenlegung der Quellen) festgelegt werden.
4. 4. Mehrschichtig regulieren: Nicht jede regulatorische Antwort muss gesetzgeberisch erfolgen. Die Wahl des regulativen Instruments sollte von der Struktur des jeweiligen Problems abhängen: Wo es um technische Beherrschbarkeit und organisatorische Einbettung geht, können untergesetzliche und operative Vorgaben ausreichen; wo es um Zuständigkeit, Datennutzung, Verbindlichkeit oder Grundrechtseingriffe geht, bleibt der Gesetzgeber gefordert.
5. 5. Wirkungsorientiert statt technikbezogen regulieren: Agentische KI entwickelt sich dynamisch. Technikbezogene Regulierung droht deshalb schnell zu veralten. Der Gesetzgeber sollte regulatorische Anforderungen deshalb an den Wirkungen eines Systems ausrichten und nicht an seiner technischen Ausgestaltung. Maßgeblich sollte sein, wie stark ein System in Verwaltungsverfahren eingreift, welche Grundrechte berührt werden, welche Daten verarbeitet werden und welche Folgen Fehlfunktionen für Bürger:innen entfalten können.

3      Fazit

Richtig gestaltet kann agentische KI demokratisch-rechtsstaatliches Verwaltungshandeln stärken: indem sie Bürger:innen bei der Inanspruchnahme ihrer Rechte unterstützt, Verfahren transparenter macht, den Zugang zu Verwaltungsleistungen erleichtert und behördenübergreifende Prozesse besser koordinierbar macht. Ob dieses Potenzial realisiert wird, ist vor allem eine politische und organisatorische Gestaltungsfrage und keine primär technische.

Fußnotenverzeichnis