KI-Auswertung ohne Blackbox: So bleiben Beteiligungsergebnisse nachvollziehbar

Was ist eine nachvollziehbare KI-Auswertung?

Eine nachvollziehbare KI-Auswertung in der öffentlichen Verwaltung meint einen Auswertungsprozess, bei dem jeder fachlich relevante Schritt vom Originalbeitrag über Kernaussage und Clusterzuordnung bis zur formulierten Erkenntnis sichtbar, prüfbar und korrigierbar bleibt. Die KI erstellt Vorschläge, die fachliche Freigabe und Verantwortung liegen bei einer zuständigen Person.

Warum reicht eine fertige KI-Zusammenfassung für Verwaltungsentscheidungen nicht aus?

Eine KI kann mehrere hundert Freitextbeiträge in wenigen Sekunden zu Themenclustern und Kernaussagen verdichten. Das spart zunächst Arbeit, schafft aber ein neues Problem: Wird nur das fertige Ergebnis ausgegeben, fehlt der nachvollziehbare Weg vom einzelnen Beitrag bis zur zusammengefassten Erkenntnis. Dann lassen sich zentrale Fragen wie beispielsweise diese kaum mehr beantworten: Welche Originalbeiträge liegen einer Aussage zugrunde? Warum wurde ein Beitrag einem bestimmten Thema zugeordnet? Wurden unterschiedliche Positionen zu stark zusammengefasst? Sind einzelne Beiträge falsch eingeordnet worden? Und lassen sich auch abweichende oder seltene Perspektiven im Ergebnis wiederfinden?

Gerade diese Prüfbarkeit ist entscheidend, denn eine plausible Formulierung ist noch kein Beleg dafür, dass sie die zugrunde liegenden Beiträge korrekt wiedergibt. Deshalb sollte eine KI-Auswertung nicht bei fertigen Themenblöcken enden. Kernaussagen, Clusterzuordnungen und daraus abgeleitete Erkenntnisse müssen mit den jeweiligen Ausgangsbeiträgen verknüpft bleiben und einzeln überprüfbar sein.

Erst dadurch wird aus einer automatischen Zusammenfassung ein kontrollierbarer Auswertungsprozess. Fehlerhafte Zuordnungen können so korrigiert, zu breite Cluster aufgeteilt und Formulierungen angepasst oder verworfen werden.

Ab welchem Punkt muss eine KI-Auswertung aktiv kontrolliert werden?

Nach der ersten automatischen Zuordnung liegen vorläufige Themencluster vor. Ab hier übernimmt die Fachperson die Kontrolle über drei Schritte:

• Cluster verfeinern: Ein zunächst grobes Cluster, etwa zu allem, was mit "Fahrrad" zu tun hat, kann Forderungen nach neuen Radwegen und Anliegen zur Verkehrssicherheit gleichzeitig enthalten. Ein solches Cluster lässt sich aufteilen, sobald es inhaltlich zu breit gefasst ist.

• Erkenntnisse formulieren und prüfen: Für ein verfeinertes Cluster erstellt ein eigener Prompt einen Formulierungsvorschlag für eine Erkenntnis. Die Fachperson übernimmt diesen Vorschlag, ändert ihn oder verwirft ihn vollständig.

• Ergebnisse zusammenführen: Aus den geprüften und freigegebenen Erkenntnissen entsteht ein Gesamtergebnis, das als Grundlage für einen Bericht oder eine Beschlussvorlage dienen kann.

Jeder dieser drei Schritte muss einzeln nachvollziehbar bleiben. Nur dann lässt sich später erklären, warum ein bestimmtes Ergebnis in einem Bericht steht und ein anderes nicht.

Was bedeutet Human in the Loop in der Praxis?

Human heißt, dass kein Schritt der Auswertung ohne Prüfmöglichkeit an die KI delegiert wird. Damit diese Prüfung wirksam ist, braucht die zuständige Person vier Dinge: Zugriff auf den Originalbeitrag hinter jeder Kernaussage, ausreichend Zeit für die Prüfung, die Möglichkeit, eine Zuordnung oder Formulierung abzulehnen, und eine klare Zuständigkeit dafür, wer ein Ergebnis am Ende freigibt.

Fehlt einer dieser vier Punkte, bleibt Human in the Loop eine Behauptung im Produkttext. Mit allen vier Punkten wird daraus ein Prüfprozess, den eine Verwaltung im Gremium vertreten kann.

Warum ist Automation Bias das eigentliche Risiko?

Der Europäische Datenschutzbeauftragte hat 2025 eine Analyse zur menschlichen Aufsicht über automatisierte Systeme veröffentlicht. Ein zentraler Befund: Menschen verlassen sich auf maschinelle Ausgaben, selbst wenn sie formal weiterhin die Entscheidungshoheit haben, sobald diese Ausgaben plausibel und gut formuliert wirken. Dieses Muster wird als Automation Bias bezeichnet.

Für die Beteiligungsauswertung heißt das konkret: Ausschlaggebend für die Prüfung ist, ob eine formulierte Erkenntnis durch die zugrunde liegenden Beiträge inhaltlich gedeckt ist. Wie überzeugend sie klingt, ist dafür kein Kriterium. Auch seltene oder abweichende Positionen können fachlich entscheidend sein, unabhängig davon, wie häufig sie in den Daten vorkommen.

Was muss für Berichte dokumentiert werden?

Wenn Beteiligungsergebnisse in eine Sitzungsvorlage einfließen, muss die Verwaltung erklären können, wie sie entstanden sind. Eine belastbare Dokumentation enthält den ausgewerteten Zeitraum und die Datenbasis, die eingesetzten KI-Funktionen, welche Cluster manuell verändert wurden und welche Erkenntnisse verworfen wurden. Ohne diese Angaben lässt sich ein Ergebnis im Nachhinein nicht mehr erklären, selbst wenn der Auswertungsprozess selbst sauber gelaufen ist.

Für die rechtliche Einordnung von KI-Systemen in der Verwaltung, insbesondere zu DSGVO und zur Frage, wann die seit dem 2. August 2026 geltenden Transparenzpflichten nach Artikel 50 des EU AI Act greifen, liefert der Grundlagenartikel zu KI-Einsatzfeldern in der Bürgerbeteiligung den vollständigen Überblick.

Wie setzt CrowdInsights diesen Anspruch technisch um?

CrowdInsights ist ein Praxisbeispiel dafür, wie sich dieser Kontrollanspruch technisch umsetzen lässt. Im Admin-Bereich bleibt jeder Auswertungsschritt einzeln sichtbar: die extrahierte Kernaussage, die Clusterzuordnung und der Erkenntnisvorschlag. Manuelle Korrekturen sind auf jeder dieser Ebenen möglich, jede Kernaussage und jede Clusterzuordnung lässt sich einzeln prüfen.

Für den Betrieb setzt die Plattform überwiegend auf offene Sprachmodelle, proprietäre Modelle stehen optional zur Verfügung. Mit den Daten der Kommunen wird nicht trainiert, aktuell werden die KI-Funktionen ausschließlich für nicht personenbezogene Daten genutzt, und CrowdInsights hostet in Deutschland. Details dazu stehen auf der Seite Datenschutz und Sicherheit bei CrowdInsights.

Wer prüfen möchte, wie sich ein solcher Kontrollprozess für die eigene Kommune oder Organisation konkret umsetzen lässt, kann ein unverbindliches Gespräch vereinbaren.

FAQs

Was bedeutet eine nachvollziehbare KI-Auswertung?

Eine nachvollziehbare KI-Auswertung liegt vor, wenn sich jeder Schritt vom Originalbeitrag über die extrahierte Kernaussage und die Clusterzuordnung bis zur formulierten Erkenntnis einzeln einsehen und korrigieren lässt. Entscheidend ist nicht, ob das eingesetzte Sprachmodell seine technische Funktionsweise erklären kann, sondern ob der Auswertungsweg für die Verwaltung sichtbar bleibt. Wer Beiträge stattdessen in ein allgemeines Chatfenster lädt und nur eine Themenübersicht zurückbekommt, kann diesen Weg nicht mehr nachvollziehen.

Wie können Kommunen KI-Ergebnisse aus einer Beteiligungsauswertung prüfen?

Kommunen prüfen KI-Ergebnisse, indem sie jede extrahierte Kernaussage mit dem Originalbeitrag vergleichen und jede Clusterzuordnung fachlich bewerten. Wichtige Prüffragen sind, ob ähnliche, aber inhaltlich unterschiedliche Anliegen getrennt wurden und ob seltene Positionen im Cluster sichtbar geblieben sind. Erst nach dieser Prüfung sollte eine Erkenntnis in einen Bericht übernommen werden.

Was bedeutet Human in the Loop bei einer KI-gestützten Auswertung?

Human in the Loop bedeutet, dass kein Schritt der Auswertung ohne Prüfmöglichkeit an die KI delegiert wird. Die zuständige Person braucht dafür Zugriff auf die Originalbeiträge, ausreichend Zeit und die Möglichkeit, ein Ergebnis abzulehnen statt es nur zu bestätigen. Ohne diese Voraussetzungen bleibt der Begriff eine Ankündigung ohne praktische Wirkung.

Was ist Automation Bias und warum ist das bei KI-Auswertungen wichtig?

Automation Bias beschreibt die Tendenz, Ausgaben eines Systems eher zu übernehmen, wenn sie plausibel und gut formuliert wirken, selbst wenn die prüfende Person formal weiterhin entscheidet. Bei Beteiligungsauswertungen besteht dadurch das Risiko, eine sprachlich überzeugende Erkenntnis ungeprüft zu übernehmen. Die tatsächliche Prüfung muss sich daher an den zugrunde liegenden Beiträgen orientieren, nicht an der Formulierung der KI-Ausgabe.