KI-Auswertung ohne Blackbox: So bleiben Beteiligungsergebnisse nachvollziehbar

Was ist eine nachvollziehbare KI-Auswertung?

Eine nachvollziehbare KI-Auswertung in der öffentlichen Verwaltung ist ein Auswertungsprozess, bei dem jeder fachlich relevante Schritt vom Originalbeitrag über Kernaussage und Clusterzuordnung bis zur formulierten Erkenntnis sichtbar, prüfbar und korrigierbar bleibt. Die KI erstellt Vorschläge, die fachliche Freigabe und Verantwortung liegen bei einer zuständigen Person.

Warum reicht eine fertige KI-Zusammenfassung für Verwaltungsentscheidungen nicht aus?

Wer mehrere hundert Freitextbeiträge in ein allgemeines KI-Chatfenster lädt und eine Zusammenfassung in wenigen Themenblöcken zurückbekommt, sieht nur das Endergebnis. Zwischenschritte und Begründungen bleiben unsichtbar. Für eine Verwaltung, die ein Ergebnis vertreten muss, ist das ein Problem: Sie kann weder erklären, wie eine Aussage entstanden ist, noch prüfen, ob ein einzelner Beitrag richtig zugeordnet wurde.

Lukas Wolf, der bei CrowdInsights die KI-Funktionen verantwortet, beschreibt den Unterschied so: Wer mehrere hundert Beiträge in ein Chatfenster einspielt und sich acht Themencluster mit Beschreibung ausgeben lässt, kann das Ergebnis danach nicht mehr nachvollziehen. Bei einem Auswertungsprozess mit einzeln geprüften Zwischenschritten lässt sich dagegen für jede Kernaussage und jede Clusterzuordnung einzeln beurteilen, ob sie richtig ist.

Wie KI bei der Freitextauswertung grundsätzlich vorgeht, also welche Schritte von der Kernaussage über das Embedding bis zum ersten Clustervorschlag nötig sind, ist an anderer Stelle im Detail erklärt: KI in der Bürgerbeteiligung: Einsatzfelder, Chancen, Grenzen. Dieser Beitrag setzt an dem Punkt an, an dem aus einem ersten automatischen Clustervorschlag ein geprüftes, dokumentiertes Ergebnis werden muss.

Ab welchem Punkt muss eine KI-Auswertung aktiv kontrolliert werden?

Nach der ersten automatischen Zuordnung liegen vorläufige Themencluster vor. Ab hier übernimmt die Fachperson die Kontrolle über drei Schritte:

• Cluster verfeinern: Ein zunächst grobes Cluster, etwa zu allem, was mit Fahrrad zu tun hat, kann Forderungen nach neuen Radwegen und Anliegen zur Verkehrssicherheit gleichzeitig enthalten. Ein solches Cluster lässt sich aufteilen, sobald es inhaltlich zu breit gefasst ist.

• Erkenntnisse formulieren und prüfen: Für ein verfeinertes Cluster erstellt ein eigener Prompt einen Formulierungsvorschlag für eine Erkenntnis. Die Fachperson übernimmt diesen Vorschlag, ändert ihn oder verwirft ihn vollständig.

• Ergebnisse zusammenführen: Aus den geprüften und freigegebenen Erkenntnissen entsteht ein Gesamtergebnis, das als Grundlage für einen Bericht oder eine Beschlussvorlage dienen kann.

Jeder dieser drei Schritte muss einzeln nachvollziehbar bleiben. Nur dann lässt sich später erklären, warum ein bestimmtes Ergebnis in einem Bericht steht und ein anderes nicht.

Was bedeutet Human in the Loop in der Praxis?

Human in the Loop wird in Produkttexten häufig erwähnt, aber selten konkret gefasst. Gemeint ist, dass kein Schritt der Auswertung ohne Prüfmöglichkeit an die KI delegiert wird. Damit diese Prüfung wirksam ist, braucht die zuständige Person vier Dinge: Zugriff auf den Originalbeitrag hinter jeder Kernaussage, ausreichend Zeit für die Prüfung, die Möglichkeit, eine Zuordnung oder Formulierung abzulehnen, und eine klare Zuständigkeit dafür, wer ein Ergebnis am Ende freigibt.

Fehlt einer dieser vier Punkte, bleibt Human in the Loop eine Behauptung im Produkttext. Mit allen vier Punkten wird daraus ein Prüfprozess, den eine Verwaltung im Gremium vertreten kann.

Warum ist Automation Bias das eigentliche Risiko?

Der Europäische Datenschutzbeauftragte hat 2025 eine Analyse zur menschlichen Aufsicht über automatisierte Systeme veröffentlicht. Ein zentraler Befund: Menschen verlassen sich auf maschinelle Ausgaben, selbst wenn sie formal weiterhin die Entscheidungshoheit haben, sobald diese Ausgaben plausibel und gut formuliert wirken. Dieses Muster wird als Automation Bias bezeichnet.

Für die Beteiligungsauswertung heißt das konkret: Ausschlaggebend für die Prüfung ist, ob eine formulierte Erkenntnis durch die zugrunde liegenden Beiträge inhaltlich gedeckt ist. Wie überzeugend sie klingt, ist dafür kein Kriterium. Auch seltene oder abweichende Positionen können fachlich entscheidend sein, unabhängig davon, wie häufig sie in den Daten vorkommen.

Was muss für Gremien und Berichte dokumentiert werden?

Wenn Beteiligungsergebnisse in eine Sitzungsvorlage einfließen, muss die Verwaltung erklären können, wie sie entstanden sind. Eine belastbare Dokumentation enthält den ausgewerteten Zeitraum und die Datenbasis, die eingesetzten KI-Funktionen, welche Cluster manuell verändert wurden und welche Erkenntnisse verworfen wurden. Ohne diese Angaben lässt sich ein Ergebnis im Nachhinein nicht mehr erklären, selbst wenn der Auswertungsprozess selbst sauber gelaufen ist.

Für die rechtliche Einordnung von KI-Systemen in der Verwaltung, insbesondere zu DSGVO und den seit dem 2. August 2026 geltenden Transparenzpflichten nach Artikel 50 des EU AI Act, liefert der Grundlagenartikel zu KI-Einsatzfeldern in der Bürgerbeteiligung den vollständigen Überblick.

Wie setzt CrowdInsights diesen Anspruch technisch um?

CrowdInsights ist ein Praxisbeispiel dafür, wie sich dieser Kontrollanspruch technisch umsetzen lässt. Im Admin-Bereich bleibt jeder Auswertungsschritt einzeln sichtbar: die extrahierte Kernaussage, die Clusterzuordnung und der Erkenntnisvorschlag. Manuelle Korrekturen sind auf jeder dieser Ebenen möglich. Wie Lukas Wolf es zusammenfasst: Es gibt keine Box. Jede Kernaussage und jede Clusterzuordnung lässt sich einzeln prüfen.

Die Plattform setzt inzwischen überwiegend auf offene Sprachmodelle. Proprietäre Modelle stehen optional zur Verfügung, sind aber nicht mehr die technische Grundlage. Mit den Daten der Kommunen wird nicht trainiert, und aktuell werden die KI-Funktionen ausschließlich für nicht personenbezogene Daten genutzt. CrowdInsights hostet in Deutschland. Mehr dazu auf der Seite Datenschutz und Sicherheit bei CrowdInsights.

Wer prüfen möchte, wie sich ein solcher Kontrollprozess für die eigene Kommune oder Organisation konkret umsetzen lässt, kann ein unverbindliches Gespräch mit CrowdInsights vereinbaren.

FAQs

Was bedeutet eine nachvollziehbare KI-Auswertung?

Eine nachvollziehbare KI-Auswertung liegt vor, wenn sich jeder Schritt vom Originalbeitrag über die extrahierte Kernaussage und die Clusterzuordnung bis zur formulierten Erkenntnis einzeln einsehen und korrigieren lässt. Entscheidend ist nicht, ob das eingesetzte Sprachmodell seine technische Funktionsweise erklären kann, sondern ob der Auswertungsweg für die Verwaltung sichtbar bleibt. Wer Beiträge stattdessen in ein allgemeines Chatfenster lädt und nur eine Themenübersicht zurückbekommt, kann diesen Weg nicht mehr nachvollziehen.

Wie können Kommunen KI-Ergebnisse aus einer Beteiligungsauswertung prüfen?

Kommunen prüfen KI-Ergebnisse, indem sie jede extrahierte Kernaussage mit dem Originalbeitrag vergleichen und jede Clusterzuordnung fachlich bewerten. Wichtige Prüffragen sind, ob ähnliche, aber inhaltlich unterschiedliche Anliegen getrennt wurden und ob seltene Positionen im Cluster sichtbar geblieben sind. Erst nach dieser Prüfung sollte eine Erkenntnis in einen Bericht übernommen werden.

Was bedeutet Human in the Loop bei einer KI-gestützten Auswertung?

Human in the Loop bedeutet, dass kein Schritt der Auswertung ohne Prüfmöglichkeit an die KI delegiert wird. Die zuständige Person braucht dafür Zugriff auf die Originalbeiträge, ausreichend Zeit und die Möglichkeit, ein Ergebnis abzulehnen statt es nur zu bestätigen. Ohne diese Voraussetzungen bleibt der Begriff eine Ankündigung ohne praktische Wirkung.

Was ist Automation Bias und warum ist das bei KI-Auswertungen wichtig?

Automation Bias beschreibt die Tendenz, Ausgaben eines Systems eher zu übernehmen, wenn sie plausibel und gut formuliert wirken, selbst wenn die prüfende Person formal weiterhin entscheidet. Bei Beteiligungsauswertungen besteht dadurch das Risiko, eine sprachlich überzeugende Erkenntnis ungeprüft zu übernehmen. Die tatsächliche Prüfung muss sich daher an den zugrunde liegenden Beiträgen orientieren, nicht an der Formulierung der KI-Ausgabe.