Eine KI-Antwort prüfen, bevor man sie übernimmt

Eine Antwort kann geordnet aussehen, Fachbegriffe richtig verwenden und trotzdem eine falsche Zahl nennen. Der sichere Tonfall ist kein Beleg. Auch eine Quellenliste hilft erst, wenn die genannten Dokumente existieren und die Aussage tatsächlich stützen. Wer eine Passage übernehmen will, braucht eine begrenzte Routine für die wenigen Sätze, auf die es ankommt.

Der bei heise veröffentlichte Beitrag Warum es bisher keine gute Methode gegen KI-Halluzinationen gibt erläutert Schwierigkeiten beim Erkennen und Vermeiden solcher Fehler. Er ist am 21. Februar 2024 erschienen und bleibt Hintergrund für das Problem, kein Testurteil über alle heute verfügbaren Modelle. Der Beitrag beschreibt unter anderem, dass ein Abgleich mit externen Quellen nur so tragfähig ist wie die verglichenen Dokumente und dass die Prüfung innerhalb solcher Systeme über formale Ähnlichkeit läuft, nicht über ein Verständnis des Sinns. Für die eigene Arbeit bleibt entscheidend, ob eine konkrete Behauptung nachvollziehbar ist.

Wie oft Sprachmodelle danebenliegen, lässt sich nicht in einer Zahl für alle Fälle ausdrücken. Der AI Index Report 2026 der Stanford University nennt für 26 geprüfte Modelle Halluzinationsraten zwischen 22 und 94 Prozent (Kapitel „Responsible AI“, Abbildung 3.2.6). Die Kennzahl stammt aus dem Benchmark AA-Omniscience, der 6.000 Fragen aus sechs Bereichen auswertet. Sie bezeichnet den Anteil falscher Antworten unter den Fragen, die ein Modell überhaupt zu beantworten versucht hat. Ein solcher Wert ordnet Modelle in einer bestimmten Prüfung ein. Er sagt nicht, wie wahrscheinlich eine einzelne Antwort im Alltag falsch ist.

Zuerst die Behauptung verkleinern

„Diese Regel gilt seit März“ enthält mindestens zwei prüfbare Angaben: Welche Regel ist gemeint, und seit wann gilt sie? Solche Angaben lassen sich getrennt untersuchen. Hilfreich ist, die Aussage in einem eigenen Satz aufzuschreiben, mit Gegenstand, Zeitraum und, falls vorhanden, Zahl und Einheit. Dann lässt sich gezielt nach einer Fundstelle suchen, statt den ganzen Absatz nachzulesen.

Im nächsten Schritt führt der Weg zur Originalaussage. Eine erneute Nachfrage beim selben Modell kann einen Hinweis liefern. Sie ersetzt diese Prüfung nicht. Die Formulierung „Bist du sicher?“ schafft keinen unabhängigen Beleg. Eine Übersichtsarbeit in den Transactions of the Association for Computational Linguistics hat 2024 die Forschung zur Selbstkorrektur gesichtet und keinen belastbaren Nachweis gefunden, dass ein Modell seine Fehler allein durch erneutes Befragen zuverlässig korrigiert; Ausnahmen betrafen Aufgaben, die dafür besonders geeignet sind. Verlässlich wirkte Rückmeldung von außen.

Ein gefundener Link ist noch kein Treffer

Öffnet sich die Quelle? Steht die relevante Aussage dort? Beschreibt sie denselben Zeitraum und dieselbe Situation? Diese drei Fragen lassen sich an jedem Beleg einzeln beantworten.

Ein Treffer ist zunächst nur ein Ausschnitt aus dem, was eine Suchmaschine überhaupt erfassen konnte. Wer eine Zusammenfassung findet, hat deshalb noch nicht das ursprüngliche Dokument. Oft nennt sie eine weitere Fundstelle, die selbst geprüft werden muss.

Bei Zahlen lohnt sich ein zusätzlicher Blick auf die Bezugsgruppe. Ein Durchschnitt kann für den Einzelfall wenig sagen, obwohl er richtig wiedergegeben wurde. Wurden Personen, Vorgänge oder Haushalte gezählt? Gilt der Wert für ein Kalenderjahr, einen Monat oder einen Stichtag? Und eine Empfehlung ist etwas anderes als eine belastbare Bewertung. Bei der Frage, was eine Empfehlung über Qualität aussagt, bleibt die Unterscheidung dieselbe.

Ein Kennzeichen ordnet die Herkunft, nicht den Wahrheitsgehalt. Artikel 50 der KI-Verordnung der Europäischen Union verlangt seit dem 2. August 2026 unter anderem maschinenlesbare Markierungen für KI-erzeugte Inhalte. Für Texte zu Themen von öffentlichem Interesse greift die Hinweispflicht nur, wenn keine menschliche Prüfung und keine redaktionelle Kontrolle stattgefunden hat. Wer eine Kennzeichnung sieht, weiß damit, woher der Text kommt. Ob die genannte Frist stimmt, steht weiterhin offen.

Unsicherheit stehen lassen

Fehlt ein belastbarer Nachweis, sollte die Aussage nicht als gesicherte Information übernommen werden. Man kann sie streichen, als offene Frage behandeln oder bei einer zuständigen Stelle nachfragen. Bei medizinischen, rechtlichen oder finanziell folgenreichen Entscheidungen reicht eine generierte Zusammenfassung als Grundlage nicht aus. Dort gehört die Frage an eine Person oder Einrichtung, die für die Auskunft einsteht.

Ein Widerspruch ist ein brauchbares Ergebnis. Wenn zwei Quellen dieselbe Frage unterschiedlich beantworten oder eine Antwort frühere Angaben desselben Textes aufhebt, gehört diese Beobachtung in die eigene Notiz. Sie ist oft nützlicher als eine schnelle Entscheidung.

Ein dokumentierter Fall zeigt, wie weit die Folgen reichen können. Am 22. Juni 2023 verhängte der United States District Court for the Southern District of New York eine Geldstrafe von 5.000 US-Dollar gegen zwei Anwälte und ihre Kanzlei, weil sie in einem Schriftsatz sechs nicht existierende Entscheidungen zitiert hatten, die ein Chatbot erzeugt hatte. Die Gegenseite hatte vorgetragen, die auffindbaren Urteile stützten die zitierten Sätze nicht. Die Entscheidung betrifft einen einzelnen Fall in einem anderen Rechtssystem. Sie zeigt dennoch, was geschieht, wenn eine überzeugende Formulierung die Prüfung ersetzt.

Die Routine muss nicht jede Zeile gleich intensiv prüfen. Entscheidend sind Aussagen, auf denen eine Entscheidung oder ein Urteil beruht. Wer den Stand festhalten will, notiert die Aussage, die Fundstelle, das Prüfdatum und die offene Einschränkung. Vier Zustände genügen: Quelle gefunden, Aussage belegt, Geltungsbereich passend oder offen. Ein Verfahren, das Halluzinationen sicher erkennt, gibt es nicht. Die Prüfung senkt das Risiko, sie beseitigt es nicht.