Was diese Woche bekannt wurde
Forscher der Peking University haben in einer aktuellen Arbeit ein Phänomen systematisch untersucht, das in der Praxis schon länger auffällt: Große Sprachmodelle wie GPT und Gemini liefern bei Dokumentenanalysen oft die richtige Antwort, zitieren dabei aber Textstellen, die diese Antwort gar nicht stützen. Die Autoren nennen das „attribution hallucination”, also Attributions-Halluzination. Sie haben dafür einen eigenen Benchmark namens CiteVQA gebaut, der diesen Fehlertyp erstmals strukturiert misst.
Der Punkt ist subtil, aber wichtig. Es geht nicht darum, dass die KI Fakten erfindet. Es geht darum, dass die Quellenangabe nicht hält, was sie verspricht. Das Modell sagt: „Laut Abschnitt 4.2 beträgt die Eigenkapitalquote 12,3 Prozent.” Die Zahl stimmt. Abschnitt 4.2 sagt aber nichts dazu. Die korrekte Information stand auf Seite 47 in einer Fußnote.
Für normale Anwendungsfälle ist das ärgerlich. Für regulierte Bereiche ist es ein echtes Problem.
Warum das für Banken und Asset-Manager jetzt zählt
In der Finanzwelt ist die Quelle oft wichtiger als die Aussage selbst. Ein paar typische Beispiele aus dem Alltag:
Prospektanalyse im Asset-Management. Ein Analyst lässt ein 300-Seiten-PDF eines Emittenten durchsuchen. Frage: „Welche Covenants greifen bei einem Rating-Downgrade?” Die KI antwortet korrekt und verweist auf Seite 142. Auf Seite 142 steht aber etwas anderes. Die richtige Stelle war Seite 178. Wenn der Analyst die Quelle nicht prüft, übernimmt er eine Aussage ohne belegbare Fundstelle in seine Investment-Notiz. Bei einer späteren BaFin-Prüfung oder einem internen Audit ist das ein Befund.
KYC und Sanktions-Screening. Ein Compliance-Officer lässt eine KI ein 80-seitiges UBO-Dokument analysieren. Die Antwort „kein Bezug zu sanktionierten Personen” mag stimmen. Wenn die zitierten Belegstellen aber unsauber sind, ist die gesamte Prüfungsdokumentation angreifbar.
Regulatorisches Reporting. DORA, MiCA, der EU-AI-Act selbst: Alle diese Regelwerke verlangen Nachvollziehbarkeit. Ein KI-Output ohne saubere Quellenkette ist im Audit nichts wert. Schlimmer noch: Eine falsche Quellenkette suggeriert Sorgfalt, die nicht stattgefunden hat.
Loan-Underwriting im Mittelstand. Wer Kreditakten mit LLM-Unterstützung analysiert, baut implizit darauf, dass Zitate korrekt verankert sind. Wenn das Modell sich Quellen frei zusammenbaut, hängt die Underwriting-Entscheidung an einer Brücke aus Annahmen.
Aus meiner Sicht ist das der eigentliche Knackpunkt der Studie: Die Antwort-Qualität alleine zu messen reicht nicht mehr. Wer KI in regulierten Finanzprozessen einsetzt, muss Attribution separat prüfen. Bisher haben die meisten internen Evaluierungen nur gefragt: „Stimmt die Antwort?” Die richtige Frage lautet: „Stimmt die Antwort, und stimmt die Quelle dazu?”
Was Sie konkret tun sollten
Wenn Sie in einem Bereich arbeiten, in dem Quellenangaben Teil des Outputs sind, würde ich drei Dinge anpassen.
1. Attribution explizit testen, nicht nur die Antwort. Bauen Sie für Ihre RAG-Pipeline oder Ihren Dokumenten-Assistenten einen kleinen internen Test-Set von 30 bis 50 Fragen, bei denen Sie die korrekte Belegstelle vorher kennen. Lassen Sie die KI antworten und prüfen Sie zwei Werte getrennt: Antwort korrekt ja/nein, Zitat korrekt ja/nein. Sie werden überrascht sein, wie stark die zweite Quote unter der ersten liegt. Ein häufiges Muster in der Praxis: 85 Prozent richtige Antworten, aber nur 60 Prozent korrekt verankerte Zitate.
2. Hard-Constraint auf Quellen-Verifikation. Wenn Sie ein RAG-System betreiben, lassen Sie nach der Generierung einen zweiten Schritt laufen, der prüft, ob die zitierte Passage die Antwort tatsächlich enthält. Das kann ein deterministischer String-Match auf einen Substring der Antwort sein, im einfachsten Fall. Oder ein kleines Verifikations-LLM, das nur die Frage beantwortet: „Stützt diese Passage diese Aussage, ja oder nein?” Wenn nein, Antwort verwerfen oder als ungesichert markieren. Das kostet Latenz, aber es ist der einzige Weg, Attribution-Hallucination im Produktivbetrieb zu kontrollieren.
3. Im Audit-Trail Quelle und Antwort trennen. Viele Compliance-Tools speichern den KI-Output als eine Einheit. Trennen Sie das. Loggen Sie: Frage, Antwort, zitierte Belegstelle, automatischer Verifikations-Score. Wenn später jemand fragt „wie kam diese Aussage zustande”, können Sie zeigen, dass Sie die Quelle nicht blind übernommen, sondern gegen das Originaldokument geprüft haben. Das ist genau die Art von Sorgfaltsdokumentation, die DORA und der AI-Act verlangen.
Was Sie nicht tun sollten
Nicht in Panik verfallen und KI aus Dokumenten-Workflows verbannen. Die Modelle sind nützlich, die Produktivitätsgewinne sind real. Aber sie sind kein Ersatz für die Quellenprüfung, sondern ein Werkzeug, das sie schneller macht, wenn man die Schwächen kennt.
Und nicht annehmen, dass das nächste Modell-Release das Problem löst. Die Studie zeigt, dass auch die aktuellen Spitzenmodelle betroffen sind. Das ist kein Bug einer bestimmten Version, sondern eine strukturelle Eigenschaft, wie LLMs Antworten und Zitate zusammenbauen.
Mein Rat an Finanzhäuser, die gerade KI-Piloten in Compliance, Wealth-Reporting oder Underwriting laufen haben: Ergänzen Sie Ihre Evaluierungs-Kriterien diese Woche um Attribution-Accuracy. Die Kennzahl gehört auf das gleiche Dashboard wie Antwort-Qualität und Latenz. Wer sie nicht misst, fliegt blind durch ein Risiko, das im Prüfungsfall teuer wird.