Was diese Woche passiert ist
KPMG hat einen viel beachteten Beratungsreport zur KI-Adoption in Unternehmen zurückgezogen. Der Grund: mehrere Fallstudien waren schlicht erfunden. Genannt wurden unter anderem UBS und der britische NHS als angebliche Referenzen für KI-Erfolgsprojekte. Beide Organisationen hatten die beschriebenen Projekte so nie umgesetzt.
Aufgedeckt hat die Sache GPTZero-CEO Edward Tian. Er prägt dafür einen Begriff, den sich Finanzentscheider merken sollten: „sekundäre Halluzinationen”. Gemeint sind erfundene Fakten, die nicht direkt aus einem Chatbot kommen, sondern den Umweg über einen vermeintlich seriösen Kanal nehmen. Eine Beratungsfirma, eine Branchenstudie, ein White Paper. Erst dort werden sie zitierfähig. Und genau dort sind sie am gefährlichsten.
KPMG hat den Report zurückgezogen. Der Schaden ist trotzdem da. Wer den Report in den ersten Tagen gelesen, in eigene Präsentationen übernommen oder Vorstandsentscheidungen darauf gestützt hat, arbeitet jetzt mit kontaminierten Quellen.
Warum das gerade für die Finanzbranche zählt
Die Finanzbranche ist beratungsintensiv. Banken, Vermögensverwalter, Versicherer, Asset-Manager, Pensionskassen. Sie alle kaufen regelmäßig Studien, Marktreports und Strategie-Empfehlungen bei den Big Four und bei spezialisierten Häusern. KI-Adoption ist gerade das heißeste Beratungsthema überhaupt.
Das Problem dabei: Die Beratungshäuser nutzen selbst massiv LLMs für Recherche, Synthese und Textproduktion. Das ist nicht per se schlecht. Aber wenn ein Junior-Berater eine Fallstudie braucht und der Chatbot ihm eine plausibel klingende UBS-Geschichte serviert, dann ist die Versuchung groß. Vier Reviews später steht das Ganze im Final Draft. Niemand hat bei UBS angerufen.
Für Finanzentscheider ist das aus drei Gründen besonders heikel:
Erstens: Regulatorische Folgewirkung. Wer einen KI-Business-Case mit erfundenen Peer-Referenzen begründet und damit Investitionsfreigaben einholt, riskiert bei späterer Aufdeckung Probleme mit der internen Revision und im schlimmsten Fall mit BaFin, FMA oder FINMA. Der EU-AI-Act und DORA verlangen nachvollziehbare Entscheidungsgrundlagen für risikorelevante Systeme.
Zweitens: Strategischer Schaden. Wer auf Basis falscher Benchmarks priorisiert, kauft die falsche Plattform, schult die falschen Leute, automatisiert den falschen Prozess. In einer Branche mit dünnen Margen ist das teuer.
Drittens: Vertrauensschaden nach innen. Sobald sich im Vorstand herumspricht, dass die teure Strategiestudie halluziniert war, sinkt die Bereitschaft, in echte KI-Projekte zu investieren. Das ist die eigentliche Tragik. Die Schaumschläger bremsen die seriösen Anwendungen aus.
Aus meiner Sicht ist der KPMG-Vorfall kein Einzelfall, sondern der erste prominente Fall einer Welle. Ich sehe in Beratungsoutputs für Finanzkunden regelmäßig Zahlen, die sich bei Nachprüfung nicht halten lassen. Marktgrößen, ROI-Angaben, angebliche Pilotprojekte. Vieles davon ist nicht böswillig, sondern bequem.
Konkrete Handlungsempfehlung
Drei Schritte, die jede Finanzorganisation diese Woche umsetzen kann.
Schritt 1: Quellenpflicht für jeden externen KI-Report.
Führen Sie eine simple Regel ein. Jeder Beratungsreport, der intern als Entscheidungsgrundlage zirkuliert, muss eine prüfbare Quellenangabe pro Fallstudie haben. Pressemitteilung, Geschäftsbericht, namentlich genannter Ansprechpartner. Keine Quelle, keine Verwendung. Das ist kein Misstrauensvotum gegen die Berater, sondern Standard für jede andere Risikoentscheidung in der Bank. Niemand würde ein Kreditgutachten ohne Belege akzeptieren.
Schritt 2: Stichprobenartige Verifikation bei Peer-Referenzen.
Wenn ein Report behauptet, Konkurrent X habe mit KI-System Y konkrete Ergebnisse erzielt, dann rufen Sie an. Die meisten Branchenkontakte sind erstaunlich auskunftsfreudig, wenn man sie auf eine angebliche Erfolgsstory anspricht. Typisches Muster: Drei Anrufe reichen, um zu klären, ob die Studie auf Substanz oder Phantasie basiert.
Schritt 3: Eigene KI-Nutzung disziplinieren.
Der KPMG-Fall ist auch ein Spiegel. Wenn externe Berater halluzinieren, dann tun es Ihre eigenen Mitarbeiter ebenfalls. Jeder, der intern ChatGPT, Copilot oder Claude für Recherchen nutzt, braucht eine klare Anweisung: Zahlen, Namen und Fallstudien aus LLM-Output sind unbestätigt, bis sie an einer primären Quelle verifiziert wurden. Punkt. Das gehört in jede KI-Richtlinie. Wer das noch nicht hat, sollte es spätestens jetzt nachholen.
Was jetzt nicht passieren darf
Die falsche Lehre wäre, KI in der Finanzbranche jetzt grundsätzlich auszubremsen. Der KPMG-Fall sagt nichts über die tatsächliche Leistungsfähigkeit von Sprachmodellen in Risk, Compliance oder Wealth Management aus. Er sagt etwas über die Prozesse darum herum. Reviews, Quellenprüfung, Verantwortlichkeiten.
Mein Rat: Nutzen Sie den Vorfall, um interne Standards zu schärfen. Reden Sie mit Ihren Beratungspartnern darüber, wie deren KI-Nutzung im Recherche- und Schreibprozess aussieht. Wer nicht sauber antworten kann, ist ab sofort der falsche Partner für KI-Projekte. Wer sauber antwortet, ist es um so mehr wert.
Und noch ein Punkt für die strategische Ebene: Sekundäre Halluzinationen werden uns die nächsten Jahre begleiten. Sie verschwinden nicht, weil die Modelle besser werden. Sie verschwinden nur, wenn die Prozesse um die Modelle besser werden. Das gilt für KPMG. Das gilt für jede Bank, jeden Vermögensverwalter, jede Finanzberatung, die KI ernsthaft einsetzen will.