Was diese Woche passiert ist
Ein deutsches Gericht hat entschieden: Die von Googles AI Overviews generierten Antworten sind Googles eigene Aussagen. Damit haftet Google für falsche Inhalte, die das System produziert. Das ist kein Disclaimer-Streit. Das Gericht hat die Argumentation zurückgewiesen, Google sei nur Vermittler fremder Inhalte. Die KI-Ausgabe ist eine eigene Äußerung des Betreibers.
Der Fall betrifft eine Falschaussage über eine Privatperson. Das Prinzip aber ist allgemein: Wer ein LLM betreibt und dessen Output veröffentlicht oder an Kunden ausliefert, steht für diesen Output gerade. Halluzination ist keine Ausrede. Die Quelle war ein deutsches Landgericht, und die Entscheidung reiht sich in eine Linie ein, die in der EU mit dem AI Act und dem AI Liability Directive ohnehin Richtung verschärfter Betreiberhaftung läuft.
Für den Finanzsektor ist das relevanter als für fast jede andere Branche. Banken, Vermögensverwalter und Steuerberater setzen LLMs zunehmend an drei Stellen ein, an denen Falschaussagen direkt Geld kosten und Haftung auslösen: in der Anlageberatung, im Reporting an Kunden und in der Compliance-Recherche.
Warum Finanzdienstleister jetzt aufmerksam werden müssen
Die meisten KI-Projekte, die ich aktuell in Banken und bei Vermögensverwaltern sehe, arbeiten mit einer impliziten Annahme: Wenn der LLM-Output an einen Menschen geht, der nochmal drüberschaut, ist die Haftung gedeckt. Das stimmt für Backoffice-Workflows, in denen ein Mitarbeiter den Entwurf prüft und freigibt. Es stimmt nicht mehr, sobald KI-Antworten direkt an Kunden gehen.
Typisches Beispiel aus der Praxis: Ein Wealth-Manager rollt einen Chatbot aus, der Kunden Fragen zum eigenen Portfolio beantwortet. „Wie hoch ist meine aktuelle Aktienquote, und wie hat sie sich entwickelt?” Das System holt Daten aus dem Depot-System, formuliert eine Antwort und liefert sie aus. Halluziniert das LLM bei der Erklärung der Entwicklung eine Zahl, ist das nach dieser Rechtslogik eine Aussage der Bank gegenüber dem Kunden. Nicht eine Aussage der KI, für die man die Hände heben kann.
Ähnliches gilt für Robo-Advisor mit LLM-Schicht, für automatisierte Quartalsberichte und für Compliance-Bots, die Mitarbeiter zu KYC- oder AML-Fragen befragen. Überall dort, wo ein Output ohne menschliche Letztprüfung an Kunden oder als Entscheidungsgrundlage in regulierte Prozesse fließt, wird das Betreiberrisiko jetzt konkret.
Dazu kommt der EU-AI-Act-Kontext. Anlageberatung und Bonitätsprüfung sind im AI Act explizit als Hochrisiko-Anwendungen klassifiziert. Das deutsche Urteil ist zwar zivilrechtlich und nicht AI-Act-spezifisch, aber es zeigt die Richtung: Gerichte werden bei KI-Output nicht mehr akzeptieren, dass der Betreiber sich hinter dem Modell versteckt. Wer das System einsetzt, äußert sich.
Was sich in der Architektur ändern muss
Die üblichen Sicherungen reichen nicht mehr aus. Ein Disclaimer „KI-generierte Antwort, ohne Gewähr” wird in einem Beratungs- oder Reporting-Kontext gegenüber einem Privatkunden wenig helfen. Das Argument, der Kunde habe ja gewusst, dass eine KI antwortet, hat das Landgericht in vergleichbarer Form bereits zurückgewiesen.
Aus meiner Sicht müssen Finanzdienstleister an drei Stellen nachschärfen.
Erstens bei der Trennung zwischen Fakten und Formulierung. Zahlen, Salden, Performancewerte und Produktbedingungen dürfen nicht aus dem LLM kommen. Sie müssen aus deterministischen Quellen kommen und in die Antwort eingesetzt werden. Das LLM darf den Satz drumherum bauen, nicht die Zahl. Wer ein RAG-System hat, das Zahlen aus PDF-Berichten extrahiert und dann frei formuliert, hat ein Problem. Halluzination bei Zahlen ist der Normalfall, nicht die Ausnahme.
Zweitens bei der Logging- und Beweispflicht. Wenn morgen ein Kunde behauptet, die KI habe ihm eine falsche Auskunft gegeben, müssen Sie nachweisen können, welcher Input zu welchem Output geführt hat, welche Datenquellen herangezogen wurden und welche Version des Modells lief. Ohne vollständiges Audit-Log auf Konversationsebene ist Verteidigung kaum möglich. Das ist nebenbei auch DORA-konform, das ab 2025 ohnehin verschärft.
Drittens bei den Use-Case-Grenzen. Nicht jede Frage muss vom LLM beantwortet werden. Ein gut gebauter Beratungs-Bot erkennt regulatorisch heikle Fragen (steuerliche Bewertung, konkrete Anlageempfehlung, Vertragsauslegung) und reicht sie an einen Menschen weiter. Das ist langweilig im Demo, aber rechtssicher im Betrieb.
Mein Rat für die nächsten Wochen
Wenn Sie aktuell ein LLM-Projekt mit Kundenkontakt laufen haben oder planen, empfehle ich drei konkrete Schritte.
Erstens: Inventarisieren Sie, an welchen Stellen KI-Output ungeprüft an Kunden oder in Entscheidungsprozesse geht. Ein simples Spreadsheet mit Use-Case, Output-Empfänger und Prüfschritt reicht für den Anfang. Sie werden überrascht sein, wie viele Workflows in den letzten zwölf Monaten still produktiv gegangen sind, ohne dass jemand die Haftungsfrage explizit gestellt hat.
Zweitens: Trennen Sie in Ihrer Architektur konsequent zwischen Datenabruf und Formulierung. Zahlen kommen aus dem System, Sätze kommen aus dem LLM. Das ist technisch nicht trivial, aber machbar. Function-Calling und strukturierte Outputs sind dafür die richtigen Werkzeuge. Freitext-RAG für regulierte Inhalte ist ein Auslaufmodell.
Drittens: Holen Sie die Rechtsabteilung früh dazu und klären Sie konkret, welche Use-Cases unter welchen Bedingungen freigegeben sind. Ein Standardsatz wie „KI darf nur Vorschläge machen, der Mensch entscheidet” ist zu vage. Sie brauchen Use-Case-spezifische Freigaben mit dokumentierten Prüfschritten.
Das Urteil ist ein Einzelfall, und es wird Berufungen geben. Aber die Richtung ist klar, und sie wird durch AI Act, AI Liability Directive und DORA verstärkt. Wer jetzt nachschärft, hat in zwölf Monaten einen Vorsprung. Wer wartet, bis der erste eigene Schadensfall vor Gericht steht, hat ein deutlich teureres Problem.
KI im Finanzsektor ist kein Effizienzthema mehr, das man der IT überlässt. Es ist ein Haftungsthema, das in den Vorstand gehört.