KI-Halluzinationen vor Gericht: Was KMU aus dem Berliner Fall lernen

Was passiert ist

Das Kammergericht Berlin hat diese Woche Anwälte öffentlich gerügt, weil sie in Rechtsmittelschriftsätzen erfundene Aktenzeichen und nicht existierende Urteile zitiert haben. Die Quelle: ein Sprachmodell, vermutlich ChatGPT oder ein vergleichbares Tool. Heise berichtete am 7. Mai über den Vorfall und die deutliche Mahnung des Gerichts an die anwaltliche Prüfpflicht.

Für alle, die das Muster nicht kennen: Sprachmodelle erfinden bei juristischen Fragen regelmäßig Fundstellen. Sie liefern formal korrekt aussehende Aktenzeichen wie „BGH, Urteil vom 14.03.2021 – VIII ZR 112/20” — nur existiert das Urteil nicht. Der Text klingt plausibel, die Struktur stimmt, der Inhalt ist frei erfunden. In den USA gab es 2023 den Fall Mata v. Avianca, bei dem ein New Yorker Anwalt aus genau diesem Grund mit 5.000 USD Strafe belegt wurde. Jetzt ist das Phänomen offiziell auch in der deutschen Justiz angekommen.

Das Kammergericht hat es bei einer Rüge belassen. Beim nächsten Fall wird das vermutlich nicht mehr so glimpflich ausgehen. Berufsrechtliche Konsequenzen, Haftungsfragen gegenüber Mandanten und Schadenersatzforderungen sind absehbar.

Warum das jetzt für KMU zählt

Sie denken vielleicht: „Ich bin kein Anwalt, was geht mich das an?” Mehr als Sie glauben. Der Berliner Fall ist nur die sichtbare Spitze. Das gleiche Muster passiert täglich in Buchhaltungen, Personalabteilungen, im Vertrieb und in der Geschäftsführung — nur fällt es dort niemandem auf, weil keine Richterin gegenliest.

Typische Beispiele aus meiner Beratungspraxis:

• Ein KMU lässt sich von ChatGPT die korrekte Vorgangsweise bei einer Kündigung im österreichischen Arbeitsrecht erklären. Das Modell zitiert Paragraphen aus dem deutschen BGB, die hier nicht gelten.
• Eine Buchhaltungskraft fragt nach der Behandlung eines USt-Sachverhalts. Die Antwort vermischt deutsche und österreichische Regelungen, klingt aber souverän.
• Im Vertrieb erstellt jemand eine Wettbewerbsanalyse mit KI. Drei der fünf zitierten Marktstudien existieren nicht.

Der gemeinsame Nenner: Das Modell weiß nicht, dass es nichts weiß. Und der Mensch davor kann die Qualität nicht prüfen, weil er sonst die KI gar nicht erst gefragt hätte.

Aus meiner Sicht ist die Berliner Rüge ein wichtiges Signal — nicht weil Anwälte besonders dumm wären, sondern weil hier zum ersten Mal eine staatliche Stelle in Deutschland klar sagt: Die Prüfpflicht liegt beim Menschen. Wer KI-Output ungeprüft weiterverwendet, haftet dafür. Das gilt analog für Geschäftsführer, die KI-Texte unterschreiben, für Buchhalter, die KI-Berechnungen einreichen, und für alle, die KI-generierte Behauptungen gegenüber Kunden oder Behörden verwenden.

Die EU-KI-Verordnung verschärft das Bild zusätzlich. Wer KI in Bereichen mit rechtlicher Außenwirkung einsetzt, muss dokumentieren können, wie geprüft wurde. Eine pauschale Aussage „Wir nutzen ChatGPT” reicht in einem Haftungsfall nicht aus.

Was KMU jetzt konkret tun sollten

Drei Schritte, die Sie diese Woche umsetzen können:

1. Klassifizieren Sie Ihre KI-Anwendungsfälle nach Risiko.

Machen Sie eine simple Liste: Wo wird in Ihrem Betrieb KI eingesetzt — auch inoffiziell durch Mitarbeitende? Markieren Sie jeden Fall mit grün, gelb oder rot.

• Grün: Brainstorming, Textentwürfe, Zusammenfassungen interner Dokumente. Hier ist Halluzination ärgerlich, aber nicht haftungsrelevant.
• Gelb: Kundenkommunikation, Marketing, Übersetzungen. Hier braucht es eine zweite Person, die gegenliest, bevor etwas rausgeht.
• Rot: Rechtsfragen, Steuer- und Buchhaltungsthemen, medizinische oder sicherheitsrelevante Auskünfte, behördliche Eingaben, Verträge. Hier ist KI höchstens ein Recherche-Hilfsmittel — nie die Quelle.

2. Etablieren Sie eine simple Prüfregel für rote Fälle.

Mein Rat: Bei roten Fällen muss jede Faktenbehauptung — jedes Aktenzeichen, jede Paragraphennummer, jede Zahl, jede Studie — auf eine Primärquelle zurückgeführt werden. Findet sich die Quelle nicht in unter zwei Minuten in RIS, Findok, Statistik Austria oder einem etablierten Fachverlag, ist die Behauptung falsch. Punkt. Diese Regel kostet Sie zehn Minuten zusätzliche Recherchezeit pro Dokument und schützt vor sechsstelligen Schäden.

3. Schaffen Sie eine schriftliche KI-Nutzungsrichtlinie — auch wenn Sie nur fünf Mitarbeitende haben.

Die muss nicht 30 Seiten lang sein. Eine A4-Seite reicht. Inhalt:

• Welche Tools sind freigegeben (und welche nicht — Stichwort Datenschutz bei kostenlosen Konsumenten-Tools).
• Welche Daten dürfen rein (keine personenbezogenen Daten, keine Geschäftsgeheimnisse in nicht-DSGVO-konforme Tools).
• Wer prüft was, bevor es das Haus verlässt.
• Wie wird KI-Nutzung bei sensiblen Dokumenten dokumentiert.

Diese Richtlinie ist im Streitfall Ihr Schutzschild. Sie zeigt, dass Sie Ihrer Sorgfaltspflicht als Geschäftsführer nachgekommen sind.

Mein Fazit

Der Berliner Fall ist kein Argument gegen KI. Im Gegenteil — KI bleibt eines der produktivsten Werkzeuge der letzten Jahre. Aber die Phase, in der man so tun konnte, als wäre der Output schon irgendwie richtig, ist vorbei. Was jetzt kommt, ist die Phase der Verantwortung. Und die liegt nicht beim Modell, nicht bei OpenAI, nicht bei Anthropic — sondern bei dem Menschen, der den Text unterschreibt.

Wer das ernst nimmt, gewinnt einen Wettbewerbsvorteil. Wer es ignoriert, wird über kurz oder lang sein eigenes Kammergericht-Erlebnis haben. Nur wahrscheinlich teurer.