Suspendiert wegen KI-Halluzinationen: Lehre für KMU

Was passiert ist

Diese Woche wurde bekannt: Zwei Mitarbeiter des südafrikanischen Innenministeriums (Department of Home Affairs) sind suspendiert worden, nachdem sie in offiziellen Dokumenten KI-generierte Inhalte verwendet hatten — inklusive frei erfundener Gerichtsurteile und Quellen. Der Fall wurde von der Citizen am 7. Mai aufgegriffen und schaffte es prompt auf die Hacker-News-Frontpage.

Der Ablauf ist mittlerweile ein bekanntes Muster: Mitarbeiter nutzt ChatGPT oder ein vergleichbares Tool, kopiert den Output ungeprüft in ein Schriftstück, das Schriftstück geht raus, jemand prüft die zitierten Quellen — und stellt fest, dass mehrere davon schlicht nicht existieren. In den USA gab es bereits 2023 den prominenten Fall der Anwaltskanzlei Levidow, bei dem ein Anwalt vor Gericht ChatGPT-Halluzinationen als Präzedenzfälle einreichte. Seitdem ist die Liste länger geworden — und jetzt eben auch bei einer Behörde angekommen.

Die suspendierten Beamten haben offenbar weder die Quellen verifiziert noch transparent gemacht, dass KI im Einsatz war. Beides sind die Standardfehler, die ich auch in österreichischen KMU regelmäßig sehe.

Warum das jetzt für KMU zählt

Viele Geschäftsführer nehmen solche Fälle als Behörden-Schlamperei wahr und denken: Bei uns läuft das anders. Aus meiner Sicht ist das gefährlich naiv.

In fast jedem Beratungsmandat sehe ich denselben Zustand: ChatGPT, Copilot oder Claude werden bereits intensiv genutzt — nur weiß die Geschäftsleitung nichts davon. Mitarbeiter im Vertrieb lassen Angebotstexte generieren. Die Buchhaltung fragt das LLM nach steuerlichen Einschätzungen. HR lässt Stellenbeschreibungen schreiben. Niemand dokumentiert das, niemand prüft die Outputs systematisch.

Typisches Beispiel aus dem letzten Quartal: Ein Industriebetrieb mit 80 Mitarbeitern. Ein Projektleiter hat Sicherheitsdatenblätter teilweise per ChatGPT recherchiert und Werte übernommen, die plausibel aussahen, aber falsch waren. Aufgefallen ist es nur, weil ein Lieferant nachgefragt hat. Schaden: gering, weil rechtzeitig korrigiert. Das Problem: Niemand wusste, dass dieses Tool überhaupt verwendet wurde.

Der Home-Affairs-Fall ist deshalb relevant, weil er drei Dinge gleichzeitig zeigt:

1. Konsequenzen sind real. Suspendierung, öffentliche Berichterstattung, Reputationsschaden für die Behörde. Im KMU-Kontext kann genau das auch passieren — nur dass dort schneller ein Kunde, ein Auditor oder ein Gericht involviert ist.
2. Hierarchie schützt nicht. Wer denkt, dass nur unbedarfte Praktikanten halluzinierende Texte übernehmen, irrt. Die Beamten waren keine Anfänger. Halluzinationen sehen überzeugend aus — das ist ja der Punkt.
3. Die Tools selbst sind nicht das Problem. Niemand schlägt vor, ChatGPT bei Behörden zu verbieten. Das Problem ist der unkontrollierte Einsatz ohne Verifikationsschritt.

Dazu kommt: Mit dem EU AI Act, der seit Februar 2025 in den ersten Stufen anwendbar ist, gibt es zunehmend formale Anforderungen — gerade an Hochrisiko-Anwendungen wie HR-Entscheidungen oder rechtliche Bewertungen. Wer hier ohne interne Regelung arbeitet, hat nicht nur ein Qualitätsrisiko, sondern auch ein Compliance-Risiko.

Was Sie konkret tun sollten

Mein Rat ist pragmatisch und nicht aufwendig. Drei Schritte, die jedes KMU diese Woche umsetzen kann:

1. Bestandsaufnahme statt Verbot. Fragen Sie aktiv im Team: Wer nutzt welche KI-Tools wofür? Anonym, ohne Sanktionsdrohung. Das Ergebnis wird Sie überraschen. Erst wenn Sie wissen, wo KI bereits im Einsatz ist, können Sie sinnvoll regeln. Ein Verbot ohne Bestandsaufnahme treibt die Nutzung nur in die Schatten — Mitarbeiter verwenden dann private Accounts auf privaten Geräten, womit auch noch Datenschutz-Themen dazukommen.

2. Eine kurze, klare KI-Richtlinie. Maximal zwei Seiten, kein juristisches Pamphlet. Drei Punkte müssen drinstehen: a) Welche Tools sind freigegeben (z. B. der Firmen-Account von ChatGPT Team oder Microsoft Copilot mit Datenschutz-Setting), welche nicht. b) Welche Daten dürfen rein (keine personenbezogenen Daten von Kunden, keine Kalkulationsgrundlagen, keine Verträge ohne Anonymisierung). c) Die Verifikationspflicht: Jeder KI-Output, der nach außen geht oder eine Entscheidung beeinflusst, muss von einem Menschen geprüft werden. Bei Zahlen, Quellen, Zitaten und rechtlichen Aussagen explizit.

3. Den Verifikationsschritt einüben. Das ist der eigentliche Hebel. Reden Sie mit Ihrem Team darüber, wie LLMs funktionieren — nämlich als Wahrscheinlichkeitsmaschinen, nicht als Wissensdatenbanken. Halluzinationen sind kein Bug, sondern Teil der Funktionsweise. Für kritische Outputs gilt: Quelle nachschlagen, Zahl gegenprüfen, Aussage durch eine zweite Quelle bestätigen lassen. Bei juristischen oder steuerlichen Themen: Niemals ohne Fachperson freigeben.

Für die Umsetzung brauchen Sie keine Beratung und kein Tool. Eine interne Mail, ein 30-Minuten-Termin im Team-Meeting und ein gemeinsam abgestimmtes Dokument reichen aus. Wer es ernster aufziehen will, kombiniert das mit einer kurzen Schulung — aber das ist Kür, nicht Pflicht.

Fazit

Der Fall in Südafrika ist kein Exot. Es ist die Vorschau auf das, was in den nächsten 12 bis 24 Monaten in vielen Organisationen passieren wird — auch in österreichischen KMU. Der Unterschied zwischen den Betrieben, bei denen es glimpflich ausgeht, und denen, bei denen es teuer wird, ist nicht das eingesetzte Tool. Es ist die Frage, ob es eine klare Regel gab und ob die Verifikation Teil des Prozesses war.

Wer das jetzt aufsetzt, hat es hinter sich. Wer wartet, bis der eigene Vorfall passiert, bezahlt die Lernkurve teurer.