Was passiert ist
Im Frühjahr 2026 stand das US-Militär nach eigenen Angaben kurz davor, ein chinesisches Schiff zu entern. Auslöser war ein KI-Chatbot, der die Ladung fälschlich als Komponenten für Nuklearwaffen markiert hatte. Bewaffnete Soldaten waren einsatzbereit, Flugzeuge bereits in der Luft. Der Fehler wurde Minuten vor dem Start der Operation bemerkt. Das berichtet The Decoder am 19. September 2026.
Wichtig an diesem Vorfall: Es war kein gezielter Angriff und keine böswillige Manipulation. Es war ein halluzinierter Report. Ein System hat Fakten erfunden, jemand hat sie nicht geprüft, und die Eskalationskette lief an. Das ist kein militärisches Sonderproblem. Das ist ein Kontrollproblem.
Warum das jetzt für Finanzdienstleister zählt
Das gleiche Muster sehe ich in der Finanzbranche täglich. KI-Systeme für AML, Sanktionsscreening, Kreditentscheidungen und Betrugserkennung erzeugen Meldungen, Scores und Reports. Mitarbeiter übernehmen diese Ausgaben oft ungeprüft. Die Folgen sind keine Schiffe, aber sie sind real.
Konkrete Beispiele:
- AML: Eine KI meldet eine verdächtige Transaktion. Der Sachbearbeiter gibt die Verdachtsmeldung weiter, ohne die zugrunde liegenden Buchungen zu prüfen. Folge: falsche Meldung an die FIU, verärgerter Kunde, möglicher Regress.
- Sanktionsscreening: Eine KI markiert einen Firmennamen als Treffer gegen eine Sanktionsliste. Es handelt sich um einen Namensvetter. Die Zahlung wird blockiert. Der Reputationsschaden ist erheblich.
- Kredit: Ein KI-Score lehnt einen Kredit ab, weil das Modell Daten falsch interpretiert hat. Der Kunde ist weg, oft zur Konkurrenz.
- Research: Eine KI fasst Quartalszahlen zusammen und erfindet eine Kennzahl. Der Berater übernimmt sie ins Reporting.
- Trading: Ein KI-gestützter Research-Assistent behauptet, ein Unternehmen habe eine Gewinnwarnung veröffentlicht. Ein Trader handelt darauf. Die Meldung existiert nicht.
- Zahlungsverkehr: Ein Betrugserkennungsmodell blockiert eine legitime Zahlung, weil es ein Muster falsch interpretiert. Der Händler verliert Umsatz.
Die Regulierung verschärft das Problem. DORA verlangt ein belastbares IKT-Risikomanagement. Der EU AI Act verlangt bei Hochrisiko-KI menschliche Aufsicht. Die BaFin, FMA und FINMA haben klargestellt, dass KI-Entscheidungen nachvollziehbar sein müssen. Ein ungeprüfter LLM-Output erfüllt das nicht.
Aus meiner Sicht ist dieser Vorfall kein Argument gegen KI. Er ist ein Argument gegen Schlampigkeit. Wer ein KI-System einsetzt, ohne den Output zu validieren, handelt fahrlässig. Das gilt für das Militär genauso wie für eine Vermögensverwaltung mit zwölf Mitarbeitern.
Typisches Beispiel: Ein unabhängiger Finanzberater nutzt ein KI-Tool, um Kundenprofile zu erstellen. Das Tool behauptet, der Kunde sei politisch exponiert. Der Berater übernimmt das, das Konto wird eingefroren, der Kunde ist Stammkunde seit zwanzig Jahren. Der Fehler kostet das Mandat.
Häufiges Muster: KI-Assistenz wird in der Praxis zum Entscheidungsautomaten. Der vermeintliche Kontrollschritt fällt weg, weil alle glauben, die Maschine hat recht.
Die Fehlerquote von Sprachmodellen liegt nie bei null. Selbst bei den besten Modellen rechne ich mit Halluzinationen im niedrigen einstelligen Prozentbereich bei Faktenfragen. Zwei Prozent sind zu viel, wenn es um Sanktionslisten, Geldwäscheverdacht oder Kreditfreigaben geht.
Konkrete Handlungsempfehlung
Mein Rat für Finanzdienstleister, die KI in kritischen Prozessen einsetzen:
Erstens: Human-in-the-Loop organisatorisch verankern. Für jede KI-basierte Entscheidung muss festgelegt sein, wer was prüft, anhand welcher Primärquelle, mit welcher Dokumentation. Beispiel AML: Jede KI-generierte Verdachtsmeldung braucht eine Zweitprüfung durch eine zweite Person. Diese Person prüft den Fall gegen die Originaldaten. Erst dann geht die Meldung raus.
Zweitens: Metriken und Stichproben einführen. Auch ein kleines Haus kann monatlich zehn KI-Entscheidungen manuell nachprüfen. Fehlalarmquote, falsche Treffer, übersehene Fälle dokumentieren. Wenn die Fehlerquote über einem internen Schwellenwert liegt, wird das Modell oder der Workflow angepasst.
Drittens: Schulung und klare Sprache. Mitarbeiter müssen verstehen: Der KI-Report ist eine Hypothese, kein Fakt. Bei kritischen Entscheidungen, etwa Kredit ab 250.000 Euro, Verdachtsmeldung oder Sanktionstreffer, ist die KI nur ein Hinweis. Die Entscheidung trifft ein Mensch, der die Primärquelle gesehen hat.
Besonders bei Sanktionslisten und PEP-Prüfungen gilt: Niemals nur auf KI vertrauen. Immer direkt gegen die offizielle Liste prüfen, EU, OFAC, UN. Das ist technisch einfach, kostet aber Disziplin.
Der Vorfall beim US-Militär ist eine Warnung. Aber nicht vor KI. Er ist eine Warnung vor unkritischer Übernahme. Wer in der Finanzbranche jetzt nicht nachrüstet, wird früher oder später einen ähnlichen Fehler erleben. Nur dass es dann kein Schiff ist, sondern ein Konto, ein Kredit oder eine Verdachtsmeldung.