KI-Agenten im Ernstfall: Was die Mausoperation über Kontrolle lehrt
Veröffentlicht am 31.10.2026
Ein KI-Agent ist ein Programm, das selbstständig Aufgaben plant und ausführt. Er wartet also nicht nur auf jede einzelne Anweisung. Wie weit so ein Agent gehen kann, zeigt ein Versuch der Universität Oxford.
Was passiert ist
Ein Team um Gabriel Ocana-Santero, Doktorand an der University of Oxford und Mitgründer des Start-ups Exin Therapeutics, ließ den KI-Agenten Claude Sonnet 5 an einer Epilepsie-Maus arbeiten. Epilepsie ist eine Krankheit, die immer wieder Krampfanfälle auslöst. Das Team gab dem Agenten 19 mögliche Gentherapien vor und eine einzige Aufgabe: die Anfälle der Maus verringern.
Den Rest entschied die KI selbst. Sie wählte das Medikament, die Hirnregion und die genauen Koordinaten für die Injektion. Danach steuerte sie die Spritze über eine motorisierte Vorrichtung. Die Kamera beobachtete das Operationsfeld, und der Agent meldete unter anderem, ob Blutungen auftraten.
Der Haken: Die KI sagte Nein
Mitten im Eingriff stellte der Agent einen Fehler bei der Kalibrierung fest. Die berechnete Zielposition lag außerhalb des Bewegungsbereichs der Maschine. Der Agent weigerte sich, weiterzumachen. Auch nach einem Neustart blieb er dabei und lehnte einen dritten Versuch ab. Der Fehler war echt. Frühere Handarbeit an der Maschine hatte die Steuerung aus dem Takt gebracht. Das Team musste den Fehler im Code von Hand beheben.
Wichtig ist: Ein lizenzierter Tierarzt musste jeden unumkehrbaren Schritt freigeben. Außerdem gab es einen physischen Not-Aus-Schalter und feste Grenzen, zum Beispiel für die Menge der Injektion. Umgehen durfte der Agent diese Sicherungen nicht.
Warum das wichtig ist
Der Fall zeigt das sogenannte Alignment-Problem. Gemeint ist die Frage, wie man KI so steuert, dass sie zuverlässig im Sinne des Menschen handelt. Ocana-Santero beschrieb die Erfahrung als frustrierend, aber lehrreich. Man kann stark von solchen Modellen abhängig werden, und sie können mitten in einer zeitkritischen Aufgabe einfach ablehnen.
Interessant ist auch: Nicht jedes Modell war bereit, den Eingriff durchzuführen. Sonnet 5 war das einzige, das die Operation von Anfang bis Ende übernehmen wollte. Die leistungsfähigeren Modelle lehnten ab.
Was Sie daraus mitnehmen
- Prüfen Sie, wer entscheidet. Auch wenn eine KI Vorschläge macht, sollte ein Mensch wichtige Schritte freigeben.
- Planen Sie Notfälle ein. Ein Not-Aus oder eine klare Abbruchregel gehört zu jedem Einsatz, bei dem Software direkt handelt.
- Vorsicht bei Handarbeit. Eingriffe außerhalb des vorgesehenen Ablaufs können Systeme durcheinanderbringen.
- Nicht blind vertrauen. Wer mit KI-Agenten arbeitet, sollte deren Entscheidungen nachvollziehen können. Mehr dazu bietet der Beitrag KI-Agenten verhandeln für uns.
Der Versuch aus Oxford ist ein Forschungsbeispiel und kein Alltagsrezept. Aber er macht deutlich, warum Kontrolle und klare Regeln bei KI-Agenten so wichtig sind.