Der MirrorCode-Benchmark von Epoch AI und METR belegt erstmals mit konkreten Zahlen, dass KI-Agenten komplexe Software-Projekte über Tage und Wochen hinweg eigenständig abschließen können. Claude Opus 4.7 reimplementierte ein 16.000-Zeilen-Programm in 14 Stunden, wofür ein menschlicher Entwickler nach Schätzung der Forschenden 2 bis 17 Wochen bräuchte.

Was testet der MirrorCode-Benchmark genau?

MirrorCode wurde gemeinsam von Epoch AI und METR entwickelt, zwei unabhängigen Forschungsorganisationen, die KI-Fähigkeiten messen. Die Aufgabe ist denkbar klar: Ein KI-Agent erhält ein fertiges, ausführbares Programm, ohne Zugang zum Quellcode. Er soll das Programm durch Beobachtung seines Verhaltens von Grund auf neu schreiben, bis es identische Ergebnisse liefert.

Getestet wurden 25 Programme aus unterschiedlichen Bereichen: Unix-Werkzeuge, Datenserialisierung, Bioinformatik, Interpreter, statische Code-Analyse, Kryptographie und Komprimierung. Kein Trivialfall, sondern echte, produktiv eingesetzte Open-Source-Software.

Die Methode ist bewusst streng. Den Modellen stehen sichtbare Testfälle zur Verfügung, aber der eigentliche Quellcode bleibt verborgen. Nur wer das Programm wirklich versteht, kann es korrekt nachbauen.

Wie gut sind die getesteten Modelle?

Die Ergebnisse zeigen deutliche Unterschiede zwischen den Modellen. Claude Opus 4.7 von Anthropic erreichte laut Epoch AI und METR eine Lösungsrate von 56 Prozent und lag damit vor GPT-5.5 mit 44 Prozent und Gemini 3.1 Pro Preview mit 32 Prozent. Alle Modelle lösen kleinere Programme zuverlässig; bei den komplexesten Aufgaben liegt noch keines sicher vorn.

Das eindrücklichste Einzelergebnis lieferte das gotree-Projekt: ein Bioinformatik-Werkzeug mit rund 16.000 Zeilen Go-Code und mehr als 40 Befehlen. Claude Opus 4.7 schrieb das gesamte Programm in 14 Stunden nach, zu Kosten von 251 US-Dollar. Der Zeitaufwand für eine menschliche Entwicklerin oder einen menschlichen Entwickler wird von den Forschenden auf 2 bis 17 Wochen geschätzt.

Der längste einzelne Benchmark-Lauf dauerte 19 Tage ohne menschliches Eingreifen. Die Kosten für einen solchen Maximallauf lagen bei 2.600 US-Dollar. Das klingt nach viel, relativiert sich aber, wenn man es mit Personalkosten für denselben Zeitraum vergleicht.

Warum ist das für Unternehmen relevant?

Bisherige KI-Benchmarks messen, wie gut ein Modell kurze Aufgaben löst: eine Frage beantworten, eine Funktion schreiben, einen Fehler korrigieren. MirrorCode ist anders, weil es das misst, was in der Praxis zählt: Kann ein KI-Agent eine Aufgabe komplett übernehmen, die Tage oder Wochen dauert, ohne dass ein Mensch ständig nachsteuert?

Die Antwort ist für bestimmte Aufgaben klar ja. Und das ist eine andere Ausgangslage als noch vor zwölf Monaten. Damals war KI ein Werkzeug, das einzelne Schritte beschleunigte. Jetzt gibt es Belege, dass KI-Agenten ganze Arbeitspakete eigenständig abschließen können.

Für Unternehmen bedeutet das: Es geht nicht mehr nur darum, Mitarbeitende mit KI zu unterstützen. Es wird zunehmend möglich, bestimmte Abläufe vollständig an einen KI-Agenten zu übergeben, der ohne Unterbrechung arbeitet, kein Urlaubsgeld bekommt und nachts nicht schläft.

Wo liegen die Grenzen dieser Ergebnisse?

Epoch AI und METR sind in ihrer Einschätzung vorsichtig, und das ist ehrlich. Die getesteten Programme sind Open-Source-Software, die möglicherweise in den Trainingsdaten der Modelle vorhanden war. Die Forschenden geben an, erste Tests deuteten darauf hin, dass reines Auswendiglernen keine dominante Rolle spielt, doch abschließend bewiesen ist das nicht.

Außerdem ist Software-Reimplementierung eine spezifische Aufgabe: Es gibt eine klare, messbare Ziellinie. Viele reale Unternehmensaufgaben sind weniger klar definiert. Wer KI-Agenten für betriebliche Abläufe einsetzen möchte, muss diese Abläufe zunächst präzise beschreiben, bevor ein Agent sie zuverlässig ausführen kann.

Das ist kein Nachteil, sondern eine Voraussetzung. Unternehmen, die ihre Kernprozesse schriftlich festhalten, Schritt für Schritt, mit klaren Ein- und Ausgaben, schaffen damit die Grundlage dafür, dass ein KI-Agent diese Prozesse übernehmen kann.

Was ändert sich in den nächsten Monaten?

Die Forschenden beobachten, dass sich die Lösungsraten mit mehr Rechenzeit weiter verbessern. Das bedeutet: Aufgaben, die heute noch an der Grenze des Machbaren liegen, dürften in absehbarer Zeit zuverlässig lösbar sein. Epoch AI verfolgt die Entwicklung fortlaufend und hat die Daten öffentlich auf GitHub zugänglich gemacht.

Für Unternehmen, die KI strategisch einsetzen wollen, lohnt sich die Frage: Welche wiederkehrenden Aufgaben in meinem Betrieb sind klar genug definiert, dass ein Agent sie heute schon übernehmen könnte? MirrorCode zeigt, dass die technische Schwelle deutlich niedriger liegt, als viele noch annehmen. Was fehlt, ist oft weniger die KI als die strukturierte Beschreibung des Ablaufs, der automatisiert werden soll.

Genau hier setzt das Konzept der KI-Belegschaft an: nicht KI als Werkzeug, das man punktuell bedient, sondern als fester Bestandteil des Betriebs, der Daueraufgaben übernimmt und dabei mit jedem Monat leistungsfähiger wird.