Coding-Agenten lösen nur ein Viertel echter Aufgaben
Laborbenchmarks täuschen über die tatsächliche Einsatzreife von Coding-Agenten hinweg.
Gegenprüfung dieser Ausgabe: 1 Karte vor der Veröffentlichung korrigiert. Wie die Gegenprüfung arbeitet
Symbolbild, KI-generiert.
Der Alibaba-Benchmark Co-Design Bench testet Coding-Agenten mit echten, schwierigen Nutzeranfragen. Das Spitzenmodell GPT-6 Astra löst dabei nur 26,4 Prozent der Aufgaben vollständig, auf älteren Benchmarks erreichen dieselben Modelle über 99 Prozent.
Die Belege
- Benchmark Co-Design Bench stammt von Alibaba und nutzt reale Nutzeranfragen.
- GPT-6 Astra als Spitzenreiter löst 26,4 Prozent der Aufgaben vollständig.
- Auf älteren Benchmarks erreichen dieselben Modelle über 99 Prozent.
Der Zusammenhang
Der Benchmark konfrontiert Coding-Agenten mit schwierigen, praxisnahen Nutzeranfragen statt mit standardisierten Testaufgaben. Die Lücke zwischen den Ergebnissen auf etablierten Benchmarks und der tatsächlichen Problemlösung bei komplexen Anfragen bleibt laut The Decoder groß.
Warum das zählt
Für IT-Abteilungen, die Coding-Agenten produktiv einsetzen wollen, zeigt das: Benchmarkwerte aus Marketingmaterial sind kein verlässlicher Indikator für die Leistung bei eigenen, komplexen Aufgaben.
Die Diskrepanz zwischen Laborwerten und Praxis ist größer als meist kommuniziert. Unternehmen unterschätzen oft, wie sehr Benchmarks auf einfache, bereits gelöste Aufgabentypen zugeschnitten sind.
Vor Produktivsetzung Coding-Agenten mit eigenen, realistischen Aufgabenstellungen aus dem internen Projektalltag testen.
Was diese Meldung nicht belegt: Keine Angaben zu weiteren getesteten Modellversionen außer GPT-6 Astra oder zur Methodik der Aufgabenauswahl.
Text KI-erstellt und am 09.11.2026 automatisch von einer zweiten KI-Instanz gegen den erfassten Quelltext geprüft, ohne Einzelfreigabe durch einen Menschen. Redaktionell verantwortlich: Ali Reza Karwandian. Fehler gefunden? Korrektur melden · Unsere Grundsätze