Aus dem Maschinenraum
Im März lösten Menschen den ARC-AGI-Benchmark zu 100 %, die beste KI zu 0,51 % – jetzt meldet ein Team 99 %. Was diese Zahlen wirklich über den Stand der KI und Ihre nächste KI-Entscheidung verraten.
Im März lösten Menschen 100 % dieser Aufgaben. Die beste KI der Welt: 0,51 %.
Diese Woche meldet ein Forschungsteam: 99 %.
Beide Zahlen stimmen. Und genau darin steckt die eigentliche Geschichte.
Sie stammen aus dem ARC-AGI Benchmark – dem einzigen KI-Test, der nicht misst, was ein Modell schon gelernt hat, sondern wie schnell es etwas völlig Neues lernt. Ich muss das kurz einordnen. Denn zwischen der Schlagzeile („ARC-AGI gelöst!") und dem, was wirklich passiert ist, liegt ein Graben, den jede Führungskraft kennen sollte, die gerade über KI-Investitionen entscheidet.
2019 veröffentlichte François Chollet – der Erfinder der Deep-Learning-Bibliothek Keras – ein Paper mit dem Titel „On the Measure of Intelligence". Seine These war unbequem: Fast alle KI-Benchmarks messen das Falsche. Sie messen Wissen. Chollet wollte Intelligenz messen.
Der Unterschied dazwischen ist simpel und brutal. Wissen können Sie einkaufen – mit genug Daten und Rechenleistung lässt sich fast jede Fähigkeit „antrainieren". Intelligenz ist etwas anderes: die Effizienz, mit der ein System eine neue, unbekannte Aufgabe löst, für die es nie trainiert wurde.
Der ARC-AGI Benchmark testet genau das. Eine Aufgabe besteht aus ein paar farbigen Gittern: zwei, drei Beispiele, jeweils ein Eingabe-Gitter und das dazugehörige Ausgabe-Gitter. Dahinter steckt eine versteckte Regel – etwas verschieben, spiegeln, zählen, füllen. Der Test-Teilnehmer bekommt die Regel nie gesagt. Er muss sie aus den Beispielen erschließen und auf ein neues Gitter anwenden.
Für einen Menschen: Sache von Sekunden. Für die teuersten KI-Systeme der Welt: erstaunlich oft eine Wand. Chollet nennt das Konstruktionsprinzip „Easy for Humans, Hard for AI". Und weil die Regeln nie im Training vorkommen, lässt sich der Test nicht durch Auswendiglernen knacken.
Der Benchmark ist kein starres Ding. Er entwickelt sich mit der KI mit. Immer wenn die Modelle eine Version knacken, kommt eine schwerere nach.
- ARC-AGI-1 (2019): Blieb bis Ende 2024 ungeschlagen – trotz einer massiven Vergrößerung der Trainings-Modelle. Dann, im Dezember 2024, sprang OpenAIs Reasoning-Modell o3 auf 75,7 % (für rund 20 Dollar pro Aufgabe) und 87,5 % (für über 1.000 Dollar pro Aufgabe). Chollet sprach von einem „echten Durchbruch". (uiuiui, teuer.) Heute ist die Version quasi gelöst: Spitzenmodelle liegen über 90 % – und das inzwischen für Centbeträge statt für Tausender. Der Fortschritt steckt hier so sehr im Preis wie in der Trefferquote.
- ARC-AGI-2 (März 2025): Schwerer, mehrstufig, kompositionell. Die Grand-Prize-Schwelle von 85 % blieb 2025 unerreicht. Das beste Wettbewerbsteam – die Kaggle-Grandmasters von NVIDIA – kam mit einem feingetunten 4-Milliarden-Modell auf rund 24 %, für 20 Cent pro Aufgabe. Kommerzielle Spitzenmodelle kletterten weiter: Gemini 3.1 Pro erreichte bis Februar 2026 gut 77 %. Aber genau da wurde es heikel – die Modelle benutzten plötzlich die korrekten ARC-Farbcodes, ohne dass man sie ihnen genannt hatte. Ein starkes Indiz, dass das Test-Format ins Training gesickert war.
- ARC-AGI-3 (25. März 2026): Der Bruch. Vorgestellt bei Y Combinator, im Kamingespräch zwischen Chollet und Sam Altman. Kein statisches Rätsel mehr, sondern 135 handgebaute, interaktive Spiel-Umgebungen. Keine Anleitung. Kein genanntes Ziel. Keine Regeln. Der KI-Agent muss die Welt selbst erkunden, herausfinden, was „gewinnen" überhaupt heißt, und das Gelernte über immer schwerere Level mitnehmen. Beim Start lösten Menschen 100 % der Umgebungen. Die Frontier-Modelle lagen alle unter 1 %: Gemini 3.1 Pro 0,37 %, GPT-5.4 0,26 %, Claude Opus 4.6 0,25 %, Grok 4.20 glatte 0,00 %.
Am 15. Juli 2026 ging eine Zahl durch die Feeds: 99 %. Ein Team namens Schema (Impossible Research, zusammen mit UC Berkeley und der Carnegie Mellon University) meldet, es habe ARC-AGI-3 im Griff.
Bevor Sie das als „AGI ist da" verbuchen: Lesen Sie das Kleingedruckte. Es ist der interessantere Teil.
Schema ist kein neues, schlaueres Modell. Es ist ein Harness – ein Gerüst um bestehende Modelle herum. Die Idee: Lass Claude Opus 4.8 und Fable 5 „wie Physiker" arbeiten. Für jedes Spiel schreibt das Modell die Mechanik als ausführbares Programm, testet dieses Programm gegen die tatsächlichen Beobachtungen und plant dann innerhalb davon. Die Modellgewichte werden nicht angefasst.
Das Ergebnis: 98,98 % auf dem Public Set mit Opus 4.8 und Fable 5, 95,35 % mit GPT-5.6 Sol.
Und jetzt das Kleingedruckte, in drei Punkten:
→ Es ist der Public Set. 25 Spiele – der öffentlich bekannte Teil, der als angreifbar gilt. Der eigentliche Test ist das private 55-Spiele-Set. Wie weit beides auseinanderliegt, zeigt ARC Prize selbst: Das beste offiziell verifizierte Modell kam im Juli auf 13,33 % im Public Set – und nur 7,78 % im halb-privaten. 99 % im Public sagt also fast nichts über das private Set.
→ Es ist selbst berichtet. ARC Prize hat die Zahl nicht verifiziert. Schema schreibt sogar selbst: Was 99 % im Public für das private Set bedeuten, sei „unbekannt, bis es gemessen wird".
→ Es ist menschliche Ingenieurskunst, kein schlaueres Modell. Dasselbe Opus, das im März roh 0,25 % schaffte, kommt mit dem Gerüst auf fast 99 % – ein Sprung von über 56 Prozentpunkten allein durch das Drumherum.
Zur Einordnung: Das ist kein „nichts ist passiert". Die Richtung ist echt und spannend – Modelle können sich an völlig neue Welten anpassen, wenn man ihnen das richtige Gerüst baut. Schema selbst nennt es „a new beginning". Aber der ehrliche Satz lautet: Nicht das Modell wurde klüger. Der Prozess drumherum wurde klüger. Und belegt ist das bisher nur auf dem leichtesten Teil des Benchmarks.
Man kann diese Zahlen auf zwei Arten lesen. Die bequeme: „ARC-AGI-3 gelöst, AGI kommt." Die ehrliche zeigt, wo die Lücke wirklich sitzt – und sie ist aufschlussreicher.
1️⃣ Das rohe Modell scheitert an echter Neuheit – das Gerüst nicht. Ohne Hilfe kommt Opus im März auf 0,25 %. Mit einem Harness, der seine Hypothesen in überprüfbaren Code zwingt, auf fast 99 % (im Public Set). Die Intelligenz-Lücke ist real. Aber sie lässt sich mit Prozess zumindest teilweise überbrücken.
2️⃣ Die ARC-Benchmarks sind ein Frühwarnsystem. Jeder große Sprung – die Reasoning-Modelle, die Coding-Agenten – zeichnete sich hier zuerst ab. Der Wettlauf zwischen „Benchmark wird schwerer" und „Menschen bauen ein cleveres Gerüst" ist genau die Bewegung, die man beobachten muss. Und ARC Prize hat vorgesorgt: Das private Set bleibt der Maßstab, gerade weil Spezial-Harnesses den Public Set knacken.
3️⃣ Die Definition von AGI steht auf dem Prüfstand. Chollets Punkt: AGI ist nicht „automatisiert die meiste wirtschaftlich wertvolle Arbeit", sondern menschenähnliche Lern-Effizienz. Ein Modell, das nur mit maßgeschneidertem Gerüst und nur auf bekannten Spielen glänzt, hat diese Effizienz noch nicht. Solange die Lücke offen ist, haben wir keine AGI – egal, wie gut die Schlagzeile klingt.
Zur Einordnung: ARC-AGI ist kein Orakel. Abstrakte Gitter und handgebaute Spiele sind eng; nicht alles lässt sich daraus ableiten. Und die zweite Dimension ist längst so wichtig wie die Trefferquote: die Kosten. 87,5 % für über 1.000 Dollar pro Aufgabe sind etwas völlig anderes als die gut 90 %, die ein Spitzenmodell Ende 2025 für rund 12 Dollar pro Aufgabe schaffte. Fortschritt heißt hier auch: dasselbe Ergebnis, drastisch billiger.
Hier wird es praktisch. Ich sitze jedes Jahr mit Hunderten von Menschen in Schulungen, die eine Frage mitbringen: „Sollen wir jetzt investieren – oder auf die große KI warten, die alles allein kann?" Die Schema-Meldung gibt darauf eine überraschend klare Antwort.
Denn Schemas eigener Satz ist der wichtigste des ganzen Papers: Wie man das Modell nutzt, macht einen gewaltigen Unterschied. Dasselbe Modell, über 56 Prozentpunkte mehr – nur durch das Drumherum.
Für Unternehmen: Der Hebel liegt selten im Warten auf das nächste Modell. Er liegt im Prozess, den Sie um das heutige Modell bauen – Struktur, Prüfschleifen, klare Werkzeuge. Genau da entstehen die Produktivitätsgewinne, nicht im nächsten Versionssprung.
Für Verwaltungen und größere Organisationen: Bauen Sie keinen Prozess, der voraussetzt, dass die KI eine neue, uneindeutige Lage ganz allein richtig einschätzt. Bei echter Neuheit gehört der Mensch – oder wenigstens eine harte Prüfschleife – in den Entscheidungspfad. Das ist keine Prinzipienreiterei, sondern exakt die Fähigkeit, die dem rohen Modell fehlt.
Für alle, die auf AGI warten: Warten Sie nicht. Die produktivste KI Ihrer Karriere ist die, die heute läuft – richtig eingebettet. Nicht die, die für 2027 versprochen wird.
Ist AGI also da? Nach dem Kleingedruckten: nein. Ist die KI, die Sie heute schon haben, mit dem richtigen Prozess drumherum ein enormer Hebel? Ganz sicher. Würde ich deshalb auf die nächste Schlagzeile warten? Niemals.
ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence) ist ein KI-Test, der nicht das gelernte Wissen eines Modells misst, sondern seine Fähigkeit, völlig neue Aufgaben mit wenigen Beispielen zu lösen. Die Aufgaben bestehen aus farbigen Gittern mit einer versteckten Regel, die aus wenigen Beispielpaaren erschlossen werden muss.
Der KI-Forscher François Chollet, Erfinder der Deep-Learning-Bibliothek Keras. Er stellte den Benchmark 2019 in seinem Paper „On the Measure of Intelligence" vor. Betreut wird er heute von der gemeinnützigen ARC Prize Foundation, die Chollet mit Mike Knoop (Mitgründer von Zapier) aufgebaut hat.
Er ist einer der wenigen Tests, der die Lücke zwischen KI und menschlicher Intelligenz sichtbar macht, statt sie zu verstecken. Weil sich die Aufgaben nicht auswendig lernen lassen, gilt er als Gradmesser für echte Generalisierung – und als Frühwarnsystem für kommende Durchbrüche.
Teilweise. ARC-AGI-1 gilt als weitgehend gelöst (Spitzenmodelle über 90 %). ARC-AGI-2 ist noch offen – die 85-%-Grand-Prize-Marke blieb 2025 unerreicht, die Spitze liegt bei rund 77 %. Bei ARC-AGI-3 meldete das Team „Schema" im Juli 2026 rund 99 % – allerdings selbst berichtet, von ARC Prize nicht verifiziert und nur auf dem öffentlichen Teil. Auf dem maßgeblichen privaten Set gilt der Benchmark weiter als offen.
ARC-AGI-1 (2019) und ARC-AGI-2 (2025) sind statische Gitter-Rätsel mit steigender Schwierigkeit. ARC-AGI-3 (2026) ist interaktiv: Der KI-Agent wird ohne Anleitung in unbekannte Spiel-Umgebungen gesetzt und muss Ziele, Regeln und Strategie selbst herausfinden.
Ein im Juli 2026 vorgestelltes Gerüst um bestehende Modelle (u. a. Claude Opus 4.8 und Fable 5), das sie Spielmechaniken als ausführbaren Code modellieren und darin planen lässt. Es erreichte rund 99 % auf dem öffentlichen ARC-AGI-3-Set – ohne die Modellgewichte zu ändern. Die Kernbotschaft: Der Prozess um ein Modell herum kann dessen Leistung massiv heben.
Es ist ein starkes Gegenargument zur These, AGI stehe unmittelbar bevor. Ohne Hilfsgerüst scheitern selbst Spitzenmodelle an ARC-AGI-3 – genau bei echter Neuheit ohne Anleitung, der Kernfähigkeit menschlicher Intelligenz. Dass ein handgebauter Harness auf dem öffentlichen Teil weit kommt, zeigt eher die Stärke des Prozesses als die des Modells. Solange die Lücke nach Chollets Maßstab besteht, ist von allgemeiner Intelligenz nicht die Rede.
"Ich schicke regelmäßig kostenlose Updates zum Thema KI, Sicherheit und Anwendungen."
Wählen Sie direkt einen freien Slot in meinem Kalender.
Schreiben Sie mir Ihr Anliegen — ich melde mich zeitnah.
