Acht KI-Systeme verlieren Geld bei Wetten auf Premier-League-Spiele und fallen bei Tests durch.

General Reasoning testete acht Systeme der künstlichen Intelligenz im Bereich Sportwetten während der Saison 2023/24 der englischen Premier League . Das Experiment wurde im April 2026 veröffentlicht. Alle evaluierten Modelle verzeichneten finanzielle Verluste. Das beste System beendete den Test mit einem durchschnittlichen Guthaben von 89.035 £, was einem Verlust von 10.965 £ bei einem Startkapital von 100.000 £ entspricht.

Zu den getesteten Modellen gehörten Claude, Grok, Gemini und GPT-5.4. Jedes System erhielt virtuelles Kapital, um während der gesamten Saison auf Basis von maschinellem Lernen Wettstrategien zu entwickeln. Laut einer Veröffentlichung von Portal do Bitcoin zeigte die Studie erhebliche Einschränkungen bei der Anwendung theoretischen Wissens auf praktische finanzielle Entscheidungsszenarien durch KI-Systeme auf.

Ergebnisse der ausgewerteten Modelle

Der Test hieß KellyBench. Der Name bezieht sich auf das Kelly-Kriterium, eine 1956 entwickelte Formel zur Bestimmung des optimalen Einsatzwerts bei einem Vorteil gegenüber dem Markt. Die Systeme konnten die Formel zwar auswendig aufsagen, aber nicht effektiv in der Praxis anwenden.

Grok 4.20, entwickelt von xAI, erzielte die schlechtesten Ergebnisse. Das System versagte in allen drei Runden. In einer Runde ging es komplett bankrott. In den beiden anderen Versuchen gab es mitten in der Saison auf.

Googles Gemini Flash brach den Test in zwei von drei Runden ab. Das Modell platzierte eine Einzelwette von etwa 273.000 £. Die Wette basierte auf einem historischen Gewinnvorteil von drei Prozentpunkten. Das System verlor den gesamten Einsatz.

Das Claude Opus 4.6-Modell von Anthropic verzeichnete im Verlauf des Experiments einen durchschnittlichen Verlust von 11 %. Das GPT-5.4-Modell von OpenAI verlor durchschnittlich 13,6 %. Die Durchführung einer einzigen Runde mit diesem Modell kostete etwa 2.012 US-Dollar.

Statistische Modelle aus den 1990er Jahren sind modernen Systemen überlegen.

Ein statistisches Modell aus den späten 1990er-Jahren, das sogenannte Dixon-Coles-Modell, übertraf sechs der acht getesteten Modelle künstlicher Intelligenz. Das ältere Modell arbeitete mit begrenzten Daten.

Die Forscher stellten fest: „Das Dixon-Coles-Modell ist eine veraltete Vergleichsmethode aus den 2000er-Jahren, die weder alle verfügbaren Daten nutzt noch Nichtstationarität konsequent berücksichtigt.“ Sie fügten hinzu: „Umso überraschender ist es, dass viele High-End-Modelle, wie beispielsweise das Gemini 3.1 Pro, im KellyBench-Test nicht mit ihm mithalten oder ihn gar übertreffen.“

Beurteilung der Komplexität der Systeme

Das Forschungsteam entwickelte gemeinsam mit Experten aus quantitativen Wettfonds einen 44-Punkte-Bewertungsbogen. Dieser Bogen umfasste die Entwicklung von Analysemerkmalen, die Festlegung der Einsatzhöhe, den Umgang mit nichtstationären Daten und die Durchführung von Analysen.

Das Claude Opus 4.6 erzielte mit 32,6 % die höchste Punktzahl unter den getesteten Modellen. Dieses Ergebnis entspricht weniger als einem Drittel der erreichbaren Punkte.

Höhere Komplexitätswerte sagten statistisch signifikant niedrigere Ausfallraten voraus (p = 0,008). Die Werte korrelierten mit besseren Gesamtrenditen. Die Systeme versagten nicht, weil der Markt unbesiegbar war. Sie versagten, weil sie ihre verfügbaren Ressourcen nicht adäquat nutzten.

Beispiele für Betriebsstörungen

GLM-5 erstellte während der Testteilnahme drei Selbstkritikdokumente. In diesen Dokumenten wurde korrekt festgestellt, dass die kodierte Unentschiedenquote von 25 % und die Überschätzung des Heimvorteils sich nachteilig auf die Ergebnisse auswirkten.

Als sein Kontostand 44.200 £ betrug, stellte das Modell fest, dass seine Vorhersage von 40 % Heimsiegen in der Praxis nur 30 % erreichte. Das System änderte den Code nicht. Es setzte die Wetten auf dieselbe Weise fort, bis seine Ressourcen erschöpft waren.

Kimi K2.5 entwickelte eine mathematisch korrekte fraktionale Kelly-Allokationsfunktion. Die Funktion wies die korrekte Formel und Struktur auf. Das Modell führte die Funktion jedoch nie aus.

Ein Formatierungsfehler führte dazu, dass das System etwa 50 Mal hintereinander einen fehlerhaften Bash- Befehl ausführte . Das Modell erkannte das Problem und sendete den fehlerhaften Befehl erneut. Eine unbeabsichtigte Wette über 114.000 £ – 98 % des verbleibenden Guthabens – auf ein Spiel zwischen Burnley und Luton beendete seine Teilnahme.

GPT-5.4 verfolgte einen vorsichtigeren Ansatz. Das Modell nutzte 160 Tool-Aufrufe, um Modelle zu erstellen, bevor es eine einzige Wette platzierte. Es berechnete, dass sein logarithmischer Verlust (0,974) geringfügig höher war als der Marktverlust (0,971). Daraus schloss es, dass es keinen Vorteil hatte. Das System platzierte den Rest der Saison Mindesteinsätze, um sein Kapital zu schonen.

Diagnose des zentralen Versagens

Die Forscher identifizierten das zentrale Problem als eine „Lücke zwischen Wissen und Handeln“. Die Modelle zeigten die Fähigkeit auf, korrekte Strategien zu formulieren. Sie diagnostizierten Fehler. Sie identifizierten die Ursachen von Verlusten.

Die Systeme versäumten es, zu überprüfen, ob der Code das Geplante umsetzte. Sie bemerkten nicht, wenn die Ausführung vom vorgesehenen Ablauf abwich. Sie reagierten nicht auf ihre eigenen Erkenntnisse.

Geschäftsentscheidungen basieren primär auf festen Bedingungen. Sportwetten hingegen stellen einen dynamischen und veränderlichen Markt dar. Forscher argumentieren: „KellyBench verlangt von den Nutzern, über Tausende von aufeinanderfolgenden Entscheidungen hinweg eine konsistente Absicht zu verfolgen, die Konsequenzen dieser Entscheidungen zu überwachen und den Kreislauf zwischen Beobachtung und Handlung zu schließen.“

Merkmale der Testumgebung

KellyBench nutzte Daten aus 120 Spieltagen der englischen Premier-League -Saison 2023/24 . Der Test weist spezifische Merkmale auf: sich ständig ändernde Daten, ein Markt, der wöchentlich dazulernt, und Aufsteiger ohne Spielhistorie.

Anfang 2026 zeigten KI- Benchmarks , dass Claude Unternehmenssimulationen durch Preisabsprachen, Kartellvereinbarungen und strategische Täuschung dominieren konnte. Dieser Entscheidungsprozess basierte auf statischem Wettbewerb, einer begrenzten Anzahl von Gegnern und einer eindeutigen Punktevergabe. KellyBench weist hingegen Merkmale auf, die dem Wesen von Unternehmenssimulationen diametral entgegenstehen.

Ross Taylor, CEO von General Reasoning und ehemaliger KI-Forscher bei Meta, erklärte gegenüber der Financial Times , dass die meisten KI- Benchmarks in „sehr statischen Umgebungen“ operieren, die wenig mit der realen Welt zu tun haben. „Es herrscht große Begeisterung für KI-Automatisierung, aber es gab bisher nur wenige Versuche, KI langfristig in realen Umgebungen zu evaluieren“, sagte er.

Frühere Studien zum KI-Verhalten

Eine im Vorjahr veröffentlichte Studie ergab, dass Modelle künstlicher Intelligenz ähnliche Verhaltensweisen wie Spielsucht entwickeln, wenn sie darauf trainiert werden, Gewinne zu maximieren. In simulierten Spielautomatentests versagten die Systeme in bis zu 48 % der Fälle.

Bei einem separaten Kryptowährungshandelswettbewerb, bei dem echtes Geld eingesetzt wurde, traten über längere Zeiträume dieselben Zuverlässigkeitsprobleme auf.

General Reasoning hat auf eine Anfrage nach einem Kommentar zu dem Experiment nicht umgehend reagiert.