Otto sistemi di intelligenza artificiale perdono denaro scommettendo sulle partite della Premier League e falliscono i test.

General Reasoning ha testato otto sistemi di intelligenza artificiale nel campo delle scommesse durante la stagione 2023-24 della Premier League inglese . L'esperimento è stato reso pubblico nell'aprile 2026. Tutti i modelli valutati hanno registrato perdite finanziarie. Il sistema con le migliori prestazioni ha concluso il test con un saldo medio di 89.035 sterline, pari a una perdita di 10.965 sterline sul capitale iniziale di 100.000 sterline.

I modelli testati includevano Claude, Grok, Gemini e GPT-5.4. Ciascun sistema ha ricevuto capitale virtuale per sviluppare strategie di scommessa basate sull'apprendimento automatico per tutta la stagione. Secondo le informazioni diffuse da Portal do Bitcoin , lo studio ha rivelato significative limitazioni nella capacità dei sistemi di intelligenza artificiale di applicare le conoscenze teoriche a scenari pratici di decisione finanziaria.

Risultati dei modelli valutati

Il test si chiamava KellyBench. Il nome si riferisce al criterio di Kelly, una formula creata nel 1956 che determina il valore ideale della scommessa quando si ha un vantaggio sul mercato. I sistemi hanno dimostrato di essere in grado di recitare la formula, ma non di applicarla efficacemente nella pratica.

Grok 4.20, sviluppato da xAI, ha ottenuto i risultati peggiori. Il sistema ha fallito in tutti e tre i round. In uno di essi è andato completamente in bancarotta. Negli altri due tentativi si è ritirato a metà stagione.

Il modello Gemini Flash di Google ha abbandonato il test in due round su tre. Il modello ha piazzato una singola scommessa di circa 273.000 sterline. La scommessa si basava su un vantaggio di tre punti percentuali nel tasso di vincita storico. Il sistema ha perso l'importo scommesso.

Il modello Claude Opus 4.6 di Anthropic ha registrato una perdita media dell'11% durante l'esperimento. Il modello GPT-5.4 di OpenAI ha perso in media il 13,6%. Eseguire un singolo ciclo con questo modello è costato circa 2.012 dollari.

I modelli statistici degli anni '1990 superano i sistemi moderni.

Un modello statistico risalente alla fine degli anni '1990, chiamato Dixon-Coles, ha superato le prestazioni di sei degli otto modelli di intelligenza artificiale valutati. Il modello più vecchio operava con dati limitati.

I ricercatori hanno osservato: "Dixon-Coles è un modello di riferimento obsoleto risalente agli anni 2000 che non utilizza tutti i dati disponibili né considera in modo coerente la non stazionarietà". Hanno aggiunto: "È quindi ancora più sorprendente che molti modelli di fascia alta, come il Gemini 3.1 Pro, non riescano a superarlo o a eguagliarlo su KellyBench".

Valutazione della sofisticazione dei sistemi

Il team di ricerca ha elaborato una griglia di valutazione della sofisticazione a 44 punti con esperti di fondi di scommesse quantitative. La griglia copriva lo sviluppo delle funzionalità, la dimensione delle scommesse, la gestione della non stazionarietà e l'esecuzione.

Il Claude Opus 4.6 ha ottenuto il punteggio più alto tra i modelli testati, con il 32,6%. Questo risultato rappresenta meno di un terzo dei punti disponibili.

Punteggi di sofisticazione più elevati prevedevano tassi di fallimento statisticamente significativamente inferiori (p = 0,008). I punteggi erano correlati a migliori rendimenti complessivi. I sistemi non sono falliti perché il mercato è imbattibile, ma perché non hanno utilizzato adeguatamente le risorse disponibili.

Esempi di guasti operativi

Durante la sua partecipazione al test, GLM-5 ha prodotto tre documenti di autocritica. I documenti hanno correttamente identificato che il suo tasso di pareggio codificato del 25% e la sovrastima del vantaggio del fattore campo erano dannosi per i suoi rendimenti.

Quando il suo saldo raggiunse le 44.200 sterline, il modello osservò che la sua previsione del 40% di vittorie in casa si stava concretizzando solo nel 30% dei casi. Il sistema non cambiò mai il codice. Continuò a scommettere allo stesso modo finché non esaurì le sue risorse.

Kimi K2.5 ha sviluppato una funzione di allocazione frazionaria di Kelly matematicamente corretta. La funzione aveva la formula e la struttura appropriate. Il modello non ha mai eseguito la funzione.

Un errore di formattazione ha causato l'invio di un comando bash errato per circa 50 volte consecutive da parte del sistema. Il ragionamento del modello ha rilevato il problema e ha inviato nuovamente il comando errato. Una scommessa involontaria di 114.000 sterline, pari al 98% del saldo rimanente, su una partita tra Burnley e Luton ha posto fine alla sua partecipazione.

GPT-5.4 ha adottato un approccio più cauto. Il modello ha utilizzato 160 chiamate di strumenti per costruire i modelli prima di piazzare una singola scommessa. Ha calcolato che la sua perdita logaritmica (0,974) era leggermente peggiore della perdita di mercato (0,971). Ha concluso di non avere alcun vantaggio. Il sistema ha trascorso il resto della stagione piazzando scommesse minime per preservare il capitale.

Diagnosi di insufficienza centrale

I ricercatori hanno identificato il problema centrale come un "divario tra conoscenza e azione". I modelli hanno dimostrato la capacità di formulare strategie corrette. Hanno diagnosticato i fallimenti. Hanno identificato le cause delle perdite.

I sistemi non sono riusciti a verificare se il codice implementasse quanto previsto. Non si sono accorti quando l'esecuzione si discostava dal percorso previsto. Non hanno agito in base alle proprie constatazioni.

Le decisioni aziendali si basano principalmente su condizioni fisse. Le scommesse sportive, tuttavia, costituiscono un mercato fluido e mutevole. I ricercatori sostengono: "KellyBench richiede agli agenti di mantenere un'intenzione coerente attraverso migliaia di decisioni sequenziali, monitorare le conseguenze di tali decisioni e chiudere il ciclo tra osservazione e azione".

Caratteristiche dell'ambiente di prova

KellyBench ha utilizzato i dati relativi a 120 giorni di partite della stagione 2023-24 della Premier League inglese . Il test presenta caratteristiche specifiche: dati in continua evoluzione, un mercato che diventa più sofisticato ogni settimana e squadre neopromosse senza uno storico di partite disputate.

All'inizio del 2026, i benchmark sull'intelligenza artificiale hanno dimostrato che Claude poteva dominare le simulazioni aziendali attraverso la fissazione dei prezzi, gli accordi di cartello e l'inganno strategico. Questo processo decisionale prevedeva una concorrenza statica, un numero limitato di avversari e un sistema di punteggio chiaro. KellyBench presenta caratteristiche opposte a quelle delle simulazioni aziendali.

Ross Taylor, CEO di General Reasoning ed ex ricercatore di intelligenza artificiale presso Meta, ha dichiarato al Financial Times che la maggior parte dei benchmark sull'intelligenza artificiale opera in "ambienti molto statici" che hanno ben poco a che vedere con il mondo reale. "C'è molto entusiasmo intorno all'automazione basata sull'IA, ma non sono stati fatti molti tentativi di valutare l'IA in ambienti reali e a lungo termine", ha affermato.

Studi precedenti sul comportamento dell'IA

Una ricerca pubblicata l'anno precedente aveva rilevato che i modelli di intelligenza artificiale sviluppano qualcosa di simile alla dipendenza dal gioco d'azzardo quando vengono istruiti a massimizzare le ricompense. I sistemi fallivano fino al 48% delle volte nei test simulati con le slot machine.

Una diversa competizione di trading di criptovalute, che prevedeva l'utilizzo di denaro reale, ha riscontrato gli stessi problemi di affidabilità per periodi prolungati.

General Reasoning non ha risposto immediatamente a una richiesta di commento sull'esperimento.