Ocho sistemas de IA pierden dinero apostando en partidos de la Premier League y no superan las pruebas.

General Reasoning puso a prueba ocho sistemas de inteligencia artificial en apuestas deportivas durante la temporada 2023-24 de la Premier League inglesa . El experimento se publicó en abril de 2026. Todos los modelos evaluados registraron pérdidas financieras. El sistema con mejor rendimiento finalizó la prueba con un saldo promedio de 89 035 £, lo que representa una pérdida de 10 965 £ sobre un valor inicial de 100 000 £.

Los modelos evaluados incluyeron Claude, Grok, Gemini y GPT-5.4. Cada sistema recibió capital virtual para desarrollar estrategias de apuestas basadas en aprendizaje automático durante toda la temporada. Según información publicada por Portal do Bitcoin , el estudio reveló limitaciones significativas en la capacidad de los sistemas de IA para aplicar el conocimiento teórico a escenarios prácticos de toma de decisiones financieras.

Resultados de los modelos evaluados

La prueba se denominó KellyBench. El nombre hace referencia al criterio de Kelly, una fórmula creada en 1956 que determina el valor ideal de la apuesta cuando existe una ventaja sobre el mercado. Los sistemas demostraron la capacidad de recitar la fórmula, pero no lograron aplicarla eficazmente en la práctica.

Grok 4.20, desarrollado por xAI, obtuvo los peores resultados. El sistema falló en las tres rondas. Quebró por completo en una de ellas. En los otros dos intentos, abandonó a mitad de temporada.

El modelo Gemini Flash de Google abandonó la prueba en dos de las tres rondas. Realizó una única apuesta de aproximadamente 273 000 libras esterlinas, basada en una ventaja de tres puntos porcentuales en el porcentaje de victorias histórico. El sistema perdió la cantidad apostada.

El modelo Claude Opus 4.6 de Anthropic registró una pérdida promedio del 11 % durante el experimento. El modelo GPT-5.4 de OpenAI perdió un promedio del 13,6 %. Ejecutar una sola ronda con este modelo costó aproximadamente 2.012 dólares estadounidenses.

El modelo estadístico de la década de 1990 supera a los sistemas modernos.

Un modelo estadístico de finales de la década de 1990, llamado Dixon-Coles, superó a seis de los ocho modelos de inteligencia artificial evaluados. El modelo anterior funcionaba con datos limitados.

Los investigadores observaron: «El índice de referencia de Dixon-Coles es obsoleto, de la década de 2000, y no utiliza todos los datos disponibles ni considera de forma sistemática la no estacionariedad». Añadieron: «Por lo tanto, resulta aún más sorprendente que muchos modelos de gama alta, como el Gemini 3.1 Pro, no logren superarlo ni igualarlo en KellyBench».

Evaluación de la sofisticación de los sistemas

El equipo de investigación elaboró ​​una rúbrica de sofisticación de 44 puntos con expertos de fondos de apuestas cuantitativas. La rúbrica abarcaba el desarrollo de características, el tamaño de las apuestas, el manejo de la no estacionariedad y la ejecución.

El Claude Opus 4.6 obtuvo la puntuación más alta entre los modelos evaluados, con un 32,6%. Este resultado representa menos de un tercio de los puntos disponibles.

Un mayor nivel de sofisticación predijo tasas de fallo significativamente menores (p = 0,008). Estas puntuaciones se correlacionaron con mejores resultados generales. Los sistemas no fallaron porque el mercado fuera imbatible, sino porque no utilizaron adecuadamente los recursos disponibles.

Ejemplos de fallos operativos

GLM-5 elaboró ​​tres documentos de autocrítica durante su participación en la prueba. Dichos documentos identificaron correctamente que su tasa de empates codificada del 25 % y la sobreestimación de la ventaja de jugar en casa estaban perjudicando sus resultados.

Cuando su saldo alcanzó las 44.200 libras esterlinas, el modelo observó que su predicción de un 40 % de victorias locales solo se cumplía en un 30 % en la práctica. El sistema nunca modificó su código. Continuó apostando de la misma manera hasta agotar sus recursos.

Kimi K2.5 desarrolló una función de asignación fraccionaria de Kelly matemáticamente correcta. La función tenía la fórmula y la estructura adecuadas. El modelo nunca ejecutó la función.

Un error de formato provocó que el sistema enviara un comando bash defectuoso aproximadamente 50 veces consecutivas. El modelo detectó el problema y volvió a enviar el comando erróneo. Una apuesta involuntaria de 114 000 libras esterlinas —el 98 % del saldo restante— en un partido entre el Burnley y el Luton puso fin a su participación.

GPT-5.4 adoptó un enfoque más cauteloso. El modelo utilizó 160 llamadas a herramientas para construir modelos antes de realizar una sola apuesta. Calculó que su pérdida logarítmica (0,974) era ligeramente peor que la pérdida del mercado (0,971). Concluyó que no tenía ninguna ventaja. El sistema pasó el resto de la temporada realizando apuestas mínimas para preservar el capital.

Diagnóstico de insuficiencia central

Los investigadores identificaron el problema central como una "brecha entre el conocimiento y la acción". Los modelos demostraron su capacidad para articular estrategias correctas, diagnosticar fallos e identificar las causas de las pérdidas.

Los sistemas no lograron verificar si el código implementaba lo previsto. No detectaron cuando la ejecución se desviaba del curso esperado. No actuaron en consecuencia.

Las decisiones empresariales se basan principalmente en condiciones fijas. Sin embargo, las apuestas deportivas constituyen un mercado fluido y cambiante. Los investigadores afirman: «KellyBench exige a los agentes que mantengan una intención coherente a lo largo de miles de decisiones consecutivas, supervisen las consecuencias de dichas decisiones y cierren el ciclo entre la observación y la acción».

Características del entorno de prueba

KellyBench utilizó datos de 120 días de partidos de la temporada 2023-24 de la Premier League inglesa . La prueba tiene características específicas: datos que cambian constantemente, un mercado que se vuelve más inteligente cada semana y equipos ascendidos sin historial de partidos.

A principios de 2026, las pruebas de inteligencia artificial demostraron que Claude podía dominar las simulaciones de negocios mediante la fijación de precios, acuerdos de cártel y engaños estratégicos. Este proceso de toma de decisiones implicaba competencia estática, un número limitado de oponentes y una puntuación clara. KellyBench presenta características opuestas a las de las simulaciones de negocios.

Ross Taylor, director ejecutivo de General Reasoning y antiguo investigador de inteligencia artificial en Meta, declaró al Financial Times que la mayoría de las pruebas de rendimiento de inteligencia artificial operan en "entornos muy estáticos" que guardan poca semejanza con el mundo real. "Hay mucho entusiasmo en torno a la automatización mediante IA, pero no se han realizado muchos intentos de evaluar la IA en entornos reales a largo plazo", afirmó.

Estudios previos sobre el comportamiento de la IA

Una investigación publicada el año anterior reveló que los modelos de inteligencia artificial desarrollan algo similar a la ludopatía cuando se les instruye para maximizar las recompensas. Los sistemas fallaron hasta en un 48% de las ocasiones en pruebas simuladas con máquinas tragamonedas.

Una competición independiente de comercio de criptomonedas con dinero real experimentó los mismos problemas de fiabilidad durante períodos prolongados.

General Reasoning no respondió de inmediato a la solicitud de comentarios sobre el experimento.