Medir la productividad de la IA se ha convertido en la nueva obsesión de los líderes, y el fiasco de Meta con su ranking interno deja una lección que todo founder puede aplicar sin pagar la matrícula de 60 billones de tokens.
El experimento Claudeonomics: 60 billones de tokens y cero resultados claros
El caso lo recogió Fast Company: el equipo de Meta creó un ranking interno llamado Claudeonomics que clasificaba a los 250 mayores consumidores de tokens de IA. Repartía títulos como ‘Token Legend’ y ‘Cache Wizard’.
En un solo periodo de 30 días, los empleados que aparecían en el panel quemaron más de 60 billones de tokens. Sin un resultado claro de negocio.
El desenlace fue rápido. El ranking se desmontó cuando se hizo público y Amazon también retiró el suyo. Algunos observadores señalan que el sistema incentivó a los empleados a hacer trampas.
La práctica recibió un nombre: tokenmaxxing. La gente aprendió a fabricar consumo con trabajo que no requería IA, usando agentes y delegados digitales sin utilidad real.
Cuando el coste de fabricar una métrica se acerca a cero, esa métrica se fabrica a escala industrial.
En Disney, un empleado interactuó con un asistente de IA 460.000 veces en nueve días. JPMorgan, KPMG, Amazon y Accenture ya rastrean la actividad de IA e integran el impacto en las evaluaciones de desempeño.
Por qué la métrica de consumo se corrompe en cuanto la conviertes en objetivo
La lección no es nueva. En 1956, el sociólogo V.F. Ridgway publicó un artículo titulado ‘Dysfunctional Consequences of Performance Measurements’. Charles Goodhart lo formalizó en la ley de Goodhart.
📦 Caso de estudio: Meta Claudeonomics
- El reto: Meta quería medir la adopción de IA y montó un ranking interno de consumo de tokens.
- La jugada: Clasificó a los 250 mayores consumidores y repartió títulos como ‘Token Legend’.
- El resultado: 60 billones de tokens en 30 días y ningún resultado claro de negocio.
- La lección: Medir el input sin atarlo al impacto corrompe el comportamiento y dispara el coste.
La ley dice que cuando una medida se convierte en objetivo, deja de ser una buena medida. No porque la gente sea deshonesta, sino porque es receptiva a los incentivos.
Lo vimos en los call centers con el tiempo medio de llamada: los agentes colgaban a los clientes. En ventas, con el relleno de canal al cierre de trimestre. En hospitales, con pacientes aparcados en ambulancias.
Los tokens son especialmente fáciles de manipular. Fabricar una métrica de consumo cuesta muy poco: un prompt mínimamente ingenioso la dispara. Cuando el coste de fabricar el número se acerca a cero, el número se fabrica.
La consecuencia es un divorcio total entre el coste de los modelos y el valor que crean. Una empresa no identificada quemó 500 millones de dólares en un mes por un consumo de tokens inesperado.
Una métrica solo sirve si discrimina. Si el uso de IA separa a los buenos de los malos el primer día, al vincularlo a recompensas todos se comportan igual. La distribución se aplana. Adopción del 98 por ciento. Uso en máximos. Nada de eso dice si se está creando valor.
Del token al negocio: cómo diseñar un dashboard de IA que sí discrimine
No es la primera vez que una métrica bienintencionada acaba premiando lo equivocado. En 3M, un régimen cargado de Six Sigma apretó las operaciones y estrechó la cartera de innovación. El balanced scorecard comprimió las evaluaciones hasta dejarlas inservibles.
No se trata de no medir. Se trata de medir al servicio de la estrategia. Antes de instalar otro panel, hay preguntas que valen más que cualquier gráfica.
La falacia de McNamara lo explica: lo que es fácil de medir desplaza a lo que importa. Los tokens son fáciles de contar; evitar una mala decisión o mejorar una habilidad por simulación es difícil de cuantificar.
Pregunta clave: ¿qué decisión cambia si la métrica cambia? Si no cambia ninguna, el indicador no sirve.
Distingue entre input y outcome. Controla costes con el input, pero no lo llames creación de valor.
Los tokens son un input, no un resultado; confundirlos ha costado a las empresas cientos de millones sin mejorar el negocio.
Vigila la varianza. Si todos parecen usuarios intensivos, cambia el panel. Empareja cada medida de eficiencia con una de calidad que empeore al manipular la primera.
Los mejores indicadores en terreno incierto no son puntuaciones; son checkpoints que validan supuestos: confirmar o descartar una hipótesis concreta.
A efectos prácticos, si tu panel de IA no distingue entre actividad y resultado, pagarás la factura sin saber qué has comprado.
🚀 Hoja de Ruta para Emprender
- Mide outcomes, no inputs: Distingue el consumo de tokens del impacto de negocio; el primero solo sirve para control de costes.
- Exige una decisión asociada: Si el indicador no te hace cambiar una decisión cuando varía, borra el panel.
- Vigila la varianza: Si todo el mundo aparece como usuario intensivo, la métrica ha dejado de discriminar; sustitúyela.
- Empareja un contrapeso: Cada métrica de eficiencia necesita una de calidad que empeore al manipular la primera.
