Mark Zuckerberg dijo esta semana en una reunión interna que los agentes de IA no han avanzado tanto como esperaba Meta. La frase puede sonar a excusa corporativa, pero apunta a un problema real: muchos proyectos de agentes funcionan bien en presentación y mal en producción.
La diferencia no suele estar en el modelo. Está en cómo se evalúa el proyecto.
Qué medir (y qué no)
La mayoría de equipos evalúan su agente con métricas equivocadas. Preguntan "¿funciona?" cuando deberían preguntar "¿funciona para qué caso, con qué frecuencia y con qué coste?".
Tasa de resolución autónoma. De cada 100 interacciones, ¿cuántas resuelve el agente sin intervención humana? Un agente de soporte que resuelve el 30% de los casos solo está generando trabajo extra para tu equipo si el otro 70% requiere revisión manual completa.
Tiempo medio de resolución. Si el agente tarda 45 segundos en responder pero tu equipo tarda 10 minutos en corregir la respuesta, el ahorro neto es negativo. Mide el tiempo total del caso, no solo el tiempo del agente.
Coste por interacción. Los modelos cobran por token. Un agente que usa 2.000 tokens por respuesta y procesa 500 consultas al día cuesta más que un empleado junior a tiempo parcial. Haz los números antes de escalar.
Tasa de escalado. ¿Cada cuántas interacciones el agente deriva a un humano? Si el 60% de los casos acaban en escalado, el agente no está automatizando. Está filtrando. Y filtrar tiene un coste.
Señales de que el proyecto no va bien
Hay indicadores tempranos de que un agente no va a funcionar como esperabas. No son fallos técnicos. Son señales de que el caso de uso no encaja.
El equipo confía menos en el agente que el primer día. Si después de tres semanas tus empleados prefieren hacer el trabajo manualmente, el agente no está aportando valor. La adopción interna es la métrica más honesta.
Las excepciones son más frecuentes que los casos estándar. Si tu agente funciona bien para pedidos nacionales pero no para internacionales, y el 40% de tus pedidos son internacionales, tienes un problema de diseño, no de implementación.
El coste sube cada mes sin que suba la resolución. Si el agente procesa más consultas pero resuelve el mismo porcentaje, estás escalando ineficiencia.
Nadie sabe quién es el responsable del agente. Si el equipo de producto dice que es cosa de IT, y IT dice que es cosa de producto, el agente no tiene dueño. Y sin dueño, no mejora.
Cuándo pivotar o parar
Un agente que no cumple las métricas después de 60 días no va a mejorar solo. Tienes tres opciones.
Reducir el alcance. Si el agente intenta cubrir cinco casos de uso y solo funciona bien en dos, recórtalo. Un agente que hace dos cosas bien vale más que uno que hace cinco regular.
Cambiar el modelo o el prompt. A veces el problema es que el modelo no tiene las capacidades necesarias para tu caso. Un modelo más grande, un prompt mejor estructurado o un sistema RAG más completo pueden cambiar el resultado.
Parar el proyecto. Si después de ajustar alcance y modelo las métricas no mejoran, el caso de uso no es adecuado para un agente. Eso no es un fracaso. Es información. Redirige el presupuesto a un caso con mejor encaje.
En Luxion evaluamos proyectos de agentes de IA con métricas reales desde la primera semana. Te enseñamos un prototipo conectado a tus datos, medimos resultados durante 30 días y decidimos juntos si escalar, ajustar o parar. Sin compromisos a largo plazo ni promesas de automatización total.