Cómo evaluar a un proveedor de agentes de IA: las preguntas que hacer.

Soy Okan — corro el lado de negocio de GOGOGO LLC, lo que significa que a menudo soy el proveedor en la sala. Así que tomalo como está pensado: un proveedor contándote cómo interrogar proveedores, el mío incluido. Estoy cómodo con eso, porque las preguntas de abajo recompensan a quien de verdad construye sistemas de agentes como corresponde, y un comprador que las hace consigue un mejor proyecto sin importar a quién elija.

La razón por la que comprar un sistema de agentes de IA es genuinamente difícil: cada demo se ve impresionante. Una demo corre el camino feliz una vez. La cosa que de verdad estás comprando tiene que correr el camino infeliz, sin supervisión, durante meses. Las preguntas que importan son las que sondean la brecha entre esas dos.

Pregunta 1 — 'Mostrame qué pasa cuando falla.'

Esta es la pregunta más importante, así que hacela primero. Cualquier sistema construido sobre IA a veces va a estar equivocado — eso no es un defecto, es la naturaleza de la tecnología. Un proveedor que insinúa que su agente no falla o es inexperto o no te está siendo franco. La respuesta honesta describe el diseño del fallo: ¿falla a los gritos y se detiene, o adivina y sigue? ¿Qué es lo peor que puede alcanzar un fallo? Un proveedor que tiene una respuesta nítida y practicada acá ha corrido sistemas reales en producción. Un proveedor al que la pregunta sorprende, no.

Pregunta 2 — '¿Cómo saben que está mejorando, no empeorando?'

La salida de un sistema de IA es no determinista, así que no podés saber si un cambio lo mejoró solo mirándolo. Preguntale al proveedor cómo mide la calidad. Estás escuchando la palabra evaluación — un harness de evaluación real, un set de test con puntaje, números de antes-y-después en cada cambio. Si la respuesta es 'lo testeamos' o 'nuestro equipo revisa las salidas', eso es vibra, y la vibra deja de escalar alrededor de los diez clientes. Querés un proveedor que te pueda mostrar un número.

Pregunta 3 — '¿Me podés mostrar exactamente qué hizo el martes pasado?'

Esto testea la observabilidad. Cuando el agente haga algo que no esperabas — y lo va a hacer — ¿puede el proveedor traer esa corrida específica y mostrarte cada paso, cada entrada, cada decisión? ¿O se encoge de hombros? Un sistema que no podés inspeccionar es un sistema en el que no podés confiar y que no podés mejorar. Si el proveedor no te puede mostrar el trace de una sola corrida pasada a pedido, tampoco puede depurar tu problema cuando sea urgente.

Pregunta 4 — '¿Cuánto me cuesta cuando tenga diez veces el volumen?'

Cada corrida de agente tiene un costo de inferencia real y contable. Pedile al proveedor que explique cómo escala el costo con tu uso — no la licencia mensual, el costo subyacente. Un proveedor que conoce su economía unitaria puede responder esto en números concretos. Un proveedor que lo esquiva con un gesto o no hizo la cuenta o no quiere que la hagas. De cualquier forma, vas a conocer ese número eventualmente; mejor conocerlo en la conversación de venta.

Pregunta 5 — '¿Qué le pasa a esto si dejo de trabajar con ustedes?'

La pregunta de salida. ¿Quién es dueño de los datos, de la configuración, de la lógica del workflow? ¿Qué tan atado estás? No la hacés porque planees irte — la hacés porque un proveedor confiado en su trabajo la responde con calma, y un proveedor cuyo valor es sobre todo el lock-in se incomoda. La respuesta tranquila es la buena señal.

“No compres la demo — la demo es la parte fácil y la demo de cada proveedor funciona. Comprá las respuestas a qué pasa cuando falla, cómo lo miden, si te pueden mostrar qué hizo, cuánto cuesta a escala, y cómo te vas. Esas cinco respuestas son el producto de verdad.”

Una pregunta para hacerte a vos mismo

Antes de cualquier llamada con un proveedor, respondé esto por tu cuenta: qué workflow específico estamos intentando entregar, y cómo sabríamos que funcionó. Un comprador que puede nombrar el workflow y la medida de éxito corre un buen proyecto con casi cualquier proveedor competente. Uno que no puede va a quedar decepcionado por el mejor proveedor del mundo, porque 'agregar IA' no es una meta que un proyecto pueda alcanzar. Escribimos un mapa de preparación sector por sector para ayudarte a elegir ese primer workflow. Y si querés apuntar estas cinco preguntas directo a nosotros — por favor hacelo: [email protected].