El fallo de las 3am: confiar en agentes que nadie está mirando.

El sentido entero de un agente autónomo es que trabaja cuando vos no. Un sistema multi-agente en GOGOGO LLC se gana el sueldo de noche — procesando, enrutando, generando, decidiendo, mientras el cliente y nuestro equipo duermen. Ese es el valor. Ese es también el problema. Porque si el sistema corre a las 3am, el sistema también falla a las 3am, y no hay un humano en el loop para atraparlo.

La mayoría de lo que se escribe sobre fiabilidad de agentes va sobre prevenir fallos. Eso es necesario y no alcanza, porque los fallos no son del todo prevenibles — un sistema no determinista eventualmente va a hacer algo mal. La pregunta que de verdad decide si se puede confiar en vos es la que la mayoría de los equipos no diseña: ¿qué hace el sistema cuando falla y nadie está mirando?

Los modos de fallo no son iguales a las 3am

Durante el día, cada fallo es más o menos tolerable, porque un humano lo va a ver y juzgar. A las 3am los fallos se ordenan en una jerarquía, y tenés que diseñar para la jerarquía, no para el promedio.

El fallo ruidoso — el agente da error, se detiene y loguea. Este es el buen fallo. No le pasó nada malo al cliente; el trabajo está pausado, no corrupto. Un fallo ruidoso a las 3am simplemente puede esperar a la mañana.

El fallo silencioso-equivocado — el agente produce una salida confiada y equivocada y sigue. Este es el fallo que termina con empresas. Nadie lo ve, el resultado equivocado fluye aguas abajo hacia la memoria y hacia otros agentes, y para la mañana ya se esparció. Todo el trabajo del diseño de las 3am es convertir los fallos silenciosos-equivocados en fallos ruidosos.

El descontrolado — el agente no para. Reintenta, hace loop, o escala sus propias acciones, y cada iteración cuesta plata o hace daño. Un descontrolado a las 3am, descubierto a las 9am, son seis horas componiéndose. Este no puede esperar a la mañana, así que necesita un límite duro que el sistema se imponga a sí mismo.

Las cuatro reglas con las que corremos

Así hacemos que un sistema sea confiable para dejar solo. Nada de esto es exótico; la disciplina está en hacerlo de verdad antes de la autonomía, no después de la primera mala noche.

1 · Fallar ruidoso por defecto

El comportamiento por defecto de cada agente ante la incertidumbre es detenerse y loguear, nunca adivinar y seguir. Un trabajo pausado es recuperable a la mañana; un resultado equivocado que se mandó no lo es. Esto te cuesta algo de throughput — los agentes se detienen en casos que un humano habría dejado pasar — y ese trade-off es correcto. Ajustamos hacia detenerse.

2 · Presupuestos duros que el sistema se impone solo

Cada corrida autónoma tiene techos que no puede exceder: un presupuesto de tokens, un límite de reloj de pared, un máximo de reintentos, un tope de acciones externas. Cuando una corrida llega a un techo se detiene a sí misma y escala. Esta es la única defensa contra el descontrolado, porque el descontrolado por definición no va a parar solo. El presupuesto no es una configuración de rendimiento. Es un dispositivo de seguridad.

3 · El radio de explosión se acota antes de dormir

Un agente nocturno recibe los permisos más angostos que igual le permitan hacer el trabajo. Puede redactar pero no enviar; preparar pero no publicar; marcar pero no borrar — salvo que una acción específica haya sido explícita y separadamente habilitada para autonomía. La pregunta antes de dejar un sistema sin supervisión nunca es '¿va a fallar?'. Es 'cuando falle, ¿qué es lo peor que puede alcanzar?'. Eso lo respondés limitando lo que puede alcanzar.

4 · La mañana recibe un trace completo, no una sensación

Quien abra el dashboard a las 9am tiene que poder ver exactamente qué pasó toda la noche — cada corrida, cada calificación, cada detención, cada escalamiento, cada uno atado a un trace_id reproducible. No un resumen. No una sensación. El trabajo del sistema nocturno incluye dejar un registro completo y honesto de sí mismo para la mañana. Una noche que no podés reconstruir es una noche en la que no podés confiar.

“No te ganás el derecho a correr sin supervisión por nunca fallar. Te lo ganás fallando ruidoso, fallando acotado, fallando dentro de un radio de explosión chico, y dejando un trace lo bastante claro como para que la mañana sepa exactamente qué hizo la noche.”

La confianza es una propiedad que se ingeniería

Cuando un cliente pregunta '¿puedo confiar en que esto corra de noche?', suele escucharlo como una pregunta sobre la inteligencia de la IA. No lo es. Es una pregunta sobre diseño operativo. Un agente modesto con fallo ruidoso, presupuestos duros, un radio de explosión acotado y trazabilidad honesta es confiable. Un agente brillante sin nada de eso no lo es — es solo un agente brillante con el que, eventualmente, vas a tener una muy mala mañana.

Así que no vendemos la autonomía como 'el agente es lo bastante inteligente como para dejarlo solo'. La vendemos como 'el agente está construido para dejarlo solo' — y esas son afirmaciones distintas, siendo la segunda la única honesta. El fallo de las 3am viene para todo sistema autónomo. Que sea un no-evento o un desastre se decidió en tiempo de diseño, por vos, mientras todavía era de día. Más sobre cómo construimos en gogogollc.com.