Gece 3 başarısızlığı: kimsenin izlemediği ajanlara güvenmek.

Otonom bir ajanın bütün amacı, sen çalışmadığında çalışmasıdır. GOGOGO LLC'deki bir çoklu-ajan sistemi hakkını gece boyunca verir — müşteri ve ekibimiz uyurken işliyor, yönlendiriyor, üretiyor, karar veriyor. Değer bu. Sorun da bu. Çünkü sistem gece 3'te çalışıyorsa, sistem gece 3'te başarısız da olur ve onu yakalayacak döngüde bir insan yoktur.

Ajan güvenilirliği hakkındaki çoğu yazı başarısızlıkları önlemekle ilgili. Bu gerekli ve yeterli değil, çünkü başarısızlıklar tamamen önlenebilir değil — determinist olmayan bir sistem eninde sonunda yanlış bir şey yapacak. Güvenilir olup olamayacağına gerçekten karar veren soru, çoğu ekibin tasarlamadığı soru: sistem başarısız olduğunda ve kimse izlemiyorken ne yapar?

Başarısızlık modları gece 3'te eşit değildir

Gün boyunca her başarısızlık aşağı yukarı sorun değil, çünkü bir insan onu görüp yargılayacak. Gece 3'te başarısızlıklar bir hiyerarşiye ayrılır ve ortalama için değil, hiyerarşi için tasarlamalısın.

Yüksek sesli başarısızlık — ajan hata verir, durur ve günlükler. Bu iyi başarısızlık. Müşteriye yanlış bir şey olmadı; iş duraklatıldı, bozulmadı. Gece 3'teki yüksek sesli bir başarısızlık sabahı bekleyebilir.

Sessiz-yanlış başarısızlık — ajan özgüvenli, yanlış bir çıktı üretir ve devam eder. Şirketleri bitiren başarısızlık bu. Kimse görmez, yanlış sonuç aşağı akışa, belleğe ve diğer ajanlara akar ve sabaha yayılmıştır. Gece 3 tasarımının tüm işi, sessiz-yanlış başarısızlıkları yüksek sesli başarısızlıklara çevirmektir.

Kaçak — ajan durmaz. Yeniden dener, döngüye girer ya da kendi eylemlerini tırmandırır ve her yineleme para tutar ya da zarar verir. Gece 3'teki, sabah 9'da keşfedilen bir kaçak, altı saatlik bileşik etkidir. Bu sabahı bekleyemez, dolayısıyla sistemin kendine dayattığı sert bir limite ihtiyacı var.

Çalıştığımız dört kural

Bir sistemi yalnız bırakmaya güvenilir kılmanın yolu bu. Hiçbiri egzotik değil; disiplin, ilk kötü geceden sonra değil, otonomiden önce bunu gerçekten yapmakta.

1 · Varsayılan olarak yüksek sesle başarısız ol

Her ajanın belirsizlik karşısındaki varsayılan davranışı durup günlüklemek, asla tahmin edip devam etmek değildir. Duraklatılmış bir iş sabahleyin kurtarılabilir; yayınlanmış yanlış bir sonuç değildir. Bu sana biraz verimlilik kaybettirir — ajanlar bir insanın elini sallayıp geçeceği vakalarda durur — ve bu takas doğru. Durmaya doğru ayarlıyoruz.

2 · Sistemin kendine dayattığı sert bütçeler

Her otonom çalıştırmanın aşamayacağı tavanları var: bir token bütçesi, bir duvar-saati limiti, maksimum yeniden deneme sayısı, dış eylemlere bir sınır. Bir çalıştırma bir tavana çarptığında kendini durdurur ve tırmandırır. Bu, kaçağa karşı tek savunmadır, çünkü kaçak tanım gereği kendi başına durmaz. Bütçe bir performans ayarı değil. Bir güvenlik aygıtı.

3 · Patlama yarıçapı uyumadan önce sınırlanır

Gece çalışan bir ajan, işi yapmasına hâlâ izin veren en dar izinleri alır. Taslak hazırlayabilir ama gönderemez; sahneleyebilir ama yayınlayamaz; işaretleyebilir ama silemez — belirli bir eylem otonomi için açıkça, ayrıca güvenilir kılınmadıkça. Bir sistemi gözetimsiz bırakmadan önceki soru asla 'başarısız olacak mı?' değil. 'Başarısız olduğunda erişebileceği en kötü şey ne?' Buna, neye erişebileceğini sınırlayarak yanıt verirsin.

4 · Sabah bir his değil, tam bir trace alır

Sabah 9'da panoyu açan kişi, bütün gece tam olarak ne olduğunu görebilmeli — her çalıştırma, her not, her durdurma, her tırmandırma, her biri yeniden-oynatılabilir bir trace_id'ye bağlı. Bir özet değil. Bir his değil. Gece sisteminin işi, sabah için kendisinin eksiksiz, dürüst bir hesabını bırakmayı içerir. Yeniden kuramadığın bir gece, güvenemeyeceğin bir gecedir.

“Gözetimsiz çalışma hakkını asla başarısız olmayarak kazanmazsın. Onu yüksek sesle başarısız olarak, sınırlı başarısız olarak, küçük bir patlama yarıçapı içinde başarısız olarak ve sabahın gecenin tam olarak ne yaptığını bileceği kadar net bir trace bırakarak kazanırsın.”

Güven, mühendislikle yapılan bir özelliktir

Bir müşteri 'buna gece boyunca çalışması için güvenebilir miyim?' diye sorduğunda, bunu genelde AI'ın zekâsı hakkında bir soru olarak duyar. Değildir. Operasyonel tasarım hakkında bir sorudur. Yüksek sesli başarısızlığı, sert bütçeleri, sınırlı bir patlama yarıçapı ve dürüst trace'i olan mütevazı bir ajan güvenilirdir. Bunların hiçbiri olmayan parlak bir ajan değildir — sadece eninde sonunda çok kötü bir sabah geçireceğin parlak bir ajandır.

Bu yüzden otonomiyi 'ajan yalnız bırakacak kadar zeki' diye satmıyoruz. Onu 'ajan yalnız bırakılmak üzere kuruldu' diye satıyoruz — ve bunlar farklı iddialar, ikincisi tek dürüst olan. Gece 3 başarısızlığı her otonom sistem için geliyor. Bir hiç-olay mı yoksa bir felaket mi olduğu, tasarım zamanında, senin tarafından, hâlâ dışarısı aydınlıkken belirlendi. Nasıl kurduğumuza dair daha fazlası gogogollc.com.