GOGOGOLLC
Blog'a dönAjansal AI kılavuzunun parçası
Platform5 dk okuma

Observability bir eklenti değil, orchestrator’dur.

Her hand-off, her tool çağrısı, her skor varsayılan olarak yakalanır. Observability’yi sonradan vidalamayız; her agent’ın üstünde yürüdüğü ray haline getiririz.

PT

Platform team

Platform mühendisliği

Observability bir eklenti değil, orchestrator’dur.

Çoğu ekip önce orchestrator’ı kurar, observability’yi sonra ekler. Biz tersini yaptık. Trace zaman çizelgesi, herhangi bir uzman agent’tan önce vardı ve o zamandan beri yayına aldığımız her agent ona yazmak üzere kuruldu. Herhangi bir çalıştırmayı tekrar oynatabilmemizin, herhangi bir kararı denetleyebilmemizin ve herhangi bir değişikliği geri alabilmemizin sebebi bu sıralama.

Önce rayı kurun

Trace’i ikinci kurduğunuzda, ondan önce yayına aldığınız her agent’ın kendi ad-hoc loglama formatı olur. Sonraki çeyreği adapter yazarak geçirirsiniz. Trace’i önce kurduğunuzda, her yeni agent formatı miras alır çünkü seçilecek başka bir format yoktur.

Bir trace neler içerir

  • Çalıştırma için trace_id ve parent_id.
  • Her hand-off (hangi uzman, hangi girdiyle çağrıldı).
  • Her tool çağrısı (verb, hedef, gecikme, idempotency-key).
  • Her model çağrısı (prompt, yanıt, model, token, maliyet).
  • Her karar (router niyeti, güven, eskalasyon durumu).
  • Her sonuç (başarı, uyarı ile yumuşak hata, hata ile sert hata).

Replay öncelikli tasarım

Trace doğrunun kaynağı olduğu için herhangi bir çalıştırmayı uçtan uca tekrar oynatabiliriz. Agent’larda regresyon testini uygulanabilir kılan şey bu: yeni bir uzmanı yayına alın, dünkü 10 bin trace’i ona karşı tekrar oynatın, çıktıların farkını alın, yayınlayın veya geri alın.

Observability aynı zamanda bir ürün yüzeyidir

Trace’i müşteri panosunda gösteriyoruz. Bir kullanıcı garip bir sonuç bildirdiğinde destek trace_id’yi ister ve birlikte bakarız. Bu ‘destek talebi’ kavramının ne anlama geldiğini değiştirir: log’lar üzerinde tahmin yürütmüyoruz, müşterinin gördüğü aynı zaman çizelgesine bakıyoruz.

Aynı ray, ürünlerde

Bu alışkanlık agent runtime’larıyla sınırlı değil. Bağımsız kardeş şirketimiz GOTONOM’un ürünleri de aynı şekilde kuruldu: bir insan sistemin yalnızca ne yaptığını söylediğini değil, gerçekte ne yaptığını görebilir. Hiçbiri ürün sayfasında buna observability demiyor, ama her birinde bunun somut bir karşılığı var.

  • GoPeople her İK talebini onay geçmişiyle birlikte kaydeder. Çalışan WhatsApp’tan yazar, mesaj sınıflandırılır, yetkili onaycı kararını panelde verir ve sonuç çalışana geri gider. Sürecin tamamı kayıt altına alınır ve raporlanır; İK kimin talep ettiğini, kimin karar verdiğini ve bunun ne zaman olduğunu görebilir.
  • GoVista her ekranın oynatım analitiğini ve cihaz sağlığını gösterir; bir ekran çevrimdışı kaldığında panelden ya da WhatsApp’tan uyarı gönderir. Bağlantısı kopan ekran, önceden indirdiği içeriği oynatmayı sürdürür ve operatör onu uzaktan yeniden başlatabilir.
  • GoTrack gönderdiği her webhook’u HMAC-SHA256 ile imzalar: pickup, return, touch_interaction, screen_paired, screen_offline ve test olayları. Böylece olayı alan sistem, olayın gerçekten GoTrack’ten geldiğini ve yolda değişmediğini doğrulayabilir.
  • GoTrack, mağazanın interneti kesildiğinde de çalışmayı sürdürür: olaylar mağazadaki cihazda bekler ve bağlantı geri geldiğinde gönderilir; ağdaki bir kesinti, verideki bir boşluğa dönüşmez.
  • GoTrack ölçümlerini yöntemiyle birlikte yayımlar. Ekran tepki süresi ve internetsiz çalışma testi gotrackgo.com’da laboratuvar notu olarak duruyor; her biri ölçüldüğü tarihle ve nasıl ölçüldüğüyle birlikte.

Pahalı olan sessiz hatadır

Yüksek sesle başarısız olan bir çalıştırma bir öğleden sonraya mal olur: görürsünüz, düzeltirsiniz. Sessizce başarısız olup bir rapora ya da belleğe makul görünen yanlış bir cevap yazan çalıştırma ise çok daha pahalıdır, çünkü kimse onu aramaya çıkmaz. İkisini trace sayesinde ayırırız. İşini yapamayan bir agent, gerçek bir sonuç gibi okunan boş bir çıktı bırakmaz; zaman çizelgesinde hatası ekli, başarısız bir adım bırakır.

Buradan kendi kodumuza uyguladığımız bir kural çıkıyor: “kontrol edemedik” ile “kontrol ettik, bir şey bulmadık” asla aynı görünmemeli. İlki yeniden denenebilir ve hiçbir ortalamaya girmez; ikincisi gerçek veridir. Bu sitedeki App Store puanı bile bu kurala uyar. Goddo’nun puanı, puan aldığı her ülke mağazasından ayrı ayrı okunur ve bu okumalardan biri bile başarısız olursa hiçbir şey gösterilmez; çünkü eksik bir toplam, daha küçük bir sayıyı gerçek sayıymış gibi gösterirdi.

Maskotumuz GoBot’un yüzünün bir ekran olmasının sebebi de bu. İyi bir agent’ın saklayacak bir şeyi yoktur; ne yaptığını her zaman görebilmelisiniz.

“Observability, panoda bir sekme değildir. Agent’larınızın içinde yaşadığı runtime’dır.”

Bunu işin için ister misin?

Önce hangi iş akışını kuracağını anlat. Sana 4 fazlı bir plan ve uygun ajanlarla geri döneriz.