Bir router agent ile WhatsApp İK mesajlarını sınıflandırmak.

GoPeople’ı çıkardığımızda, mesajı okuyan, çalışanın ne istediğini çözen ve cevaplayan tek bir büyük agent inşa ettik. Akıllıydı. Aynı zamanda pahalıydı, yavaştı ve denetlenmesi imkânsızdı. Bu tek agent’ı ucuz bir router ve küçük bir workflow agent zoo’suna bölmek bize gecikme bütçemizi geri verdi — ve İK’ya gerçekten ne yaptığımızın bir kaydını verdi.

Bir beyin, çok fazla beyindir

Hepsi-bir-arada agent, ‘yes’ veya ‘bana izin günü kaldı mı?’ gibi mesajlar için bile her turda üst seviye bir model kullanıyordu. Aynı zamanda iki tamamen farklı işi karıştırıyordu: bunun ne tür bir talep olduğuna karar vermek ve o talebe hizmet etmek. Bu ikisi farklı prompt’lar, farklı tool’lar ve çok farklı maliyet profilleri ister.

Router agent

Router agent’ımız küçük, hızlı bir modeldir ve tek bir şey yapar: mesajı N niyetten birine sınıflandırır. Bir etiket ve bir güven değeri döner. Güven bir eşiğin altındaysa orchestrator bir clarification agent’a yükseltir — bir workflow agent’a asla. Workflow agent’ları yalnızca sınıflandırılmış niyetler görür.

// Router output is a value, not a sentence.
type Intent =
  | "leave.request"
  | "leave.balance"
  | "payroll.payslip"
  | "doc.request"
  | "policy.lookup"
  | "smalltalk"
  | "unknown";

const { intent, confidence } = await router.classify(message);
if (confidence < 0.6) return clarify(message);
return workflow[intent].run(message, ctx);

Bu yönlendirme deseni neden kazanıyor

• Router ucuzdur. Onu her mesajda, ‘ok’ üzerinde bile çağırmayı göze alabiliriz.
• Workflow agent’ları daha aptaldır. Niyeti ikinci kez sorgulamalarına gerek yoktur — o karar yukarıda alınmıştır.
• Clarification’ın kendi agent’ı vardır. Leave-request prompt’larını ‘belki kullanıcıya ne demek istediğini sor’ ile kirletmeyiz.
• Denetim önemsizdir. Denetim kaydı sadece yanıtı değil niyeti gösterir, böylece İK sistemin ne yaptığımızı düşündüğünü bilir.

Router’da çok kiracılılık

Holding’ler genellikle tek bir WhatsApp numarası altında birden fazla alt şirket çalıştırır. Router’ın verdiği ilk karar niyet değildir — tenant’tır. Çalışanı niyet sınıflandırıcısını çalıştırmadan önce dizine karşı sınıflandırırız. Böylece her alt şirketin politikaları, izin bakiyeleri ve bordro sorguları yapısal olarak izole edilir.

Ne ölçtük

Router desenine geçtikten sonra mesaj başına ortalama maliyetimiz ~3.4x düştü ve İK’nın otomatik sınıflandırma oranı %94’ün üzerine çıktı. Sınır vakaları hâlâ bir insana yükseltilir, ama insan artık sistemin en iyi tahminini görür — yeniden yapmıyor, gözden geçiriyor.

“En büyük model bir router değildir. En küçük, en ucuz, en hızlı model router’dır.”