Bir AI ajan satıcısını nasıl değerlendirmeli: sorulacak sorular.

Ben Okan — GOGOGO LLC'nin iş tarafını yürütüyorum, ki bu da odadaki satıcının sık sık ben olduğum anlamına geliyor. Yani bunu olması gerektiği gibi al: bir satıcı sana satıcıları — benimkini dahil — nasıl sorgulayacağını anlatıyor. Bununla rahatım, çünkü aşağıdaki sorular gerçekten ajan sistemlerini düzgün kuran kim olursa onu ödüllendiriyor ve bunları soran bir alıcı, kimi seçerse seçsin daha iyi bir proje alıyor.

Bir AI ajan sistemi satın almanın gerçekten zor olmasının nedeni: her demo etkileyici görünür. Bir demo mutlu yolu bir kez çalıştırır. Gerçekte satın aldığın şeyin mutsuz yolu, gözetimsiz, aylarca çalıştırması gerekir. Önem taşıyan sorular, o ikisi arasındaki boşluğu yoklayanlar.

Soru 1 — 'Başarısız olduğunda ne olduğunu bana göster.'

Bu en önemli soru, dolayısıyla ilk sor. AI üzerine kurulu herhangi bir sistem bazen yanlış olacak — bu bir kusur değil, teknolojinin doğası. Ajanlarının başarısız olmadığını ima eden bir satıcı ya deneyimsizdir ya da seninle dürüst değildir. Dürüst yanıt başarısızlık tasarımını tarif eder: yüksek sesle başarısız olup duruyor mu, yoksa tahmin edip devam mı ediyor? Bir başarısızlığın erişebileceği en kötü şey ne? Burada keskin, alıştırılmış bir yanıtı olan bir satıcı üretimde gerçek sistemler çalıştırmıştır. Soruya şaşıran bir satıcı çalıştırmamıştır.

Soru 2 — 'İyiye gittiğini, kötüye değil, nasıl biliyorsun?'

Bir AI sisteminin çıktısı determinist değildir, dolayısıyla bir değişikliğin onu iyileştirip iyileştirmediğini yalnızca bakarak söyleyemezsin. Satıcıya kaliteyi nasıl ölçtüğünü sor. Değerlendirme kelimesini dinliyorsun — gerçek bir değerlendirme harness'ı, notlandırılmış bir test seti, her değişiklikte önce-sonra sayıları. Yanıt 'test ediyoruz' ya da 'ekibimiz çıktıları inceliyor'sa, bu sezgidir ve sezgi yaklaşık on müşteride ölçeklenmeyi bırakır. Sana bir sayı gösterebilen bir satıcı istiyorsun.

Soru 3 — 'Geçen salı tam olarak ne yaptığını bana gösterebilir misin?'

Bu gözlemlenebilirliği test eder. Ajan beklemediğin bir şey yaptığında — ki yapacak — satıcı o belirli çalıştırmayı çekip sana her adımı, her girdiyi, her kararı gösterebilir mi? Yoksa omuz mu silker? İnceleyemediğin bir sistem, güvenemeyeceğin ve iyileştiremeyeceğin bir sistemdir. Satıcı sana talep üzerine tek bir geçmiş çalıştırmanın trace'ini gösteremiyorsa, problemin acilken onu da hata ayıklayamaz.

Soru 4 — 'On kat hacmim olduğunda bana ne tutuyor?'

Her ajan çalıştırmasının gerçek, sayılabilir bir çıkarım maliyeti vardır. Satıcıdan maliyetin kullanımınla nasıl ölçeklendiğini açıklamasını iste — aylık lisansı değil, altta yatan maliyeti. Birim ekonomisini bilen bir satıcı bunu somut sayılarla yanıtlayabilir. Onu el sallayıp geçen bir satıcı ya hesabı yapmamıştır ya da yapmanı istemez. Her iki durumda da o sayıyla eninde sonunda tanışacaksın; satış sohbetinde tanışman daha iyi.

Soru 5 — 'Seninle çalışmayı bırakırsam buna ne olur?'

Çıkış sorusu. Veriye, yapılandırmaya, iş akışı mantığına kim sahip? Ne kadar kilitlisin? Ayrılmayı planladığın için sormuyorsun — işine güvenen bir satıcının onu sakince yanıtladığı, değeri çoğunlukla kilitlenme olan bir satıcının rahatsız olduğu için soruyorsun. Sakin yanıt iyi işarettir.

“Demoyu satın alma — demo kolay kısımdır ve her satıcının demosu çalışır. Başarısız olduğunda ne olduğunun, onu nasıl ölçtüklerinin, ne yaptığını sana gösterebilip gösteremeyeceklerinin, ölçekte ne tuttuğunun ve nasıl ayrıldığının yanıtlarını satın al. O beş yanıt asıl üründür.”

Kendine soracağın bir soru

Herhangi bir satıcı görüşmesinden önce, bunu kendi başına yanıtla: hangi belirli iş akışını devretmeye çalışıyoruz ve işe yaradığını nasıl bilirdik? İş akışını ve başarı ölçüsünü adlandırabilen bir alıcı, neredeyse her yetkin satıcıyla iyi bir proje yürütür. Yapamayan bir alıcı dünyadaki en iyi satıcı tarafından hayal kırıklığına uğrar, çünkü 'AI ekle' bir projenin vurabileceği bir hedef değildir. O ilk iş akışını seçmene yardım için bir sektör-sektör hazırlık haritası yazdık. Ve bu beş soruyu doğrudan bize yöneltmek istersen — lütfen yap: [email protected].