Uyuyan ajan.

İşte hissettirdiğinden daha tuhaf olması gereken bir olgu: hayatının üçte birini bilinçsiz geçiriyorsun ve o zaman boşa gitmiyor — beyninin en önemli işini yaptığı zaman. Uyku sırasında günün deneyimleri yeniden oynatılır, ayrıştırılır, sıkıştırılır ve kırılgan kısa-vadeli depodan dayanıklı uzun-vadeli belleğe taşınır. Uyku, işin yokluğu değildir. Belirli, temel bir iş türüdür. Çoklu-ajan sistemlerinin de buna ihtiyacı olduğunu düşünüyorum ve GOGOGO LLC'de bu fikir sessizce nasıl kurduğumuzun bir parçası oldu.

Bu yazı yarı mühendislik, yarı bir öneri. Mühendislik gerçek — onu çalıştırıyoruz. Çerçeveleme — buna 'uyku' demek, bir kısmına 'rüya görmek' demek — bilinçli bir mecaz ve mecazın nerede yük taşıdığı, nerede sadece iyi bir isim olduğu konusunda dürüst olacağım.

Problem: yalnızca uyanıkken çalışan bir ajan

Daha önce belleğin bir veritabanı olmadığını yazdım — iyi bir ajanın dört bellek katmanı olduğunu ve unutmanın bir özellik olduğunu. Ama o yazı bir soruyu yanıtsız bıraktı: ayrıştırma ne zaman olur? Ham deneyim — bu çalıştırma oldu, şu başarısız oldu — ne zaman dayanıklı bilgiye damıtılır?

Yanıt 'istek sırasında' ise, bir problemin var. Canlı bir isteği işleyen bir çoklu-ajan sistemi zaman baskısı altındadır. O anda, aynı zamanda, şimdiye kadar öğrendiği her şeyi düşünceli biçimde yeniden örgütleyemez. Yalnızca 'uyanıkken' — istekleri sunarken — çalışan bir ajan, kendi deneyimini anlamlandırmak için ihtiyaç duyduğu sessiz saati asla bulamaz. Ham epizotlar biriktirir ve onları hiç sindirmez. Tam olarak uykusuzdur.

Öneri: bir uyku fazı

Bu yüzden sisteme çevrimdışı bir faz veriyoruz — hiçbir canlı istek gelmediğinde — bütün işi günü işlemek olan. Buna uyku diyoruz çünkü benzetme şirin değil, kesin. İçinde üç şey olur ve üçünün de doğrudan bir insan-uykusu karşılığı var.

1 · Konsolidasyon — kısa-vadeliyi uzun-vadeliye taşımak

Gün boyunca sistem epizodik bellek biriktirir: tek tek çalıştırmaların ham kayıtları. Uyku fazı o epizotları geriye doğru okur ve onları semantik belleğe — dayanıklı, genel olgulara — damıtır. 'Bu müşteri bu hafta X'i üç kez sordu', 'bu müşteri X'i önemsiyor'a dönüşür. Uyuyan bir beynin yaptığı tam olarak bu: günün özgül olaylarını alır ve dayanıklı örüntüyü çıkarır. Canlı yapılırsa, zaman olmayan bir lüks. Uyku fazında yapılırsa, ana olay.

2 · Budama — önemsizin solmasına izin vermek

Uyuyan bir beyin ayrıca, bilerek unutur — önemli olmayan bağlantıları zayıflatır ki önemli olanlar öne çıksın. Uyku fazı da aynısını yapar: günün epizotlarını önem için skorlar ve düşük-önemli olanların çürümesine izin verir. Belleğini canlı budayan bir ajan o kararı baskı altında veriyor olurdu. Uyurken budayan bir ajan onu sakince, bütün gün görüş alanındayken verir. İyi yapılan unutmak, bir gece işidir.

3 · Yeniden oynatma — rüya görmek diyeceğim kısım

Mecazın süs olmaktan çıktığı kısım bu. Uyuyan bir beyin günü yeniden oynatır — deneyimleri, tam olarak öyle olmamış olanları dahil, yeniden çalıştırır ve yeniden oynatmadan öğrenir. Bizim uyku fazımız gerçekten benzer bir şey yapar: günün kaydedilen trace'lerini, başarısız olanları dahil, düşündüğümüz herhangi bir değişikliğe karşı yeniden çalıştırır. Aslında şunu sorar: 'bugün biraz farklı olsaydım, gün daha iyi mi geçerdi?' Hiç gerçekleşmemiş çalıştırmalardan öğrenir. Deneyimi çevrimdışı yeniden oynatıp ondan öğrenmek için tek bir kelime istersen, 'rüya görmek' fena değil.

Sistem ertesi sabah nasıl

Uyumuş bir ajan, ertesi güne yatmaya gidenden ölçülebilir biçimde farklı başlar. Semantik belleği daha zengin — dünün özgül olayları artık genel bilgi. Bellek deposu daha hafif — gürültü budandı, dolayısıyla erişim daha hızlı ve daha temiz. Ve prosedürel belleği yeniden oynatma tarafından güncellendi — bir gecede, işinde biraz daha iyi oldu. Bunların hiçbiri sana hizmet ederken olmadı. Hepsi, burada önem taşıyan tek anlamda, o uyurken oldu.

“Hiç durmadan çalışan bir AI istemeye alışkınız. Ama uyumak için hiç durmayan bir sistem, kendinden öğrenmek için de hiç durmaz — yalnızca biriktirir. Bir çoklu-ajan sisteminin en hakkı yenmiş fazı, kimse için hiçbir şey, kendisi için her şey yaparak geçirdiği saattir.”

Rahatsız edici, faydalı fikir

AI kurarken içgüdü, çalışma süresini en üst düzeye çıkarmaktır — bir istek sunmayan her dakika boşa gitmiş hissettirir. Uyku fazı tam da o içgüdüye karşı doğrudan bir argüman. Sessiz saat israf değil; ham deneyimin bilgiye, dağınıklığın netliğe, dünün başarısızlıklarının yarının becerisine dönüştüğü andır. Onu artık bilerek kuruyoruz. Yalnızca uyanıkken çalışan bir ajan daha üretken değildir — sadece sonsuza dek daha yorgundur. Bir sistemin gece 4'te yapabileceği en iyi şey, bir istek daha yanıtlamak değildir. Geçirdiği günün üzerine uyumaktır. Nasıl düşündüğümüze dair daha fazlası gogogollc.com.