Kodlama aracılarınızın gerçekte bağlama ne kattığına bakın. Tek bir görev için, aracı repoyu tarar, geniş bir vektör araması çalıştırır ve bir satır yazmadan önce yalnızca isteğe benzeyen düzinelerce dosya ve parçayı pencereye yükler. Bunun bedelini iki kez ödersiniz. Model bir kez bağlam için belirteçleri asla kullanmaz ve bir kez kesinlik kazanır, çünkü önemli olan birkaç gerçek artık benzer metinlere gömülür ve gürültüyle dolu bir pencere, modelin mantığını daha da kötüleştirir. Refleks daha uzun bir bağlam penceresi satın almak olabilir, ancak daha büyük bir pencere yalnızca daha fazla gürültü için yer satın alır.
Çözüm, daha fazla erişim ya da daha büyük bir pencere değil, aldığınız şeyi, aracının tam olarak görevin ihtiyaç duyduğu şeyi alacağı şekilde yapılandırmaktır; bu, aynı zamanda daha ucuz ve daha keskindir.
Betsson'da AI-DLC donanımını oluştururken, "kod tabanında arama" yerine aracıların sorguladığı bir bilgi katmanının bunu doğru yapmanın en iyi yolu olduğunu gördük. Bu, kod tabanına ters mühendislik uygulamak veya Aracı kullanımına uygun tam bir bilgi tabanı oluşturmak olabilir. Bir görevi alan bir temsilci artık, yerleştirme alanında görevin yakınında bulunan metni okumak için para ödemek yerine, tam olarak dokunduğu dilimi, yerine getirmesi gereken sözleşmeyi ve onu yöneten kararı çekiyor.
Cevap daha iyi bir yerleştirme modeli veya daha büyük bir pencere değil. Aracıya sistemin yapılandırılmış bir haritasını vermek ve onun yalnızca görevin ihtiyaç duyduğu kısmı getirmesine izin vermektir. Bu harita bir ontolojidir.
Nasıl Önlem Alınmalı?
Ontoloji, bir alanın makine tarafından okunabilen bir haritasıdır: Var olan şeyler, aralarında izin verilen türde ilişkiler ve bunları kısıtlayan kurallar.
Teknik Analiz
Herhangi bir şeyi çıkarmadan önce tanımlanan bilgi grafiğinin şemasıdır. Bir kod tabanı için hizmet, sözleşme, veri varlığı ve karar kaydı gibi varlıkları ve uygulamalar, bağlı olunan ve yönetilenler gibi kenarları adlandırır. Anlam kenarlarda yaşar.
Kısıtlamanın özelliği şudur: Ajan yalnızca tanımladığınız ilişkileri geçebildiğinden, bunları icat etmeyi bırakır, bu da halüsinasyonu azaltır.
Gelecekte Ne Bekleniyor?
Kesin bağlam neden daha ucuz ve daha keskindir?
Düz vektör tabanlı RAG'ın neden başarısız olduğuyla başlayın; Alma, yapısal değil istatistiksel olan benzerliğe göre sıralanır; dolayısıyla yüksek kosinüs benzerliği, bir parçanın alakalı olduğu anlamına gelmez ve aracı, bunu telafi etmek için aşırı alım yapar. Sorun vektörler değil, onları neyle beslediğinizdir. Çoğu yığın, belgeleri rastgele belirteç pencerelerine böler, böylece bir sözleşme iki parçaya bölünür ve ilgisiz üç parça tek bir parça halinde paketlenir.
Detaylar ve Etkileri
Anlamsal Arama veya AST Tabanlı kod parçalama gibi daha gelişmiş teknikleri kullansanız bile, yalnızca bir bilgi parçasına sahip olursunuz, bu bilginin taşıdığı ilişkilere değil.
Sırayı tersine çevirin. Ontolojinin, herhangi bir şey yerleştirilmeden önce bilginizi atomlara ayırmasına izin verin: tek sözleşme, tek karar, atom başına tek varlık, kendi kendine yeten ve yazılan. Diğer atomlarla ilişkiler kurun ve bunu aracıya bir bilgi grafiği formatında sunun.
Uzmanların Görüşleri
Bunun iki yolu var ve ikisi de aynı ağırlıkta. Dolgu maddesi almayı ve okumayı bıraktığınız için jeton maliyeti düşer. Ve çıktı daha da iyileşiyor, çünkü vektör yakınlık aramanız artık seçilmiş bir katman üzerinde çalışıyor, yerleştirmelerin hızlı bir şekilde hatırlanmasını sağlarken aynı zamanda kesilen parçaların hassasiyetini de kazanıyor, bu da aracıya yalnızca görevin ihtiyaç duyduğu atomları vermesi ve gürültü yerine sinyal üzerinden mantık yürütmesi anlamına geliyor. Daha sonra, alınan bir atomdan, yazılan kenarlardan tam bağımlılıklara doğru yürür; her atlama, yakınlıktan tahmin edilmek yerine şema tarafından yönetilir.
Kazanç bileşikleri. Atomları ve kenarları bir kez yukarı yönde derlersiniz ve eklediğiniz her biri bir sonraki görevi hem daha ucuz hem de daha doğru hale getirir, ham yerleştirmeler ise her model oluşturmada değer kaybeder ve yeniden hesaplanır.
Önemli Gelişmeler
Şekillendirilebilir erişim
Bunların hiçbiri vektör aramasını ortadan kaldırmak anlamına gelmiyor. Geri alma işlemini şekillendirilebilir olarak değerlendirin ve sıralamayı doğru yapın: ontoloji önce bilgiyi atomlara ayrıştırır, bu atomları yerleştirirsiniz ve sorgulama zamanında sahip olduğunuz iki bileşen arasında yönlendirirsiniz, geniş hatırlama için seçilmiş atomlar üzerindeki vektör yakınlığı ve ilişkisel hassasiyet için yazılan kenarlar üzerinde grafik geçişi.
Sonuç ve Değerlendirme
Benzerlik, giriş atomlarını bulur, ardından sorgu, görevin ihtiyaç duyduğu tam alt grafiği genişletmek için iki veya üç atlama yapar, böylece aracı hem onu okuyabilir hem de öğrendiklerini geri yazabilir. Atomları, şemayı ve güven puanlarını sahip olduğunuz formatlarda tutun; böylece katman taşınabilir olur ve bir kara kutu içinde kilitli kalmak yerine platformunuzun geri kalanı gibi yönetilir.
Endüstri halihazırda bu tür çözümleri uygulamaya yönelik çözümler üzerinde çalışıyor Örneğin Pinecone'un Nexus'u, bunu bir "bilgi motoru, bir geri alma sistemi değil" olarak paketliyor: verileri yazılı, alıntı yapılan yapıtlar halinde yukarı akışta derliyor ve çalışma zamanında parçaları sıralamak yerine kendi belirteç bütçesini taşıyan tek bir bildirime dayalı sorguyu yanıtlıyor ve ajansal altyapının kritik bir parçası olan bu alanda muhtemelen daha fazla çözüm ortaya çıkacak.
Sistem Güvenliği
Oraya ulaşmak için taktik kitabı
Geri almanın fazla harcama yaptığı yerden başlayın. Aracının bağlamdan en fazla yararlandığı ve en azını kullandığı görevleri ve yanlış yaptığı ilişkisel soruları bulun. Sinyal: görev başına belirteçler ve o alandaki yanlış bağlam yanıtları.
Yerleştirmeden önce şemayla ayrıştırın. Varlık ve uç türlerini önceden kabul edin ve bilginizi sabit boyutlu pencereler yerine ontoloji tanımlı atomlara bölün. Tuzak: model tarafından icat edilen türler ve neredeyse kopya kenarlar. Sinyal: İlişki türleri kapalı kalır ve parçalar tüm anlam birimleriyle eşleşir.
Temel çizgiye tersine mühendislik uygulayın. Kapsamdaki bileşenlere ilişkin varlıkları, sözleşmeleri ve kararları wiki metni olarak değil, sürümlendirilmiş yapılar olarak yakalayın. Sinyal: Bir aracı yalnızca eserlere bakarak "bu neyi açığa çıkarıyor ve neye bağlı?" sorusunu yanıtlayabilir.
MCP üzerinden servis yapın ve şekillendirilebilir şekilde yönlendirin. Atomlar üzerindeki vektör yakınlığına yönelik geniş kapsamlı aramalar, grafik geçişine ilişkin ilişkisel sorular; repoyu değil, yazılan dilimi döndür. Sinyal: bağlam hassasiyeti, modelin gerçekte kullandığı alınan tokenlerin payı.
Stratejik paket servisi
Daha fazla erişim, daha fazla sinyal anlamına gelmez. Bu daha büyük bir fatura ve daha kalabalık bir pencere ve bütçe kadar cevap da sıkıntılı. Kaldıraç düzenlidir: Önce bilgiyi bir ontolojiyle ayrıştırın, böylece parçalarınız tam olarak aracıların ihtiyaç duyduğu atomlar olsun, ardından vektör yakınlığı ve grafik geçişinin bu seçilmiş katman üzerinde çalışmasına izin verin. Kesin bağlam aynı anda daha ucuz ve daha keskindir ve hiçbir kazanç diğerinin zararına olmaz. RAG, ilgili görünenleri alır; bir ontoloji neyin bağlanacağını tanımlar ve şekillendirilebilir bir katman her ikisini de kullanmanıza olanak tanır. Benimsediğiniz her modelde gömmeler değer kaybeder; ontoloji, tanımladığınız her atomla birleşir.
Öyleyse koşum takımınızın temsilcilerini neyle beslediğine karar verin: göreve benzeyen daha fazla metin veya üzerinde akıl yürütebilecekleri yapılandırılmış bir dilim. Daha uzun bir bağlam penceresinin bunu kapatacağını düşünüyorsanız, bunu yorumlarda belirtin. Değilse, platform ekibinize bir aracının yürüttüğü son görevle ilgili iki şey sorun: Model gerçekte bağlamın ne kadarını kullandı ve gerçekte önemli olanın ne kadarı geri kalanına gömüldü?
