Winslow Homer'ın en ünlü suluboya tablosu bir çocuk çizimi gibi yeniden yorumlandığında ne olur? Bu soru, yapay zekanın sadece soru cevaplama ve kod yazmanın ötesinde ne gibi yetenekleri olabileceğini sorgulamama yol açtı. Cevabım şu: Yapay zekaların içindeki 'gizli alanlar' (latent spaces), yaratıcılık için yeni bir medya haline gelecek. Bu yazıda, latent alanın ne olduğunu açıklayacak ve bilim insanları ile sanatçıların bu alanı nasıl kullanabileceğine dair olası yollar sunacağım.
Bir Büyük Dil Modeli (LLM), tüm insan bilgisini içeren küçük bir zip dosyası gibidir. Bulutta çalışan 100.000 GPU çipinden oluşan devasa diziler ve milyarlarca dolarlık maliyetle, tüm insan yazılarını tek bir GPU çipinde çalışabilecek küçük bir modele sıkıştırmak mümkün. En büyük öncü modeller bile birkaç yüz gigabayta sıkışır; bu, avucunuzun içindeki bir karta sığacak kadar küçüktür. Garip ama gerçek bir şekilde, ortaya çıkan bu küçük dosya, internetteki ve kütüphanelerimizdeki tüm bilgileri içerir. Bu küçük kart, insanlığın kolektif olarak bildiği şeylerin önemli bir kısmını barındırır. Yapay zekanın dikkat çekici yönleri arasında, bu şaşırtıcı sıkıştırma başarısı belki de en az takdir edilenidir. 'Latent alan' olarak adlandırılan bu yoğun, yüksek düzeyli sıkıştırma, kendi başına yeni bir medya olabilir.
Latent alanlar içindeki bu aşırı bilgi sıkıştırması, LLM'leri icat eden araştırmacıların asıl amacı değildi. İçerdikleri kitabi zekâ, onları eğitenler için bir sürpriz oldu ve hâlâ nasıl çalıştıklarını çözmeye çalışıyoruz. Kesin olarak söyleyebileceğimiz şey, LLM'nin bildiği her şeyin kopyalarını içermediğidir. Örneğin, tüm Shakespeare oyunlarını bilir ve Shakespeare gibi ses çıkaran yeni bir oyun yaratabilir, hatta oyunlarındaki ünlü satırları alıntılayabilir, ancak modelin hiçbir yerinde Shakespeare'in gerçek metinleri yoktur. Bunun yerine, tüm oyunlar, olay örgüleri, karakterler, kelimeler, stil ve referanslar hakkında soyut bilgi vardır. Benzer şekilde, LLM neredeyse herkesin yüzünü tanıyabilir ve olası herhangi bir insan yüzünü üretebilir, ancak kodunda insan yüzlerinin kopyaları yoktur. Model, hiçbir yüzü depolamadan insan yüzleri hakkındaki tüm bilgileri depolar.
Önemli Gelişmeler
Bu tuhaf. Yakın zamana kadar, bir şey hakkındaki tüm bilgilerin, o şeyin kendisinden daha fazla depolama alanı kaplayacağını düşünebilirdik. Bu tek bir şey için doğru olabilir, ancak tüm şeylerin toplamı için geçerli değildir. Çünkü çoğu şey, diğer şeylerle birçok ortak özelliği paylaşır. Bir LLM'nin sinir ağları, her şeyin bilgisini aynı anda soyutlayarak sihirli bir numara yapar; böylece şeyler ve fikirler arasındaki sayısız ortak ilişkiyi kullanarak onları bu sanal 'gizli' alana sıkıştırır ve soyutlar.
Büyük Dil Modeli'ndeki üç terimin de önemi büyük. 'Büyük' kısmı, modellerin Wikipedia'daki tüm bilgileri, onlarca yıllık internet metinlerini, tüm web sayfalarını ve çevrimiçi tartışmaları, taranmış kitapları ve çoğu kütüphanedeki dergileri içerdiği anlamına gelir. Şu ana kadar modelin gücü, boyut büyüdükçe artmaya devam ediyor. Ne kadar çok bilgiyle eğitilirse, o kadar çok bağlantı kurar ve daha iyi hale gelir.
Detaylar ve Etkileri
LLM'lerin 'Dil' kısmı, gizli sos olarak ortaya çıkıyor. LLM'ler aslında yalnızca otomatik dil çevirisi yapmak için icat edildi. Ancak bu kez, daha önceki yapay zeka araştırmacılarının yaptığı gibi dilin kurallarını öğretmek yerine, hiçbir dil uzmanlığı gerekmedi. Bunun yerine, bir sinir ağı, insan yazılı dilinden (internet) oluşan çok büyük bir veritabanını emdi; amaç, sinir ağının (yapay zeka), bu milyarlarca belgede bulunan, farkındalığımızın altındaki tüm gizli dil kalıplarını çıkarmasıydı. Programın amacı, dilin insanlar tarafından günlük olarak kullanıldığı şekildeki kalıplarını kopyalamak, taklit etmek ve sentezlemekti.
Sonuçlar herkesi şok etti. LLM'ler elbette insan gibi dil çevirisi yapabiliyordu, ancak yapay zeka aynı zamanda insan benzeri zekâ belirtileri de gösteriyordu. Dilde yaratıcı olabiliyorlardı; örneğin bir sone tarzında satış konuşması yazabiliyorlardı. Bazı erken dönem araştırmacılar, bu ortaya çıkan davranıştan ürktü; Google araştırmacılarından biri, Google'ın LLM'sinin kapatılmaması gereken bir iç zekâya sahip olduğunu hissetti. Şimdi anlıyoruz ki LLM'lerde gördüğümüz zekâ, eğitildikleri dilin içindeki mantıktan geliyor.
Gelecekte Ne Bekleniyor?
Bu yeni farkındalığın biçimi — LLM'lerin 'Model' kısmı — bir latent alandır. Latent alan, iki boyutta değil, milyarlarca boyutta inşa edilmiş bir soyutlamadır, bir haritadır. Her biri bir fikre veya bir şeye adanmış, her yöne giden milyarlarca düz uzun oktan oluşan bir beyin hayal edin. Köpekler için bir ok, kediler için bir ok vardır. İlgili oklar birbirine yakın yerleştirilmiştir. Yani harita, kediler ve köpeklerin tüylü kürk için yakın bir oku paylaştığını gösterir. Ayrıca kulaklar için bir ok ve kuyruklar için bir ok paylaşırlar. Bu iki özellik, diğer hayvanlar (diğer konumlar) tarafından da paylaşılır. Bir köpeğin ne olduğunun çoğu memelilerle paylaşılır, bu nedenle bu örtüşme sıkıştırmanın kaynaklarından biridir. Her kavramı, bu uzayda bir yön olarak düşünebilirsiniz. Köpek oku gerçekten bir köpeklik yönüdür. Kedilik bir yöndür, tüylülük de öyle. Herhangi bir şey daha kedi benzeri veya daha tüylü hale gelebilir. Bir ayakkabı, bir baca veya bir eğrelti otu ile başlayıp onu kedi yönünde iterek daha kedi benzeri yapabilirsiniz. Veya elma yönünde daha elmamsı, pürüzsüzlük yönünde, kırmızımsı yönünde, heyecan yönünde veya daha dairesel yönünde itebilirsiniz. Ayrıca yönü tersine çevirip daha az kedi benzeri, daha az kırmızı, daha az atomik yapabilirsiniz. Bu uzayda milyarlarca yön vardır. İlgili şeyler bu uzayda birbirine yakındır. Kediler ve köpekler birçok özelliği paylaşır, bu yüzden kesişirler.
Kaynak: kevinkelly.substack.com
