Yapay zeka modelleri artık sadece metin veya görsel üretmekle kalmıyor, aynı zamanda karmaşık, çok adımlı görevleri bağımsız olarak yürütebiliyor. Son yapılan bir deneyde, iki öncü model olan Claude Fable 5 ve GPT-5.6 Sol'a aynı şarkı (Bruno Mars ve Mark Ronson'dan 'Uptown Funk'), sınırlı bir bütçe ve bir dizi araç verildi. Modeller, herhangi bir insan müdahalesi olmadan, araştırma yaparak, görüntü/video oluşturarak ve ffmpeg ile düzenleme yaparak tam bir müzik videosu ortaya çıkardı. Bu makalede, iki modelin performansını, kullandıkları stratejileri ve sonuçları detaylıca inceliyoruz.
Deneyin temel amacı, modellerin uzun vadeli, açık uçlu bir görevde araç kullanma becerilerini karşılaştırmaktı. Her iki model de altı farklı araca sahipti: planlama için 'plan', web araması için 'web_search', bütçe kontrolü için 'get_budget', görsel/video üretimi için 'generate_image' ve 'generate_video' (sadece bunlar bütçeden harcama yapıyor), ve yerel ffmpeg komutları için 'run_command'. Modeller, bu araçları kullanarak hangi video modelini seçeceklerine, kaç klipl oluşturacaklarına ve nasıl bir kurgu yapacaklarına kendileri karar verdiler. Toplamda dört farklı çalışma yapıldı: her model için 25$ ve 100$ bütçelerle.
Sonuçlar oldukça ilginçti. Claude Fable 5, her iki bütçede de tamamen metinden videoya (text-to-video) yaklaşımını benimsedi. 25$'lık bütçede Wan 2.5 modelini, 100$'lık bütçede ise Seedance 1.0 Pro modelini kullanarak 1080p çözünürlükte videolar üretti. GPT-5.6 Sol ise daha farklı bir strateji izledi. 25$'lık bütçede önce FLUX schnell ile kare görüntüler oluşturdu, ardından Wan 2.2-5b modeli ile bunları videoya dönüştürdü. 100$'lık bütçede ise Wan 2.5, Veo 3.1 Lite ve Hailuo 2.3 Standard gibi üç farklı video modelini karıştırarak kullandı. Bu, GPT-5.6 Sol'un daha esnek bir araç kullanım stratejisine sahip olduğunu gösteriyor.
Bütçe kullanımı ve hata oranları da dikkat çekiciydi. Her iki model de 25$ bütçeyi neredeyse tamamen kullanırken, 100$'lık bütçede Claude Fable 5 48.60$, GPT-5.6 Sol ise 36.57$ harcadı. Yani daha yüksek bütçe, daha fazla video klibi anlamına geldi. GPT-5.6 Sol, 25$'lık çalışmada 10 başarısız çağrı (failed call) yaşarken, Claude Fable 5 sadece 1 hata ile karşılaştı. 100$'lık çalışmada ise GPT-5.6 Sol 2, Claude Fable 5 ise hiç hata yapmadı. Bu, Claude Fable 5'in daha kararlı bir performans sergilediğini gösteriyor.
Toplam maliyetler hesaplandığında, Claude Fable 5'in LLM token maliyetleri (16.99$-25.05$) GPT-5.6 Sol'a (3.25$-4.27$) göre çok daha yüksekti. Bunun nedeni, Claude Fable 5'in daha fazla token kullanması ve daha pahalı olması. Sonuç olarak, toplam maliyet Claude Fable 5 için 41.29$ (25$ bütçe) ve 73.65$ (100$ bütçe) olurken, GPT-5.6 Sol için 27.45$ ve 39.82$ oldu. Yani GPT-5.6 Sol, daha düşük toplam maliyetle benzer kalitede videolar üretebildi.
Peki hangi model daha iyi? Bu tamamen kriterlere bağlı. Claude Fable 5, daha kararlı ve hatasız bir süreç sunarken, GPT-5.6 Sol daha esnek araç kullanımı ve daha düşük maliyet avantajı sağlıyor. Her iki model de tamamen otonom bir şekilde, sıfırdan bir müzik videosu oluşturmayı başardı. Bu deney, yapay zekanın yaratıcı süreçlerde ne kadar ilerlediğini ve gelecekte insan yaratıcılığına nasıl yardımcı olabileceğini gösteriyor. Siz de bu açık kaynak projeyi kullanarak kendi şarkınızla benzer bir deney yapabilirsiniz.
Kaynak: tryai.dev
