Yerel görüntü ve video üretimi, özellikle sınırlı donanıma sahip kullanıcılar için zorlu bir süreç olabilir. Ancak doğru tekniklerle, 12 GB VRAM'li bir NVIDIA 4070 ekran kartında bile etkileyici sonuçlar almak mümkün. Bu yazıda, FLUX modelini kullanarak kendi sanat tarzınızda görüntüler ve hatta kısa videolar üretmenin adımlarını detaylıca ele alacağız. Süreç boyunca quantization, LoRA ince ayar ve Google Colab notebook gibi araçlardan yararlanacağız.
Her şey, YouTube'da Richard Aragon'un paylaştığı bir Google Colab notebook ile başladı. Bu notebook, FLUX modelini 4-bit NF4 quantization ile 12 GB VRAM'e sığdırmayı mümkün kılıyordu. Normalde 24 GB model boyutuna sahip FLUX, quantization sayesinde bellek ayak izini yarıya indiriyor ve 12 GB VRAM'li kartlarda çalıştırılabiliyor. Richard'ın videosu, bu işlemin 4060 gibi daha düşük kartlarda bile yapılabileceğini gösteriyor.
İlk adım, Colab notebook'u kullanarak FLUX modelini indirmek ve quantization işlemini uygulamaktı. Notebook'taki adımları takip ederek modeli yerel bilgisayarınıza kopyalayabilir ve özelleştirebilirsiniz. Burada dikkat edilmesi gereken nokta, bitsandbytes kütüphanesi ile 4-bit NF4 quantization yapılması. Bu işlem, modelin ağırlıklarını 4 bit ile temsil ederek bellek kullanımını ciddi ölçüde azaltıyor.
Model hazır olduktan sonra sıra, kendi sanat tarzınızı öğretmeye geliyor. Bunun için LoRA (Low-Rank Adaptation) yöntemini kullanıyoruz. LoRA, temel modelin parametrelerini dondurarak sadece küçük uyarlama matrislerini eğitiyor. Bu sayede çok daha az bellek ve işlem gücüyle modeli kişiselleştirebiliyoruz. Kendi çizimlerinizden oluşan bir veri seti (örneğin 14 görüntü) ve bir metadata.jsonl dosyası hazırlamanız gerekiyor. Bu dosya, her görselin açıklamasını içeriyor ve modelin eğitim sırasında görsel-metin eşlemesini yapmasını sağlıyor.
Eğitim sürecinde dikkat edilmesi gereken bir diğer önemli nokta, bellek yönetimi. 12 GB VRAM ile büyük bir modeli eğitirken çeşitli optimizasyon teknikleri kullanılıyor: Düşük çözünürlükte eğitim, batch size 1 ile gradient accumulation, gradient checkpointing (depolama yerine yeniden hesaplama) ve 8-bit optimizer. Bu teknikler, hızdan veya hassasiyetten biraz ödün vererek bellek kullanımını büyük ölçüde azaltıyor. Eğitim adım sayısına bağlı olarak (100 adım birkaç dakika, 700 adım bir saatten fazla sürebiliyor) sonuçların kalitesi artıyor.
Sistem Güvenliği
Test sonuçları oldukça umut verici. Eğitimsiz model (kontrol) ile eğitimli model arasında net bir fark görülüyor. Özellikle 700 adım eğitim sonrası, modelin sanatçının stilini çok daha iyi yakaladığı gözlemleniyor. Ayrıca, çok özel bir komutla modeli zorlayarak sınırlarını test etmek mümkün. Henüz mükemmel olmasa da, ek eğitimle daha karmaşık stillere ulaşılabileceği açık.
Görüntü üretiminin yanı sıra, aynı altyapıyı kullanarak video üretimi de mümkün. Mevcut görüntü üretim iş akışına bir video üretim modülü ekleyerek, 5 saniyelik kısa videolar oluşturulabiliyor. Ancak bu süreç, görüntü üretimine kıyasla çok daha uzun sürüyor (bir saatten fazla). Yine de, sınırlı donanımla bu tür bir işlemin yapılabilmesi, teknolojinin ne kadar ilerlediğini gösteriyor. Sonuç olarak, 4070 sahipleri için yerel yapay zeka üretimi artık hayal değil. Doğru araçlar ve biraz sabırla, kendi sanat eserlerinizi yaratabilirsiniz.
Kaynak: dev.to
