Yapay zeka destekli dublaj, video içeriklerini farklı dillere hızlıca çevirmek için güçlü bir yöntem. Bu rehberde, faster-whisper ile zaman damgalı transkripsiyon, bir dil modeli (LLM) ile çeviri, XTTS-v2 ile ses klonlama ve FFmpeg ile ses-video senkronizasyonu adımlarını anlatacağız. Kodları GitHub'da paylaşacağız. Hazır sistemler (Softcatala open-dubbing, KrillinAI) mevcut olsa da, bu minimal versiyonu anlamak, araçların nasıl çalıştığını ve nerede sorun çıkardığını kavramanızı sağlar.
Kurulum için Python 3.10-3.12 gerekli. Coqui şirketi 2024 başında kapandı, ancak TTS kütüphanesinin bakımını Idiap üstleniyor (coqui-tts). XTTS-v2 model ağırlıkları, ticari kullanımı kısıtlayan Coqui Public Model License altında. Prototip yapmak serbest, ancak ticari kullanım için lisansı okumalı ve sentez adımını ticari bir model veya API ile değiştirmelisiniz. Ayrıca ses klonlama için konuşmacının yazılı izni gerekir.
İlk adım: videodan mono 16 kHz ses çıkarın ve faster-whisper ile kelime zaman damgalı transkripsiyon yapın. Zaman damgaları, tüm hattın iskeletidir. İkinci adım: çeviriyi, her segmentin süresine uyacak şekilde kısaltma talimatı vererek yapın. LLM, NLLB/M2M veya bulut MT API fark etmez; önemli olan aynı segmentlerin korunması ve uzunluk kısıtlamalarına uyulmasıdır. Üçüncü adım: XTTS-v2 ile referans ses klibinden ses klonlayarak sentez yapın. GPU önerilir.
Teknik Analiz
En zor kısım: sentezlenen sesi orijinal zaman dilimlerine sığdırmak. İspanyolca genelde İngilizceden uzun olur. Taşan segmentleri sessizliğe yaymak, FFmpeg atempo ile hafif hızlandırmak veya yeniden çevirmek gibi yöntemler kullanın. Son olarak, segmentleri sessiz bir tuval üzerine orijinal başlangıç zamanlarına yerleştirin ve video akışını yeniden kodlamadan remux yapın. -c:v copy ile video kalitesi korunur. Bu yöntemle, ticari olmayan projeler için etkili bir dublaj hattı kurabilirsiniz.
