2026 yılına gelindiğinde, büyük dil modelleri (LLM) tarafından üretilen metinlerin güçlü istatistiksel kalıplar sergilediği gözlemlenmiştir. Bu kalıplar, geleneksel makine öğrenmesi modelleri kullanılarak insan yazılarından etkili bir şekilde ayırt edilebilmektedir. Aslında, birçok 'AI intihal denetleyicisi' olarak adlandırılan sistemin arkasında bu tür klasik yöntemler yatıyor olabilir. Bu yazıda, açık kaynak kodlu bir AI metin dedektörünün nasıl çalıştığını, veri üretim sürecinden model eğitimine kadar tüm adımlarıyla inceleyeceğiz.
Projenin çıkış noktası, yazarın tez yazarken AIGC (AI üretimi içerik) denetim platformlarını test etmesiyle başladı. CNKI, Wanfang gibi platformların, yazarın kendi yazdığı metinlerle LLM tarafından üretilen metinleri ayırt edebildiğini fark eden yazar, bu sistemlerin nasıl çalıştığını merak etti. Ancak yoğunluk nedeniyle projeyi bir süre rafa kaldırdı. Daha sonra, Lofter gibi platformlarda AI tarafından üretilen düşük kaliteli fan kurgularının yaygınlaşması, yazarı tekrar harekete geçirdi ve kendi AI metin dedektörünü geliştirmeye karar verdi.
İlk araştırmalarda, metin şaşkınlığı (perplexity) yöntemi denendi. Bu yöntem, bir LLM kullanarak her kelimenin olasılığını hesaplar ve eğer kelimelerin çoğu yüksek olasılıklıysa metnin AI tarafından üretildiğini varsayar. Ancak bu yaklaşım, yüksek yanlış pozitif/negatif oranları, yüksek hesaplama maliyeti ve zayıf genelleme gibi sorunlar nedeniyle başarısız oldu. Yazar, bu yöntemin pratikte güvenilir olmadığı sonucuna vardı.
Uzmanların Görüşleri
Başarılı yaklaşım ise klasik makine öğrenmesi algoritmalarına dayanıyordu. scikit-learn kütüphanesi kullanılarak Linear SVC ve Naive Bayes sınıflandırıcıları seçildi. Yazarın sezgisi, LLM'lerin kelime seçiminde belirgin kalıplar olduğu yönündeydi ve bu kalıpların Naive Bayes gibi basit bir modelle bile yakalanabileceğini düşünüyordu. Sonuçlar beklentilerin ötesindeydi.
Veri üretimi için, 2010-2022 yılları arasında yayınlanmış insan yazılı metinler toplandı ve yaklaşık 10.000 örnek elde edildi. LLM tarafından üretilen örnekler ise, bu insan metinlerinin bölüm özetlerini LLM'e vererek yeniden yazdırılmasıyla oluşturuldu. Bu sayede tür ve stil çeşitliliği sağlandı. LLM API maliyetlerini düşürmek için yazar, çeşitli düşük maliyetli veya ücretsiz API kanallarını kullandı (örneğin Gemini, Qwen, GLM-5). Toplamda 300 milyon token kullanıldığı tahmin ediliyor.
Eğitilen model, test setinde tek cümlelik tespitte yaklaşık %85 doğruluk oranına ulaştı. Model, genel amaçlı verilerle eğitilmemiş olsa da, bu sonuç LLM metinlerinin istatistiksel olarak ayırt edilebilir olduğunu gösteriyor. Modelin çevrimiçi demosu ve kodları GitHub'da paylaşılmış durumda. Ancak yazar, modelin sınırlamalarına dikkat çekiyor: farklı LLM'ler veya farklı promptlarla üretilen metinlerde başarım düşebilir.
Pratik çıkarımlar: Eğer bir metnin AI tarafından üretilip üretilmediğini merak ediyorsanız, bu tür klasik makine öğrenmesi tabanlı araçlar iyi bir başlangıç noktası olabilir. Ancak kesin sonuç için metnin tamamını analiz etmek ve farklı modelleri karşılaştırmak gerekebilir. Ayrıca, AI metinlerini tespit etmek isteyen platformlar, bu yöntemi düşük maliyetli ve hızlı bir çözüm olarak değerlendirebilir.
Sonuç ve Değerlendirme
Sonuç olarak, LLM üretimi metinleri tespit etmek için klasik makine öğrenmesi yöntemleri hala etkili bir araçtır. Yazarın deneyimi, bu alanda çalışanlar için değerli bir referans sunuyor. Gelecekte, daha gelişmiş modeller ve daha kapsamlı veri kümeleriyle bu tür dedektörlerin doğruluğu artırılabilir. Ancak unutulmamalıdır ki, AI metin tespiti bir kedi-fare oyunudur ve LLM'ler geliştikçe tespit yöntemlerinin de evrilmesi gerekecektir.
Kaynak: blog.lyc8503.net
