Zahir Hasan'ın bana şirketinin rakamlarının yanlış olduğunu söylemesine gerek yoktu.
Oslo merkezli araştırma firması Clovion AI'nin COO'su Hasan'a, Clovion'un Claude, ChatGPT ve Gemini'nin bir konuşma sırasında markaları nasıl tavsiye ettiğine ilişkin yeni çalışması olan "Yapay Zeka Hunisinden Kurtulmak" hakkındaki metodoloji sorularının bir listesini göndermiştim. Onuncu soru rutin bir soruydu; her araştırma ekibine sorabileceğiniz türden bir soru. Raporda, doğrulanmış 33 çelişkiye dayanarak, üç yapay zeka asistanının marka gerçekleri konusunda %15 oranında birbiriyle açıkça çeliştiği belirtiliyor. Hangi modelin bir markanın özelliklerini olduğundan daha az sattığı ve hangisinin daha fazla sattığı yönündeki iddiayı desteklemek için gerçekten 33 yeterli miydi?
Hasan'ın cevabı sayıyı savunmak değildi. Bu bir düzeltmeydi. "Gerçek sayı 330" diye yazdı. “Bir tasarımcı düzende sıfır attı.” Aynı kayan ondalık rakamın, yayınlanmadan önce bana gönderilen PDF'nin yedinci sayfasında 2.040 markayı da "204"e dönüştürdüğünü söyledi. Bu hafta revize edilmiş bir versiyonu çıkacak. Bu yüzden önce düzeltilmiş rakamları aldım.
Bu, her şeyden önce taslak raporda bir hata olduğunu kabul ederek bir yapay zeka araştırma raporu hakkında bir köşe yazısı başlatmanın tuhaf bir yolu. Ancak bu en dürüst yol çünkü düzeltme, çalışmanın manşet istatistiklerinin asla söyleyemeyeceği bir şeyi söylüyor. İster ChatGPT'nin ürününüzü tavsiye edip etmediğini anlamaya çalışan bir pazarlamacı olun, ister bu ürün hakkında bir çalışma yapan bir araştırmacı olun, AI yanıtlarını doğru okumak, üzerinde bir strateji oluşturmadan önce ondalık noktayı yakalamak anlamına gelir.
Yazım hatasını bir anlığına bir kenara bırakın ve temeldeki araştırma geçerliliğini korusun. Clovion, 36 B2B yazılımı ve fintech kategorisindeki üç asistan arasında 69.120 çok yönlü görüşme gerçekleştirdi ve "en iyi CRM araçları?" gibi bir açılış sorusu sordu. ve ardından tek bir gerçekçi takip. Aynı sorunun yeniden sorulması, önerilen listenin %90'ının bozulmamasını sağladı. "Küçük bir ekip için" gibi sıradan bir alıcı detayı eklenince sadece %28'lik bir oran elde edildi. İlk cevabı veren markaların yüzde 62'si ikinci cevapta yok oldu.
Uzmanların Görüşleri
Hasan'a bu damlayı üretmek için "küçük takım"ın özenle seçilmiş olup olmadığını sordum. Değildi. Ekibi ayrıca "büyük bir kuruluş için" test yaptı ve hemen hemen aynı kayıp oranını elde etti; her iki durumda da yaklaşık %72, soru basitçe tekrarlandığında ise kabaca %10'du. Liste istikrarsız değil. Duyarlıdır ve çoğunlukla modelin bir markanın gerçekte kime yönelik olduğuna karar verip vermediğine bağlıdır.
Eğer geçiminizi sağlamak için SEO veya marka stratejisi yapıyorsanız, üzerinde durmaya değer kısım budur. Bir yapay zeka yanıtında isimlendirilmek, ona güvenilmekle aynı şey değildir. Sizi ilk CRM listesine koyan bir model, alıcı spesifik hale geldiği anda sizi kesebilir ve Clovion'un verileri bunun bazen değil çoğu zaman gerçekleştiğini söylüyor.
Sonuç ve Değerlendirme
Düzeltme En Küçük, En Çok Alıntı Yapılan Sayının Şeklini Değiştiriyor
Bu çalışmayı nasıl okumanız gerektiği konusunda sabit ondalık sayının gerçekten önemli olduğu yer burasıdır. Doğrulanmış 33 çelişkiden oluşan eski rakam, model başına inşa edilen her türlü iddianın ince buz üzerinde duracak kadar küçüktü. Düzeltildi, 330 ve Hasan'ın paylaştığı model bazında döküm, taslak raporun gösterdiği toplam %15'lik rakamdan çok daha anlamlı: Claude, bir markanın kendi özelliklerini 10 kez fazla iddiaya karşılık 160 kez eksik beyan ediyor. ChatGPT 70 kez eksik talepte bulunur ve asla fazla talepte bulunmaz. Gemini, 30 eksik iddiaya karşı 80 kez fazla iddiada bulunarak diğer tarafa koşuyor.
Hasan'ın, her modelin yanıtlarını nereden aldığına ilişkin henüz yayınlanmamış ayrı bir Clovion çalışmasından elde edilen çalışma teorisi, Gemini'nin pazarlama materyallerine ve videoya daha çok ağırlık verdiği, dolayısıyla abartılı her ne varsa bir markaya itibar etme eğiliminde olduğu yönünde. Claude ve ChatGPT, dokümantasyona ve ürün sayfalarına daha fazla önem veriyor, temel ürünü doğru bir şekilde tanımlıyor ve daha yeni bir özellik iyi bir şekilde belgelenmediğinde "buna sahip değil" durumuna karşı önlem alıyor. Bu, Clovion'un henüz yayınlamadığı çalışma kapsamında geçerliyse, bu, bir AI asistanının ürününüzle ilgili hatasının yönünün, önüne ne tür içerik koyduğunuza ve bu içeriğin nerede yaşadığına bağlı olduğu anlamına gelir.
Nasıl Önlem Alınmalı?
20 yılı aşkın bir süredir müşterilerime iyi sıralamanın ve doğru şekilde tanımlanmanın iki farklı sorun olduğunu anlatmaya çalıştım. Bu, artık aynı sorunun yaşandığını, tek bir konuşmada çözüldüğünü ve çözümün hangi asistanın yanlış tanımlamayı yaptığına bağlı olduğunu gördüğüm en açık kanıt.
Kayıp Sıfırı Neden Kimse Yakalayamıyor?
Frederick Vallaeys'in "Yapay Zekayla Güçlendirilmiş Pazarlamacı" adlı kitabında, bırakılan bir ondalık sayının neden sonuna kadar hayatta kaldığını tam olarak açıklayan bir hikaye var. o yayın. Bir zamanlar otomatik bir rapor, bir anahtar kelimenin edinme başına maliyetinin hedefin çok üzerinde seyretmesi nedeniyle "mükemmel performans" olarak işaretlemişti. Sistemin bir yerinde, yüksek bir EBM iyi bir haber değil, kötü bir haber olduğunda, yüksek olan iyiye değiştirilmişti. Özete göz atan herkes başını sallayarak onaylardı çünkü cümle, anlamı değişmiş olsa bile akıcı bir şekilde okunuyordu.
Teknik Analiz
Vallaeys bunu, akıcı okuyucuların her kelimeyi çözmedikleri, bağlama dayalı olarak bir sonraki adımı tahmin ettikleri ve devam ettikleri fikri olan tahmine dayalı işleme araştırmasına bağlıyor. "Teh" bu şekilde "the" olarak okunur ve eksik bir "değil" yanınızdan kayıp gider. Vallaeys'in belirttiği gibi, cümleye ilişkin zihinsel modelimiz önümüzdeki metni geçersiz kılar. Kendinden emin, iyi biçimlendirilmiş bir PDF, bunun gerçekleşmesi için dünyadaki en kolay yerdir ve bir düzen dosyasında atılan sıfır, aynı hatanın çok daha küçük, çok daha affedilebilir bir versiyonudur.
Çözümün "rapora daha az güvenme" olmamasının nedeni de budur. Bu, "etrafındaki paragrafın havası yerine sayıyı kontrol eden bir insan pilotu döngünün içinde tutmaktır." Otuz üç çelişki ve 330 çelişki sadece on kat farklılık göstermez. Model başına bir modelin gerçek olup olmadığı konusunda tamamen farklı güven düzeylerini desteklerler. İki yüz dört marka ile 2.040 marka aynı araştırma değil. Eğer Clovion bunu yakalamasaydı ve ben sormasaydım, bunu yakalaması gereken türden ticari basın tarafından aktarılan daha küçük, daha titrek rakamlar gerçekmiş gibi dolaşıma girecekti.
Önemli Gelişmeler
Clovion'un İddia Etmediği Şey ve Bu Neden Dürüst Kısım?
Rapor, bir modelin sizin uygunluğunuzu nasıl algıladığı ile size tavsiyede bulunup bulunmadığı arasındaki bağlantının "kanıtlanmış bir nedensellik yasası değil, güçlü, tutarlı bir bağlantı" olduğunu söylerken dikkatli davranıyor. Gerçek bir nedensellik testinin neye benzeyeceği konusunda Hasan'ı zorladım. Cevabı: Bir şeyi değiştirin, bir markanın halka açık konumlandırma içeriğini değiştirin, geri kalan her şeyi bırakın ve modellerin davranışlarının kimsenin dokunmadığı markalara göre değişip değişmediğini görün. Clovion henüz bu testi yapmadı. Aynı zamanda daha rahatsız edici olan bir olasılığı da doğrudan kabul etti: Bir markanın gerçek dünyadaki konumlandırması muhtemelen hem modelin onu nasıl tanımladığını hem de tavsiye edilip edilmeyeceğini etkiliyor; bu da gerçek kaldıraç konumlandırmasını ve modelin "algısını" bir neden değil, sadece bir semptom haline getirecek.
Bu, yapay zeka görünürlük izleme satan bir şirketten alışılmadık derecede samimi bir yanıt ve tam da bu yüzden Hasan'ın bana anlattıklarının geri kalanına güveniyorum. Ayrıca, bir marka kendi içeriğini değiştirdikten sonra yapay zekanın marka algısının ne kadar hızlı değiştiğine dair hiçbir verisi yoktu. "Öncesi ve sonrası testi yapmadık" dedi. "Buna test etmeye değer gözüyle bakın, X hafta içinde garanti edilmiyor." Clovion'un da kabul ettiği gibi, Claude'un veya Gemini'nin markanız hakkındaki görüşlerini değiştirmek için belirli bir zaman çizelgesi vaat edebileceklerini söyleyen herkes tahminde bulunuyor.
Aslında Bu Konuda Ne Yapmalı?
Detaylar ve Etkileri
Hasan'ın bana anlattıklarına ve düzeltilmiş verilerin desteklediğine göre yapmanız gereken üç şey var.
İlk olarak, ilk cevabı değil tüm konuşmayı takip edin. Yapay zeka görünürlüğünü tek istemli bir kontrolle izliyorsanız, bir cümle sonra içeriğinin %62'sini kaybeden bir huninin tepesini ölçüyorsunuz demektir. İzlemenizi gerçek alıcılarınızın gerçekten sorduğu takip soruları etrafında oluşturun.
Sistem Güvenliği
İkinci olarak, asistanları sırayla birer birer sabitleyin. Hasan, tek bir içerik değişikliğinin üç modeli de aynı anda harekete geçirmeyeceğini, çünkü bunların farklı kaynaklardan geldiğini söyledi. Önerilen sıralama şuydu: İlk önce düz olgusal hataları düzeltin, çünkü bunlar ucuz kazançlardır, ardından boru hattınız için en önemli olan segmente uygun kombinasyonların peşinden gidin, tek bir cevaba güvenmek yerine her asistanı birkaç çalıştırmada kontrol edin.
Gelecekte Ne Bekleniyor?
Üçüncüsü, bu da dahil olmak üzere, kaynağına kadar izini sürmediğiniz bir istatistiğin alıntısını yapmayın. Clovion'un kendi raporunun en teknik, en çok alıntı yapılan sayısında düzeltme yapılması gerekiyordu. Herhangi bir yapay zeka araştırma yüzdesine ilişkin bir sütun, bir müşteri sunumu veya içerik özeti oluşturmadan önce, temel sayının nereden geldiğini ve tasarım yazılımından ayrıldığından beri herhangi birinin matematiği kontrol edip etmediğini sorun.
Panda'dan mobil öncelikli indekslemeye ve sıfır tıklamayla aramanın yavaş akışına kadar SEO'nun bu anlardan birkaçını yaşadığını gördüm. Her biri, başlık numarasını tekrarlamak yerine birincil kaynağı kontrol eden uygulayıcıları ödüllendirdi. Yapay zeka görünürlüğü de aynı şekilde şekilleniyor. Clovion'un belgelediği ortadan kaybolma eylemini kazanan markalar, AI Genel Bakış stratejileri hakkında en iyi basın bültenine sahip olanlar olmayacak. Yapanlar onlar olacak Raporu, “33”ün gerçekte ne anlama geldiğini ve bundan sonra bu soruyu sormaya devam edenlerin kim olduğunu soracak kadar dikkatli okuyun.
Zahir Hasan, merkezi Oslo, Norveç'te bulunan Clovion AI'nin COO'sudur. Clovion'un bu sütundaki rakamları yansıtan "Surviving the AI Funnel"ın düzeltilmiş versiyonunun bu hafta yayınlanması bekleniyor.
