Bir kurucu geçen ay benim için deney panosunu açtı ve bundan gurur duydu. Kırk bir test yürütülüyor. Geçen çeyrekte gerçek bir kararı değiştiren üç şeyin ismini vermesini istedim. Sessizleşti, bir süre kaydırdı ve bir tanesine indi. Belki.
Dikkatsiz değil. Her büyüme takımının başına gelecek bir problemin farkına varmak için henüz erken. Bir deneyi yürütmenin zor kısmı, onu oluşturmaktı. Bir tasarımcıya bilgi verdiniz, reklam çeşitlerini beklediniz, izlemeyi kurdunuz, sayfayı oluşturdunuz. Bir testi canlı yayınlamak için bir haftalık çalışma ve bunun arkasında belki bir saatlik gerçek düşünme var. İnşaat haftası artık geride kaldı. Bir zamanlar bir testi başlatmak için gereken sürede 40 test başlatabiliyor, öyle de yapıyor ve neredeyse hiçbiri ona bir şey öğretmiyor.
Hiçbir zaman takımları geride tutan şey hacim olmadı. Onları geride tutan şey, rastgele gürültüden gerçek bir sonuç elde etmek ve kaybedenleri bütçeyi tüketmeden önce öldürme cesaretini bulmaktı. Yapay zeka ucuz sorunu çözdü ve pahalı olanı olduğu yerde bıraktı. Sonra herkese yanılmanın daha hızlı bir yolunu sundu.
Sonuç ve Değerlendirme
İşte şimdi önemli olan kural. İstediğiniz çerçeve, testlerin yürütülmesi kolaylaştıkça geçilmesi zorlaşan çerçevedir.
Teknik Analiz
Ekip oluşturma konusunda yazdığım asimetri doğrudan deney hattından geçiyor. Bugün varyantları artırmanın neredeyse hiçbir maliyeti yok. Test etmeye değer bir hipotez yazmak her zaman maliyetine mal olur. Bir model, testinizi saniyeler içinde boyutlandıracak ve haftalık okumanın taslağını bir dakika içinde hazırlayacak, ancak yine de size bu okumaya inanıp inanmayacağınızı söyleyemez. Bu, bir sonrakine güvenmemeye yetecek kadar güzel eğriler tarafından yakılmış bir kişiyi gerektirir.
Sistem Güvenliği
Yapay zekayı üretim çalışmasına yöneltin ve hipotez, tasarım, sonlandırma çağrısı ve her şeyin birleşimi konusunda net bir kafaya sahip olun. Hepsini ona yönelttiğinizde, gürültüyü yakalayabileceğinizden daha hızlı ileten bir makine yapmış olursunuz.
Daha Az Bahisle Başlayın
Gelecekte Ne Bekleniyor?
Yeni bir ekiple ilk hamlem, test birikimini beslemek değil, küçültmek olacaktır. Bir modelden fikir isteyin, size neşeyle 200 fikir verecektir. Sıralanmamış 200 fikirden oluşan bir liste bir strateji değildir. Önemli bahisler sırasını beklerken bu, kendinizi meşgul hissetmenin bir yoludur. İş, bu çeyreği sayan beş kişiyi seçmek ve diğer 195'e takımın duyabileceği şekilde yüksek sesle hayır demek.
Her fikri üç soruyla sıralıyoruz:
Eğer düşerse kazanç ne kadar büyük olur?
Uzmanların Görüşleri
İçeri gireceğimizden ne kadar eminiz?
Önemli Gelişmeler
Çalıştırmanın maliyeti ne olacak?
Ucuz, güveni yüksek, olumlu fikirler öne çıkıyor. Bir kurucunun LinkedIn'de kahvaltıda gördüğü kişi, aynı barı geçemediği sürece diğer herkes gibi sırada bekler. Puan tablosu disiplin değildir. Disiplin, kulağa hoş gelen bir fikri daha üç hafta dolmadan öldürüyor.
Detaylar ve Etkileri
Bir müşteri, içgüdüsel olarak tüm işe alım akışını ortadan kaldırmak istedi. Güven açısından kötü, maliyet açısından ise daha kötü puanlar aldığından, halihazırda sahip olduğu akışa karşı üç ekranlı bir test yaptık. İçgüdüleri yanlıştı. Ucuz test, ateşe vermek üzere olduğu mühendislik süresinin dörtte birini geri aldı.
Bir model fikirleri yazabilir ve hatta puanları kabaca hesaplayabilir. Şirketinizin hangi bahiste yanılmayı göze alabileceğini size söyleyemez. Bu çağrı senindir.
Nasıl Önlem Alınmalı?
Yanıtın Önemli Olması İçin Testi Oluşturun
"Başarısız" olan deneylerin çoğunun hiçbir zaman başarılı olma şansı olmadı çünkü hiçbir şeyi yanıtlamak için tasarlanmamışlardı. Temiz bir test, bir değişkeni gerçek bir kontrole karşı hareket ettirir, başlamadan önce belirlediğiniz bir örneklem boyutuna kadar çalışır ve zarar vermeyi reddettiğiniz sayı üzerinde bir korkuluk tutar. Başlığı, düzeni ve hedef kitleyi aynı anda değiştirdiğinizde bir asansör size omuz silkiyor. İşi hangi hareketin yaptığını asla bilemezsiniz. İkinci gün sonucu okuyun çünkü çizgi tırmanıyor ve gürültüyü stratejiye yükseltmişsiniz.
Yapay zekanın dar ve gerçek anlamda yardımcı olduğu yer burasıdır. Bir testin herhangi bir şey söylemeden önce ne kadar sürmesi gerektiğini hesaplamak, bir dolar harcamadan önce sonucu simüle etmek ve sabah altıda kaçırdığım bariz kafa karışıklığını yakalamak için ona güveniyorum. Asla yapmasına izin vermediğim şey ölçüyü seçmektir. Hedefi bir modele verirseniz, ışıkları açık tutan numara sessizce diğer tarafa kayarken, o da size kimsenin para ödemediği bir numarada muhteşem bir kazanç bulacaktır. Yapay zeka içeriği hakkında herkesin tekrarladığı döngüdeki insan kuralı, test tasarımı için de aynı derecede zordur.
Yargıyı Değil Makineyi Çalıştırın
İşte yapay zekanın fazlasıyla yerini kazandığı yer burası. Yapı, değişken permütasyonlar, QA, yeniden boyutlandırma, platform formatlaması, okumanın kaba ilk taslağı: hepsini araçlara verin. Meta Advantage+ ve Google Performance Max, CR'ye geçiş yapıyor yemek ve teklifler. GrowthBook ve Statsig istatistikleri yönetir ve test gruplarınızın dürüst olmasını sağlar. Mixpanel veya Heap içeren Google Analytics 4, etkinlik verilerini tutar. Bir model ham sonuçları sade İngilizceye dönüştürebilir, böylece analistiniz slaytları biçimlendirmek yerine saatlerini bunları okuyarak geçirir. Daha dolgun yığını başka bir yere koydum ve burada tekrarlamayacağım.
İnsanı asla terk etmeyen şey: hipotez, ölçüm tanımı, bir sonucun gerçek olup olmadığına dair yargı ve onu ölçeklendirme ya da gömme çağrısı. Emeği bırakın. Kararı koruyun. Bu çerçevenin çoğu bu tek satırda yaşıyor.
Güvenebileceğiniz Bir Ritim
Ritim olmadan hızlı gitmek sizi enkaza daha çabuk ulaştırır. Haftada bir okuma yapıyoruz. Her canlı test, o odadan tek bir kararla ayrılır: ölçeklendirin, sonlandırın veya yineleyin. Test gerçekten belirlediğimiz örneklem büyüklüğüne ulaşmadığı sürece "birkaç gün daha ver" diye bir şey yok. Ve her karar, test ettiği hipotezin ve vardığımız sonuçla birlikte bir günlüğe kaydedilir.
Bu kütük, tüm sistemi dürüst tutan sessiz ve gösterişsiz işi yapıyor. Bir yıl içinde, yeni işe alınan birinin heyecanlı konuşmasının "Bunu Mart ayında yaptık, işte olanlar" şeklinde karşılanmasının ve geçen çeyrekteki gerçek bir galibiyetin, çıktıktan sonraki hafta neden kaybolmamasının nedeni budur. Deneyleri yürütmek artık ucuz. Günlük, bunların bir yığınını gerçekten bildiğiniz bir şeye dönüştüren şeydir.
Bir B Serisi müşterisi ayda 20'den fazla "testi" koşarak ve neredeyse hiçbirine güvenmeden bize geldi. Bunu uygun şekilde güçlendirilmiş altı teste indirdik, üretimi kalıplamaya taşıdık ve bir karar vericinin önüne haftalık tek bir ölçekle ya da sonlandır kararını verdik. Çeyrek içinde, ölçeklendirdikleri testlerdeki isabet oranı yazı turadan kabaca üçte ikiye çıktı ve edinme başına maliyet %24 düştü. Üçte bir oranında test yaptılar ve sonunda yaptıkları testlere güvendiler.
Bütçe Gerçekten Nasıl Sızıyor?
Hemen hemen her hesapta aynı bir avuç hata ortaya çıkıyor ve yapay zeka bunların hepsini hızlandırıyor. Takımlar ikinci günde kazananı belirler çünkü gösterge tablosu canlı olarak yenilenir ve eğri dostça görünür. Anlamlılığa ulaşamayacak kadar küçük testler yapıyorlar, ardından statik olarak fal okuyorlar. Onlar modelin dürtebileceği bir sayının peşindeyken, önemli olan sayı yanlış yöne doğru sürüklenir. Ve en pahalı alışkanlık: Hiçbir şeyi öldürmezler, böylece birikmiş işler büyür, harcamalar zayıf bir şekilde yayılır ve hiçbir test adil bir sonuç elde edemez.
Bunların hiçbiri yeni değil. Yapay zeka onu daha hızlı bir saate ayarladı, çerçevenin şeklini hızlı tutmasının tek nedeni de bu.
Yapay zeka çağında performans pazarlamasında kazanan ekipler, en fazla denemenin yürütüldüğü ekipler değil. Hacim arttığında kendi sonuçlarına hala inanabilenler onlar. Ucuz icra gerçek bir hediyedir. Yalnızca standartlarınız çıktılarınız kadar hızlı yükselirse karşılığını verir. Çalıştırılması kolaylaştıkça sistemin geçmesini zorlaştırın, kararın bir insanda kalmasını sağlayın ve gerisini makineye bırakın. Bir testin daha fiyatı neredeyse sıfıra düştüğünde ayakta kalan şey budur.
Öne Çıkan Görsel: Prostock stüdyosu/Shutterstock
