Teknik yazılar için yapay zeka destekli bir editoryal boru hattı geliştirirken, ilk büyük düzeltme sıralama hatasını gidermekti. Puanlama öncesi analiz yapmayan sistem, cilalı bir rubriği ilk mercek olarak kullanıp editoryal geri bildirim yerine kalite güvence notları üretiyordu. Analizi puanlamadan önceye almak sorunu çözdü, ancak sonraki iyileştirmelerin rubrik ayarlarından geleceğini varsaymak yanıltıcı oldu. Aslında her faydalı düzeltme, farklı bir bilişsel işi adlandırma ve ayrıştırma şeklinde geldi.
İlk olayda, eleştirmen kendi sonuçlarını sorgulamıyordu. Bir taslak 'Yayına Hazır' olarak işaretlenirken orta düzeydeki sorunlar göz ardı edilebiliyordu. Çözüm, birincil eleştiriyi dondurup ardından bunu çürütmeye çalışan bir karşıt inceleme adımı eklemekti. Bu adım, her karşıt kanıt maddesinin hangi birincil iddiayı hedef aldığını belirtmesini zorunlu kılarak, 'varsayımsal' eleştirilerin önüne geçti. Böylece rubriği genişletmek yerine, akıl yürütmeyi aşamalara bölmek daha etkili oldu.
İkinci sorun, eleştirinin sadece eklemeler yapmasıydı. Taslaklar sürekli büyüyor, ancak hiçbir şey çıkarılmıyordu. Düzeltme, rubriğe 'daha kısa ol' demek değil, okuma aşamasında 'çıkarıcı düzenleme' adlı yeni bir bilişsel iş tanımlamaktı. Her paragrafın yerini hak etmeye devam etmesi gerektiği ilkesiyle, fazlalıkları ve ekleme kaynaklı tekrarları işaretleyen bir adım eklendi. Ayrıca, 'tek sahipli fikirler' tekniğiyle 2-4 temel fikir belirlenip aynı fikrin birden çok bölümde yeni kanıt olmadan tekrarlanması engellendi.
Uzmanların Görüşleri
Son olay, bir bölümün kendi başına bir makaleye dönüşmesiydi. Teknik olarak doğru olsa da, okuyucunun o anki sorusunu ilerletmek yerine başka bir açıklama ipliğini merkeze alıyordu. Çözüm, rubriği değiştirmek değil, okuma aşamasında 'ikincil açıklama ipliği' merceği eklemekti. Bu mercek, birincil ve ikincil iplikleri adlandırıp sıkıştırma, erteleme veya olduğu gibi bırakma kararını veriyordu. Üç olay da gösterdi ki, pahalı olan rubrik ağırlıklarını değiştirmek değil, bilişsel işi bir beceri dosyasında işletilebilir hale getirecek kadar kesin adlandırmaktı.
