Estetik Bir Şaşırtıcılık Yayı Yok

Müzikle dil arasında eski ve baştan çıkarıcı bir benzetme vardır: güzellik, yönetilen şaşkınlıktır. Büyük bir beste ne tekdüzedir ne de gürültü; ikisinin arasındaki o tatlı noktada gezinir, beklentinizi kasıtlı bir yaya dönüştürerek önce gerilimi kurar, sonra çözer. Yazının da aynı biçimde işlediğini düşünmek cazip gelir: yetenekli bir yazarın her kelimenin ne kadar şaşırtıcı olduğunu bir sayfa boyunca küresel bir yaya dönüştürdüğünü, bu yayın hem insan yazarlığının bir parmak izi hem de iyi nesrin bir işareti olduğunu sanırız. Bu çalışma o fikri doğrudan, herkese açık veriyle test ediyor ve net bir olumsuz sonuç bildiriyor. Estetik bir şaşırtıcılık (surprisal) yayı yok. Bir metnin şaşkınlık eğrisinin biçimi, onu bir insanın mı yoksa bir makinenin mi yazdığını da, bir insanın kalitesini nasıl puanlayacağını da öngörmüyor. Sinyali taşıyan şey çok daha sıradan (şaşkınlığın düzeyi ve varyansı) ve biri makine metnini gizlemeye çalıştığında bu ikisi birbirinden çok farklı davranıyor.

Dil modellerinde "şaşırtıcılık" ne demek?

Şaşırtıcılık (surprisal), bir dil modelinin her kelimede ne kadar yanıldığıdır: modelin gerçekte ortaya çıkan kelimeye atadığı negatif log-olasılık. Modelin beklediği bir kelimenin şaşırtıcılığı düşüktür; gelişini öngöremediği bir kelimeninki yüksektir.

Her modern dil modeli bir metni token token okur ve her adımda, sırada ne geleceğine dair bir görüşü vardır. Bir metnin tamamını modelden geçirdiğinizde bu sayılardan oluşan bir dizi elde edersiniz; nesir öngörülebilirden beklenmedik olana ve geri döndükçe yükselip alçalan bir şaşkınlık sinyali. Bu çalışmadaki her şey o tek dizinin üzerine kurulu.

Bu tek sinyalden birbirinden çok farklı üç şey çekebilirsiniz ve bunları birbirinden ayrı tutmak makalenin bütün meselesi:

• Düzey, metin boyunca ortalama şaşırtıcılık. Bu aslında perplexity'dir: yazının genel olarak ne kadar öngörülebilir olduğu. Düşük düzey, metnin model için öngörülmesi kolay olduğu anlamına gelir.
• Varyans, şaşkınlığın cümleden cümleye ne kadar zıpladığı. Tespit araştırmacılarının tekdüzelik karşıtı (burstiness) dediği şey budur. Yüksek varyans, yazının apaçık ile beklenmedik arasında savrulduğu anlamına gelir; düşük varyans ise yazının istikrarlı, dengeli bir hızda akıp gittiği.
• Biçim, düzeyi ve varyansı çıkardıktan sonra geriye kalan sinyalin yavaş, küresel hattı. "Yay" dediğimiz şey bu: şaşkınlık, bir şarkıdaki gerilim gibi, bir doruğa tırmanıp çözülüyor mu? Estetik benzetmenin asıl konusu olan kısım bu ve test etmeye koyulduğumuz kısım da bu.

Bunun önemli olmasının nedeni, saygın iki fikrin o biçim hakkında zıt öngörülerde bulunması. Estetik görüş, yetenekli üreticilerin şaşkınlığı biçimlendirdiğini söyler, yani yay gerçek bilgi taşımalıdır. Psikodilbilimde Tekdüze Bilgi Yoğunluğu (Uniform Information Density, UID) denen köklü bir hipotez ise bunun tersini söyler: verimli üreticiler şaşkınlığı düzleştirir, metni işlemesi kolay olsun diye bilgiyi olabildiğince eşit dağıtır. UID'ye göre akıcı yazı düz olmalıdır, yay biçimli değil, ve yay hiçbir şey taşımamalıdır. Hakemliği veriye bıraktık.

Çalışmanın düzeneği nasıl kuruldu?

Düzenek yalnızca bağımsız, herkese açık, çok yazarlı kıyaslama veri kümeleri üzerine kuruldu (kendi şirket içi derlemimiz değil) ve şaşırtıcılık açık dil modelleriyle hesaplandı: başta GPT-2, dayanıklılık için ikinci ve daha büyük bir modelle birlikte. Ardından üç veri kümesi üzerinde, baştan sona beş katlı çapraz doğrulamayla üç somut soru soruldu.

Her metin için yukarıdaki üç niceliği ölçtük; yayı, şaşkınlık eğrisinin ortalaması ve varyansı çıkarıldıktan sonra kalan düşük frekanslı hat olarak yalıttık: tam da estetik iddianın işaret ettiği "düzeyden ve gürültüden bağımsız biçim".

Özet. Üç herkese açık kıyaslama veri kümesinde, bir metnin şaşırtıcılık eğrisinin biçimi ("yay") ne yapay zekâ yazarlığını ne de yazı kalitesini öngörüyor (tespit AUC değeri 0,52 ile 0,55 arası, neredeyse şans düzeyi; kalite için ΔCV-R² = −0,001). İşe yarayan şey sıradan: şaşkınlığın düzeyi (perplexity) ve varyansı (tekdüzelik karşıtı, burstiness). Ve bir başka deyişle yazma (paraphrase) saldırısı altında bu ikisi ayrışıyor: perplexity 0,80 AUC'den 0,58'e çökerken tekdüzelik karşıtı neredeyse hiç oynamıyor (0,80'den 0,78'e), bu da tekdüzelik karşıtını daha dayanıklı bir ipucu yapıyor. Her sonuç ikinci ve daha büyük bir modelde tekrar ediyor, hatta kitap uzunluğundaki 30 roman bile bir yay göstermiyor.

Deney 1: Yay, insanı yapay zekâdan ayırt edebiliyor mu? (HC3)

Yay, insanı yapay zekâdan ayırt edemiyor: biçim 0,552 alıyor, yazı tura atınca elde edeceğiniz 0,50'nin ancak biraz üzerinde. Aynı metinlerde şaşkınlığın düzeyi ile varyansı iki sınıfı neredeyse kusursuz ayırıyor: ortalama perplexity 0,969 ROC-AUC, tekdüzelik karşıtı ise 0,953.

İlk test kolay düzlem: HC3 kıyaslama kümesinden kısa insan-karşısında-ChatGPT yanıtları; ham makine metninin en bariz olması gereken yer. Üst üste çizildiğinde ortalama insan yayı ile ortalama yapay zekâ yayı görsel olarak birbirinden ayırt edilemiyor ve yayı düzey-artı-varyans temeline eklemek onu hiç iyileştirmiyor. Hipoteze en elverişli düzlemde bile biçim daha baştan hiçbir şey taşımıyor.

Deney 2: Bir insanlaştırma saldırısından geriye herhangi bir sinyal kalıyor mu? (MAGE)

İnsanlaştırma saldırısından bir sinyal geriye kalıyor, diğeri kalmıyor: tekdüzelik karşıtı 0,78'de tutunurken ortalama perplexity 0,80'den 0,58'e çöküyor. İkinci test, MAGE kıyaslama kümesinden uzun biçimli, çok alanlı metne geçiyor (haber, diyalog özetleri, yorumlar ve biyomedikal özetler) ve gerçek tespit için en önemli durumu ekliyor: makine metninin gizlenmek için yeniden yazıldığı bir başka deyişle yazma (paraphrase) saldırısı. Bundan iki bulgu çıkıyor.

Birincisi, yay hâlâ şans düzeyinde. Hem ham hem de yeniden yazılmış koşulda AUC değeri 0,52'de oturuyor: küresel bir gerilim eğrisinin önem kazanma şansının en yüksek olduğu uzun biçimli, çekişmeli ortamda bile. Tespit gerçekten zorlaştığında biçim onu kurtarmıyor.

İkincisi ve daha yararlısı, saldırı seçici. İki şaşkınlık istatistiğini eşit ölçüde bozmuyor:

Yeniden yazma ortalama perplexity'yi çökertiyor, 0,80'den şans düzeyine doğru 0,58'e: insana benzer bir öngörülebilirlik düzeyini başarıyla geri getiriyor. Ama tekdüzelik karşıtını neredeyse hiç dokunmadan 0,78'de bırakıyor. Bir yeniden yazıcı kelime kelime öngörülebilirliği dengelemek için ne yaparsa yapsın, uzun ve kısanın, yoğun ve gevşeğin insani ritmini geri getirmiyor. Bunu her alanda ayrı ayrı kontrol ettik; aynı örüntü geçerli, perplexity her yerde hamdan yeniden yazılmışa düşüyor (örneğin IMDB 0,97'den 0,84'e ve PubMed 0,93'ten 0,80'e), yani bu, alanları birbirine karıştırmanın bir yan ürünü değil. Tekdüzelik karşıtı, saldırıya dayanıklı şaşkınlık istatistiğidir: varyans, düzeyin atlatamadığı gizlenmeyi atlatıyor.

Deney 3: Yay, iyi yazıyı izliyor mu? (ASAP-AES)

Yay, iyi yazıyı izlemiyor. Bağımsız insan bütüncül puanları taşıyan ASAP-AES öğrenci kompozisyonlarında bir puanın baskın belirleyicisi en gösterişsiz olan çıkıyor: uzunluk (küme başına Spearman korelasyonları +0,75, +0,65 ve +0,46).

Bu üçüncü test tespiti geride bırakıp yayın insan metinleri arasında kaliteyi öngörüp öngörmediğini soruyor. Şaşkınlık özellikleri arasında daha yüksek bir puanı hafifçe öngören şey daha düşük perplexity ve daha fazla tekdüzelik, yani UID ile uyumlu yön, estetik-yay görüşünün öngöreceğinin tam tersi. Daha tekdüze, daha öngörülebilir kompozisyonlar daha yüksek puan alıyor, daha düşük değil.

Ve yay biçimi hiçbir şey katmıyor. Uzunluk, ortalama, varyans ve yerel tekdüzelikten oluşan bir temelin üzerine eklendiğinde yay bloğu istatistiksel olarak anlamlı değil (yuvalanmış F = 1,79, p = 0,076) ve aslında örneklem dışı uyumu kötüleştiriyor, çapraz doğrulanmış R²'yi 0,341'den 0,340'a itiyor: −0,001'lik bir değişim. Yüksek puanlı ve düşük puanlı kompozisyonların ortalama yayları birbiriyle örtüşüyor. Bir kompozisyonu iyi yapan her ne ise, o, şaşkınlık eğrisinin biçimi değil.

Sonuçlar ikinci bir modelde de çıkıyor mu?

Her nitel sonuç, GPT-2'nin kabaca üç katı büyüklüğündeki ikinci bir modelde, Pythia-410m'de yeniden ortaya çıktı. Yay tespit için şans düzeyinde kaldı (0,53), ortalama perplexity yine yeniden yazma altında çöktü, 0,83'ten 0,55'e, tekdüzelik karşıtı yine dayandı, 0,83'ten 0,77'ye ve yay yine kaliteyi öngöremedi (yuvalanmış F = 1,18, p = 0,31).

Herhangi bir şaşırtıcılık sonucu hakkında haklı bir endişe, sonucun hangi modelle ölçtüğünüze bağlı olmasıdır; üç deneyin tamamını baştan sona bu yüzden tekrarladık. Olumsuz sonuç aynı anda modele dayanıklı, uzunluğa dayanıklı, düzleme dayanıklı ve alana dayanıklı: saldırı altındaki perplexity-kırılgan / tekdüzelik karşıtı-dayanıklı karşıtlığı da öyle.

Apaçık itirazı da önceden karşıladık: yalnızca şaşkınlık sinyalinin yavaş kısmına baktığımız ve daha hızlı bir bandın tek yayın kaçırdığı bir sinyali saklıyor olabileceği itirazını. Bu yüzden bütün şaşkınlık spektrumunu sekiz frekans bandına böldük ve kontrol ettik. Yardımı oluyor ama ucu ucuna: bant görünümü ham metinde tespit için düzey-artı-varyans temeline kabaca +0,011 AUC ekliyor, yeniden yazma altında neredeyse hiçbir şey, ve kalite için çapraz doğrulanmış R²'ye yaklaşık +0,005 ekliyor. Daha geniş spektrum, istatistiksel olarak saptanabilir ama pratikte kullanılamaz, soluk bir yapı kırıntısı barındırıyor. Ana mesaj değişmiyor: boş çıkan şey, yayın tek bir işlevsel tanımı değil, genel olarak şaşkınlık yapısının kendisi.

Kitap uzunluğundaki romanlarda yay var mı?

Kitap uzunluğundaki romanlarda yay daha az, daha çok değil. 30 kamu malı edebî eser için hesapladığımız şaşkınlık yaylarında sinyalin yavaş, küresel-yay bileşeni metinler uzadıkça küçülüyor: en düşük frekanslı bant, kısa yanıtlarda spektrumun 0,30'unu, kompozisyonlarda 0,15'ini, bütün kitaplarda ise yalnızca 0,12'sini tutuyor.

Yayın son ve en güçlü umudu kitap uzunluğundaki edebî nesirdi. Önceki çalışmalar, bütün romanlardan altı baskın duygusal yay biçimini ünlü biçimde geri çıkarmıştı, dolayısıyla belki tam uzunluktaki hikâyeler şaşkınlığı da aynı şekilde biçimlendiriyordur. Biçimlendirmiyorlar. Kitap uzunluğundaki şaşkınlık, hepsinin içinde en düz, en geniş bantlı yazıdır: en az yay biçimli olanı, en çok değil. Ve kitap yayları, duygusal yaylar gibi birkaç tanınabilir biçime indirgenmiyor: ilk iki bileşen varyansın yalnızca %22'sini açıklıyor. Şaşkınlık yayları, duygusal yaylar değildir. Olumsuz sonuç, erişebildiğimiz her ölçekte eksiksiz: kısa yanıtlar, kompozisyonlar ve bütün romanlar.

Peki yapay zekâ metnini ele veren nedir?

Yapay zekâ metnini ele veren şey şaşkınlığın düzeyi ve tekdüzeliği, biçimi değil: insan yazısını makine yazısından ayıran ve insan kalitesini izleyen sinyali o sıkıcı istatistikler taşıyor. Ham makine metni fazla dengeli, bilgiyi insanların yaptığından daha tekdüze ve daha öngörülebilir biçimde dağıtıyor; psikodilbilimin diliyle Tekdüze Bilgi Yoğunluğu'nu aşıyor.

İnsanlar dengeyi hedefler ama hiçbir zaman tam olarak ulaşamaz (sıçrarız, takılırız, sıra dışı bir kelimeye uzanırız) ve işte o artık düzensizlik, basit bir perplexity-ve-tekdüzelik karşıtı denetiminin ham model çıktısını işaretlerken okuduğu dokunun ta kendisi. Bu denetimlerin en baştan neden işe yaradığı da bu: yapay zekâ yazısının ele veren bir biçimi olduğu için değil, taklit ettiği insan yazısından daha düz ve daha istikrarlı olduğu için.

Bir humanizer ekibi şaşkınlık yaylarını neden inceledi?

Şaşkınlık yayları bizi çekti, çünkü her tespit aracının zaten yaslandığı kör skalerlerden daha zengin, daha zarif bir sinyal vaat ediyordu ve insan nesrini makine nesrinden gerçekte neyin ayırdığı tam da bizim alanımız. İnsan yazısını kayıtlar arası dikkatle okumak, yapay zekâ metin tespit aracımızın arkasındaki içgüdüyle aynı.

Fikri dürüstçe, bağımsız kıyaslama kümeleri üzerinde, yanlışlanabilir bir tasarımla ve açık kodla test etmek, zarif fikrin kör olanı yenip yenmediğini bilmenin tek yolu. Yenmiyor. Kör istatistikler kazanıyor ve bunların hangisinin dayanıklı olduğunu bilmek, yayın hiçbir zaman olabileceğinden daha pratik biçimde yararlı.

Bunun yapay zekâ metnini fark etmek için anlamı ne?

Yapay zekâ metnini fark etmek dayanıklılık meselesine iniyor: şaşkınlığın düzeyi ile varyansı taklit edilmesi eşit ölçüde zor değil. Bir yeniden yazma turu insana benzer bir öngörülebilirlik düzeyini geri getirebilir (metni ortalamada daha az makine-emin göstermeyi bilir) ama insana benzer tekdüzelik karşıtını, gerçek cümle ritminin o yaşanmış düzensizliğini geri getirmez.

Dolayısıyla varyansa yaslanan bir denetim, yalnızca ortalama öngörülebilirliğe yaslanan bir denetimden daha sağlam bir zemine basar; çünkü ortalama, bir yeniden yazımın en kolay yumuşattığı yarısıdır. Bir metni yalnızca puanlamak yerine anlamak isterseniz, metni tespit aracımızdan geçirip şunu akılda tutarak okuyabilirsiniz: kuşkulu derecede dengeli bir ritim, yalnızca düşük bir ortalamadan daha güçlü bir ipucudur. Gerçek bir derlem yaklaşımının bu aynı insan-karşısında-makine dokularını ürün tarafından nasıl okuduğuna dair eşlik eden hikâye için 2.590 kompozisyonluk derlem derinlemesine incelemesi tam da o yazı; çalışmalarımızın geri kalanı ise araştırma merkezinde.

Dürüstlük üzerine bir not, çünkü tespit, fazla özgüvenli rakamlarla dolu bir alan. Bunların hiçbiri tespit araçlarının yanılmaz olduğunu söylemiyor: tam tersi. Onlar hakikate değil istatistiksel dokuya yaslanır ve o doku şaşar: özenli, resmî, ikinci dilde yazılmış akademik yazı doğal olarak düşük perplexity'li ve dengeli ritimlidir, ki bu, ham makine metninin taşıdığı parmak izinin aynısıdır ve bu yüzden haksız yere işaretlenir. Perplexity ayrıca puanlamayı yapan modele göreli olarak ölçülür, ki tek bir sayının asla bir hüküm olmaması gerektiğinin bir başka nedeni de bu; gerçi kendi sonucumuzun iki farklı puanlama modelinde istikrarlı olduğunu belirtmekte yarar var, yani buradaki örüntü tek bir modelin kaprislerinin tesadüfü değil. Bu makaledeki bulgu bilerek dar ve özgül: şaşkınlığın biçimi işe yaramıyor, düzeyi ve varyansı yarıyor, ve yalnızca varyans bir gizlenmeyi atlatıyor. Bu, herhangi bir tek skora güvenmek için bir ruhsat değil.

Sonuçlar yeniden üretilebilir mi?

Üretilebilir. Çalışmadaki her veri kümesi herkese açık (HC3, MAGE ve ASAP-AES) ve tek bir komut, burada bildirilen her sayıyı iki şaşkınlık modelinden herhangi biriyle yeniden üretiyor.

Tüm yöntemler, her istatistik, bütün şekiller ve dürüst bir kısıtlar bölümü ResearchGate'teki ön baskıda yazılı; tamamen tekrarlanabilir bir montaj hattıyla birlikte eksiksiz analiz kodu GitHub'da açıkça erişilebilir; böylece olumsuz sonuç inanca bırakılmak yerine kontrol edilebilir ve genişletilebilir. Yazarların şaşkınlığı bir yaya dönüştürdüğü o çekici fikir, veriyle temas edince ayakta kalmıyor; sinyal o sıkıcı istatistiklerde yaşıyor ve kendiniz doğrulayabilesiniz diye her şeyi açıkta bıraktık.