Bilimin en temel kurallarından biri şudur: bir bulgu gerçekse, aynı deneyi tekrarladığında aynı sonucu alabilmelisin. Buna “replikasyon” (yinelenebilirlik) denir. Bir çalışmayı başka araştırmacılar, yeni bir örneklemle tekrarladığında aynı sonuç çıkıyorsa, o bulguya güvenebiliriz; çıkmıyorsa, elimizdeki belki de sadece bir rastlantıydı.
Peki ya psikolojinin en ünlü, ders kitaplarına girmiş bulgularının çoğu tekrarlanamazsa? 2010’lu yıllarda tam da bu oldu ve psikoloji, bir “replikasyon krizi”yle sarsıldı. Ama bu hikâyenin sonu, kulağa geldiğinden çok daha umut verici.
Replikasyon neden bu kadar önemli?
Tek bir çalışma, tek başına asla kesin bir kanıt değildir. Herhangi bir deneyde, gerçek bir etki değil de sadece şansa bağlı bir dalgalanma sonuç üretmiş olabilir. Bilimi güvenilir kılan şey, bu ayrımı yapabilmesidir: bir bulgu tekrar tekrar, farklı ekiplerce yinelenebiliyorsa, artık onun bir tesadüf değil, gerçek bir etki olduğuna güvenebiliriz.
Yani replikasyon, bilimin kendini denetleme ve gerçeği gürültüden ayırma yöntemidir. İşte krizin bu kadar sarsıcı olmasının sebebi de buydu.
Ne oldu?
2011 ile 2015 arasında, psikologlar sistematik olarak şunu test etmeye başladı: acaba klasik, yayımlanmış bulgular tekrarlanabiliyor mu?
Dönüm noktası, 2015’te yayımlanan büyük bir çalışmaydı (Reproducibility Project). Geniş bir araştırmacı ekibi, saygın dergilerde yayımlanmış 100 psikoloji çalışmasını yeniden yapmayı denedi. Sonuç çarpıcıydı: bu çalışmaların yalnızca yaklaşık yüzde 40’ı başarıyla tekrarlanabildi; tekrarlananların etkileri de ortalama olarak orijinalinin neredeyse yarısı kadar çıktı. Yani yayımlanmış bulguların yarısından fazlası, ikinci kez sınandığında ayakta kalamadı.
Pek çok ünlü bulgu böylece mercek altına girdi — iradenin tükenen bir yakıt olduğu (“ego tükenmesi”) fikri, “güçlü poz vermenin” insanı değiştirdiği iddiası ve bir dizi “zihinsel hazırlama” (priming) etkisi gibi. Bu, ciddi bir soruyu gündeme getirdi: ders kitaplarındaki “gerçeklerin” ne kadarı gerçekten sağlam?
Neden oldu?
Krizin birkaç sistemli nedeni vardı.
Yayın yanlılığı. Dergiler çarpıcı, olumlu ve “anlamlı” sonuçları yayımlamayı sever; hiçbir şey bulamayan (null) çalışmalar ise çoğu zaman bir çekmecede kalır, yayımlanmaz. Böylece literatür, şansa bağlı olarak “anlamlı” çıkmış bulgular lehine çarpılır.
Esnek analiz (p-hacking). Araştırmacılar, çoğu zaman farkında bile olmadan, veriyi anlamlı bir sonuç çıkana kadar farklı biçimlerde analiz edebilir — birçok analiz deneyip işe yarayanı raporlamak, veri toplamayı tam “anlamlı” olduğu anda durdurmak gibi. Bu, yanlış pozitifleri artırır. Bir çalışma, sırf bu esneklikle gürültüden bile “anlamlı” sonuçlar üretilebileceğini göstermişti.
Küçük örneklemler. Az katılımcıyla yapılan çalışmalar gürültülü ve güvenilmez sonuçlar üretir; şansa bağlı büyük etkiler bulunur, ama tekrar edildiğinde kaybolur.
“Yayımla ya da yok ol” baskısı. Akademik teşvikler, dikkatli ve tekrarlanabilir çalışmalardan çok, yeni ve çarpıcı bulguları ödüllendirir.
Bu kötü haber mi, iyi haber mi?
İlk bakışta ürkütücü geliyor. Ama aslında bu, bilimin çökmesi değil, çalışmasıdır.
Şunu düşünün: bu krizi keşfeden, adını koyan ve açık açık tartışan kim oldu? Bizzat psikologların kendisi. Kendi en ünlü bulgularını sınayıp “bunların çoğu tutmadı” diyebilmek, bir zayıflık değil; bir bilimin yapabileceği en cesur şeydir. Sözde-bilimler asla kendini bu şekilde sorgulamaz; bilimi güvenilir kılan tam da bu kendi kendini düzeltme yeteneğidir.
Bunu bir yapı denetimine benzetebiliriz. Binanın temellerini kontrol edip bazı odaların kum üzerine kurulduğunu fark etmek kötü bir haber gibi görünür. Ama o çatlağı görmezden gelip sallanan bir evde yaşamaktansa, onu bilip sağlam zeminde yeniden inşa etmek her zaman daha iyidir.
Sonrasında ne değişti?
Kriz, daha şeffaf ve daha sağlam bir bilime doğru büyük bir reform dalgası başlattı.
Bunların başında ön kayıt (pre-registration) geliyor: araştırmacılar, hipotezlerini ve analiz planlarını veriyi toplamadan önce herkese açık biçimde kaydediyor; böylece sonradan veriyle oynamak (p-hacking) çok zorlaşıyor. Buna verinin ve yöntemlerin açık paylaşılması, daha büyük örneklemler, ve en önemlisi, tekrarlama çalışmalarına artık değer verilip yayımlanması eklendi. Kısacası psikoloji, kendini daha sıkı denetleyen bir bilim haline geliyor — kimileri buna “güvenilirlik devrimi” diyor.
Peki bu bize ne söylüyor?
Buradan hepimizin çıkaracağı pratik bir ders var: tek bir çarpıcı çalışmaya, “araştırmalar gösterdi ki…” diye başlayan tek bir manşete fazla kapılmamak. Tek bir çalışma nadiren son sözdür; asıl güvenilir olan, tekrar tekrar doğrulanmış, sağlam bulgulardır.
Ama dikkat — ters uca da düşmemeli. Bu kriz, “demek ki psikolojinin hepsi uydurma” anlamına gelmez. Psikolojinin büyük bir kısmı sağlamdır; kriz, her şeyi çöpe atmakla değil, standartları yükseltmekle ilgilidir. Yani doğru tutum, kör bir güven de kör bir alaycılık da değil; sağlıklı bir şüpheciliktir.
Sonuç
Replikasyon krizi, psikolojinin bir ayıbı değil; büyümesiydi. Bir bilimin yapabileceği en cesur şeyi yaptı: kendi ünlü iddialarını sınadı, çoğunun tutmadığını kabul etti ve daha sağlam bir zemin üzerinde yeniden inşa etmeye başladı.
Ve bize bıraktığı ders, aslında bu sitedeki her yazının ruhudur: tek bir çarpıcı iddiaya kanma; tekrarlanan, ayakta kalan bilgiye güven. Bu, alaycılık değildir — iyi bilimin, ve iyi düşünmenin, tam olarak nasıl işlediğidir.
Bu yazı, bilimsel yöntem ve araştırma okuryazarlığı üzerine bilgilendirme amaçlıdır. Psikoloji ve sağlıkla ilgili haberleri okurken, tek bir çalışmaya değil, tekrarlanmış ve üzerinde uzlaşılmış bulgulara güvenmek en sağlıklı yaklaşımdır.
İleri okuma / kavramsal kaynaklar: Açık Bilim İşbirliği’nin (Open Science Collaboration, Brian Nosek ve ekibi) 2015 tarihli Reproducibility Project: Psychology çalışması; Simmons, Nelson ve Simonsohn’un “False-Positive Psychology” (2011) makalesi ve p-hacking gösterimi; yayın yanlılığı ve “çekmece sorunu” (file drawer problem); ön kayıt (pre-registration), açık veri ve tescilli raporlar (registered reports) gibi açık bilim reformları.
