Bilimin temel kurallarından biri şudur: bir bulgu gerçekse, aynı deneyi yeni bir örneklemle tekrarladığında benzer bir sonuç almayı bekleyebilirsin. Buna “replikasyon” (yinelenebilirlik) denir. Bir çalışmayı başka araştırmacılar, yeni bir örneklemle tekrarladığında benzer sonuç çıkıyorsa, o bulguya duyduğumuz güven artar; çıkmıyorsa, elimizdeki belki de sadece bir rastlantıydı — ama tek bir başarısız tekrar da kesin bir hüküm değildir.
Peki ya yayımlanmış, hatta ünlü bulguların bir kısmı tekrarlandığında aynı sonucu vermezse? 2010’lu yıllarda büyük tekrar çalışmaları tam da bunu gösterdi ve psikoloji, bir “replikasyon krizi”yle sarsıldı. Ama bu hikâyenin devamı, kulağa geldiğinden çok daha umut verici.
Replikasyon neden bu kadar önemli?
Tek bir çalışma, tek başına asla kesin bir kanıt değildir. Herhangi bir deneyde, gerçek bir etki değil de sadece şansa bağlı bir dalgalanma sonuç üretmiş olabilir. Bilimi güvenilir kılan şeylerden biri, bu ayrımı yapabilmesidir: bir bulgu tekrar tekrar, farklı ekiplerce yinelenebiliyorsa, onun bir tesadüf değil, gerçek bir etki olduğuna duyduğumuz güven artar.
Yani replikasyon, bilimin kendini denetleme ve gerçek etkiyi gürültüden ayırmaya çalışma yöntemidir. İşte krizin bu kadar sarsıcı olmasının sebebi de buydu.
Ne oldu?
2011 ile 2015 arasında, psikologlar sistematik olarak şunu test etmeye başladı: acaba klasik, yayımlanmış bulgular tekrarlanabiliyor mu?
Dönüm noktası, 2015’te yayımlanan büyük bir çalışmaydı (Reproducibility Project). Geniş bir araştırmacı ekibi, 2008’de üç önemli psikoloji dergisinde yayımlanmış 100 çalışmayı yeniden yapmayı denedi. Sonuç çarpıcıydı: tekrarların yalnızca yüzde 36’sı istatistiksel olarak anlamlı sonuç verdi; tekrarı yapan ekipler de çalışmaların yüzde 39’unda özgün sonucun tekrarlandığı kanısına vardı. Tekrarlarda ölçülen etkiler de ortalama olarak özgün çalışmalardakilerin yarısı kadar çıktı. Projenin kendisi, bu oranların psikolojinin geri kalanına ne ölçüde genellenebileceğinin bilinmediğini de not ediyor.
2010’lu yıllardan itibaren ayrı tekrar çalışmaları da pek çok ünlü bulguyu mercek altına aldı — iradenin tükenen bir yakıt olduğu (“ego tükenmesi”) fikri (bkz. “İrade Gücü Tükenen Bir Yakıt mıdır?“), “güçlü poz vermenin” insanı değiştirdiği iddiası ve bir dizi “zihinsel hazırlama” (priming) etkisi gibi. Bu, ciddi bir soruyu gündeme getirdi: ders kitaplarındaki “gerçeklerin” ne kadarı gerçekten sağlam?
Neden oldu?
Krizin birkaç sistemli nedeni vardı.
Yayın yanlılığı. Dergiler çarpıcı, olumlu ve “anlamlı” sonuçları yayımlamayı sever; istatistiksel olarak anlamlı bir etki bulamayan (null) çalışmalar ise bir çekmecede kalıp hiç yayımlanmayabilir. Böylece literatür, şansa bağlı olarak “anlamlı” çıkmış bulgular lehine çarpılır.
Açıklanmayan esnek analiz (p-hacking). Araştırmacılar, farkında bile olmadan, veriyi anlamlı bir sonuç çıkana kadar farklı biçimlerde analiz edebilir — birçok analiz deneyip işe yarayanı raporlamak, veri toplamayı tam “anlamlı” olduğu anda durdurmak gibi. Bu, yanlış pozitifleri artırır. Bir çalışma, sırf bu esneklikle gürültüden bile “anlamlı” sonuçlar üretilebileceğini göstermişti.
Küçük örneklemler. Az katılımcıyla yapılan çalışmaların sonuçları daha gürültülüdür; şansa bağlı büyük etkiler bulunabilir ve bunlar tekrar edildiğinde küçülebilir ya da kaybolabilir.
“Yayımla ya da yok ol” baskısı. Akademik teşvikler, dikkatli ve tekrarlanabilir çalışmalardan çok, yeni ve çarpıcı bulguları ödüllendirir.
Bu kötü haber mi, iyi haber mi?
İlk bakışta ürkütücü geliyor. Ama aslında bu, bilimin çökmesi değil, çalışmasıdır.
Şunu düşünün: bu krizi keşfeden, adını koyan ve açık açık tartışan kim oldu? Bizzat psikologların kendisi. Kendi ünlü bulgularını yeniden sınayıp bir kısmının tekrarlanamadığını açıkça kabul edebilmek bir zayıflık değil, bir bilimin olgunluk göstergesidir. Bilimi güvenilir kılan şeylerden biri de bu kendi kendini düzeltme yeteneğidir.
Bunu bir yapı denetimine benzetebiliriz. Binanın temellerini kontrol edip bazı odaların kum üzerine kurulduğunu fark etmek kötü bir haber gibi görünür. Ama o çatlağı görmezden gelip sallanan bir evde yaşamaktansa, onu bilip sağlam zeminde yeniden inşa etmek her zaman daha iyidir.
Sonrasında ne değişti?
Kriz, daha şeffaf ve daha sağlam bir bilime doğru büyük bir reform dalgası başlattı.
Bunların başında ön kayıt (pre-registration) geliyor: araştırmacılar, hipotezlerini ve analiz planlarını sonuçları görmeden önce kayda geçiriyor; böylece önceden öngörülerek yapılan analizler, sonuçlar görüldükten sonra yapılanlardan ayırt edilebiliyor. Buna verinin ve yöntemlerin açık paylaşılması, daha büyük örneklemler, ve en önemlisi, tekrarlama çalışmalarına artık değer verilip yayımlanması eklendi. Kısacası psikoloji, kendini daha sıkı denetleyen bir bilim hâline geliyor — kimileri buna “güvenilirlik devrimi” diyor.
Peki bu bize ne söylüyor?
Buradan hepimizin çıkaracağı pratik bir ders var: tek bir çarpıcı çalışmaya, “araştırmalar gösterdi ki…” diye başlayan tek bir manşete fazla kapılmamak. Tek bir çalışma nadiren son sözdür; daha güvenilir olan, farklı ekiplerce tekrar tekrar sınanmış ve tutarlı sonuç vermiş bulgulardır.
Ama dikkat — ters uca da düşmemeli. Bu kriz, “demek ki psikolojinin hepsi uydurma” anlamına gelmez: tekrar projelerinde başarıyla tekrarlanan bulgular da var ve her iddia kendi yöntemi, tekrarları ve biriken kanıtı üzerinden değerlendirilmelidir. Kriz, her şeyi çöpe atmakla değil, standartları yükseltmekle ilgilidir. Yani doğru tutum, kör bir güven de kör bir alaycılık da değil; sağlıklı bir şüpheciliktir.
Sonuç
Replikasyon krizi, psikolojinin bir ayıbı değil; büyümesiydi. Psikoloji kendi ünlü iddialarını yeniden sınadı, bir kısmının tekrarlanamadığını kabul etti ve daha sağlam bir zemin için reformlara girişti.
Ve bize bıraktığı ders, aslında bu sitedeki her yazının ruhudur: tek bir çarpıcı iddiaya kanma; farklı ekiplerce tekrar tekrar sınanmış ve tutarlı sonuç vermiş bulgulara daha çok güven. Bu, alaycılık değildir — iyi bilimin, ve iyi düşünmenin, tam olarak nasıl işlediğidir.
Bu yazı, bilimsel yöntem ve araştırma okuryazarlığı üzerine bilgilendirme amaçlıdır. Psikoloji ve sağlıkla ilgili haberleri okurken tek bir çalışmaya değil, bağımsız olarak tekrarlanmış ve birikmiş kanıtla desteklenen bulgulara bakmak daha güvenli bir yoldur.
İleri okuma / kavramsal kaynaklar: Açık Bilim İşbirliği’nin (Open Science Collaboration, Brian Nosek ve ekibi) 2015 tarihli Reproducibility Project: Psychology çalışması; Simmons, Nelson ve Simonsohn’un “False-Positive Psychology” (2011) makalesi ve p-hacking gösterimi; yayın yanlılığı ve “çekmece sorunu” (file drawer problem); ön kayıt (pre-registration), açık veri ve kayıtlı raporlar (registered reports) gibi açık bilim reformları.
