Wie verzerrt ist die Psychologische Literatur?

Die Vertrauenskrise der psychologischen Wissenschaft wurde mittlerweile bis in populäre Medien getragen. Insbesondere Wissenschaftsskandale im Zusammenhang mit Datenfälschungen wie zum Beispiel der prominente Betrugsfall Diederik Stapel in den Niederlanden haben in den letzten Jahren viel Aufmerksamkeit in der Öffentlichkeit erfahren. Obwohl solche Fälle die meiste Aufmerksamkeit erregen, stellen andere Mechanismen die weitaus größere Gefahr für die empirische Forschung dar. Nicht replizierbare Ergebnisse, Voodoo-Korrelationen und Zombie-Theorien durchdringen die wissenschaftliche Literatur und führen mitunter zur Annahme von fragwürdigen Effekten. Dies verlangsamt nicht nur den Erkenntnisgewinn, sondern kann auch dramatische Auswirkungen über den Erkenntnisprozess hinaus haben. Zum Beispiel zeigt Evidenz von umfassenden Meta-Analysen über randomisierte kontrollierte Studien zur Wirksamkeit von gewissen Interventionsmaßnahmen, dass erstmalige Effektschätzungen und früh publizierte Studien höhere Behandlungswirksamkeiten berichten als später publizierte Studien. Solche Effektüberschätzungen werden selbst dann beobachtet, wenn wie im klinischen Kontext üblich es sich um präregistrierte Untersuchungen handelt. Die Auswirkungen von Effektüberschätzungen werden dadurch verschlimmert, dass starke, überraschende, hypothesenkonforme und signifikante Ergebnisse aus Primärstudien häufiger, schneller und auch sichtbarer (d.h., in Fachzeitschriften mit höheren Impact Faktoren) publiziert werden und in weiterer Folge auch häufiger zitiert werden. Dies führt dazu, dass oft unwahre und überhöhte Effekte kommuniziert werden. Das gestiegene Problembewusstsein unter Wissenschaftern hat in jüngerer Zeit zu Anstrengungen geführt um den wissenschaftlichen Prozess transparenter und Studienergebnisse replizierbarer zu machen. Das hier vorgestellte Projekt soll an diese Anstrengungen anknüpfen und einen Beitrag zur Abschätzbarkeit von Effektverzerrungen in der wissenschaftlichen Literatur leisten. Zu diesem Zweck planen wir die Daten von allen publizierten Meta-Analysen in fünf der einflussreichsten Fachzeitschriften in Psychologie zu extrahieren und zu reanalysieren. Mittels der Anwendung von konventionellen und speziellen Methoden von Forschungssynthesen sollen in dem vorliegenden Forschungsprojekt die folgenden fünf Ziele erreicht werden: 1.) Feststellung der Höhe von Effektüberschätzungen im Vergleich von Erstpublikationen mit meta-analytischen Gesamteffektstärken, 2.) Berechnung von durchschnittlichen jährlichen Effektabnahmen, 3.) Erfassung von moderierenden Variablen sowie Einfluss von Sichtbarkeit und Prestige der Zeitschrift der Erstpublikation auf die Stärke von Effektabnahmen, 4.) Abschätzung der Prävalenz von Effektfehldarstellungen in der Literatur, und 5.) Prävalenzfeststellung von Disseminationsbias mittels sieben modernen Verfahren zur Biasdetektion und Vergleich mit den in der Literatur berichteten Ergebnissen. Die Erkenntnisse aus dem vorliegenden Projekt werden Aufschluss für Autoren, Reviewer als auch für Konsumenten von empirischen Artikeln über die potentielle Aussagekraft und erwartbare Veränderung erstmals publizierter Effekte in wissenschaftlichen Beiträgen geben.

Es liegt in ihrer Natur, dass die Ergebnisse empirischer Forschungsstudien ein mehr oder weniger genaues Bild der Realität wiedergeben. Weniger realitätsgetreue Ergebnisse können durch ungeeignete Studiendesigns, Forschungsansätze oder -interpretationen, aber auch durch Zufall entstehen. Während das Peer-Review-Verfahren sicherstellen soll, die Veröffentlichung von suboptimal konzipierten oder interpretierten Studien zu verhindern, sind zufällige Ergebnisse weitgehend immun gegen die Entdeckung durch Fachkollegen. In der empirischen Forschung äußern sich Zufallsbefunde durch ungenaue Effektschätzungen, die zu einer Über- oder Unterschätzung der untersuchten Studieneffekte führen, oder durch das Überschreiten eines statistischen Schwellenwerts, der die Signifikanz eines bestimmten Effekts anzeigt, obwohl es in Wirklichkeit keinen gibt. Diesem Problem wird in der Regel durch unabhängige Replikationen neu festgestellter Effekte begegnet, die zu genaueren Effektschätzungen führen, sobald genügend Daten und Studien verfügbar sind. Eine zentrale Annahme der wissenschaftlichen Methode ist jedoch, dass Über- und Unterschätzungen von Effekten in etwa gleich häufig vorkommen und das eine Szenario nicht häufiger auftritt als das andere. Im Mittelpunkt des vorliegenden Projekts steht der Gedanke, dass dies nicht der Fall ist, da in der gesamten psychologischen Literatur, unabhängig von der untersuchten Forschungsfrage, in explorativen Studien eine systematisch überproportionale Anzahl von überschätzten im Vergleich zu unterschätzten Effekten berichtet wird. Dies ist besonders problematisch, weil explorative Studien mehr Aufmerksamkeit erhalten und häufiger zitiert werden, wodurch sie im Vergleich zu Replikationen ein unbegründetes mehr an Autorität erlangen. Durch die Untersuchung der Ergebnisse von mehr als 570 Forschungssynthesen mit über 51 Millionen Teilnehmern, die in fünf führenden Zeitschriften der Wissenschaftsdisziplin Psychologie veröffentlicht wurden, konnten wir in unserem Projekt zeigen, dass sogenannte Decline-Effekte (d.i. eine Überschätzung des erstmalig publizierten Effekts hinsichtlich einer beliebigen Forschungsfrage, die im Laufe der Zeit zu abnehmenden Effektgrößen führt) in der Literatur doppelt so häufig vorkommen wie Effektzunahmen. Außerdem sind diese Rückgänge im Vergleich zu den Anstiegen numerisch wesentlich stärker. Diese Ergebnisse können auf publikationsbedingte Mechanismen zurückgeführt werden, die Anreize für die Veröffentlichung von Studien mit geringer Power und spektakulären (aber unwahrscheinlichen) Ergebnissen schaffen. Diese Interpretation wird durch unsere Beobachtung untermauert, dass die größten (und damit spektakulärsten) Effekte, die in den Initialstudien berichtet wurden, die ungenauesten Schätzungen darstellten. Mit anderen Worten: Die atemberaubendsten Effekte sind höchstwahrscheinlich falsch. Obwohl unsere Ergebnisse bisher nur auf Studien beruhen, die in der Psychologie veröffentlicht wurden, gehen wir davon aus, dass diese Ergebnisse auch auf andere empirische Disziplinen übertragbar sind. Unsere Ergebnisse belegen die Bedeutung moderner Open-Science-Praktiken in der empirischen Forschung, machen aber auch deutlich, dass wir freiwillige Preregistrierungen und data sharing nicht ausreichen. Eine Reform von Editorial Policies, Anreize für die Veröffentlichung genauer anstatt spektakulärer Ergebnisse und die Anwendung moderner Methoden zur Detektion von Dissemination Biases sind notwendig, um das Vertrauen in die Ergebnisse der empirischen Forschung zu verbessern.