zurück zur Übersicht

Warum die meisten veröffentlichten Forschungsergebnisse richtig sein können

John Ioannidis von der Stanford Universität gilt als Koryphäe auf dem Gebiet der Meta-Research, also der Forschung über Forschung. Nun hat der Forscher, der oftmals als „das Gewissen der Wissenschaft“ bezeichnet wird, in Berlin ein neues Meta-Research Innovation Center gegründet. Warum es für die Wissenschaft gut ist, ein schlechtes Gewissen zu haben und warum Berlin der geeignete Standort für sein neues Institut ist, hat er uns bei seinem ersten Besuch als Einstein BIH Visiting Fellow der Stiftung Charité erzählt:

Vor über zehn Jahren haben Sie Ihren berühmten Artikel „Warum die meisten publizierten Forschungsergebnisse falsch sind“ veröffentlicht. Das Feld der Metaanalyse war damals nicht komplett neu, aber mit der Dynamik, die durch Ihren Artikel entstand, scheinen Sie beachtliche Energie hinter Ihrer Initiative, die Forschungspraxis zu verbessern, versammelt zu haben. Wie schätzen Sie die Veränderungen seitdem ein?

Es gab beachtliche Verbesserungen in der Art und Weise, wie wir forschen und was wir mit unserer Forschung anfangen können. Dies wurde durch mehrere Interventionen, Ideen und Konzepte ermöglicht und sollte der gesamten wissenschaftlichen Gemeinschaft angerechnet werden, nicht einzelnen Personen. Es handelt sich um einen evolutionären Prozess, der hoffentlich dazu führt, dass wir unsere wissenschaftlichen Instrumente besser anwenden können. Jede Woche gibt es neue Entwicklungen im Hinblick darauf, wie wir Studien entwerfen, welche Methoden wir verwenden, wie wir Probleme in der Methodik erkennen und beheben, wie wir Forschung veröffentlichen und bewerten und nach welchen Kriterien wir Forscher auszeichnen. Ich bin gespannt, was die nächste Woche bringt.

Können Sie uns ein paar Beispiele nennen, was sich verändert hat?

Ein Bereich, in dem beeindruckende Veränderungen stattfinden, ist die gemeinsame Datennutzung. Diese Entwicklung ist in einigen Disziplinen stärker zu beobachten als in anderen. In der Genetik, Physik und sogar einigen Sozialwissenschaften wie der Psychologie sind Wissenschaftler beispielsweise gern bereit, ihre Daten miteinander zu teilen. In anderen Disziplinen, zum Beispiel in der Ernährungsepidemiologie, ist man wesentlich zurückhaltender in dieser Hinsicht. In der Vergangenheit war nicht einmal gewährleistet, dass Daten überhaupt zugänglich gemacht werden, heute argumentieren wir, dass die Daten bereitgestellt werden sollten – in einigen Feldern sogar bevor sie erstmals auswertet werden. Insbesondere in den stark quantitativ ausgerichteten Fachgebieten, den sogenannten Omics, hat eine einzelne Arbeitsgruppe nur sehr begrenzte Möglichkeiten, aus den Datenbruchstücken, die sie erheben, bedeutsame Rückschlüsse zu ziehen. Wenn allerdings alle Forschungsgruppen ihre Ergebnisse in eine stetig wachsende Datenbank einspeisen, könnte die Wissenschaftsgemeinde die Gesamtheit aller Daten wesentlich effizienter analysieren. Auch bei der Registrierung von Studien gab es gravierende Veränderungen. Noch vor zehn Jahren Registrierung wurde selten verwendet, heute ist sie bei randomisierten Studien eine weit verbreitete Praxis. Dadurch haben wir eine bessere Vorstellung davon, welche Ergebnisse potenziell vorliegen im Vergleich zum sichtbaren Anteil, der publiziert wurde. Viele Disziplinen haben außerdem realisiert, dass sowohl ihre statistischen Methoden als auch ihre Vorkehrungen gegen Bias unzureichend sind.

John P.A. Ioannidis

Förderprogramm

Einstein BIH Visiting Fellows

Förderzeitraum

2019 bis 2021

Vorhaben

Meta-Research Innovation Center at Berlin (METRIC-B): Identifizierung und Maximierung des Nutzens vorbildlicher wissenschaftlicher Praktiken in der Biomedizin und darüber hinaus

Fachgebiete

Qualitätssicherung, Metaanalyse

Institution

Berliner Institut für Gesundheitsforschung (BIH)

 

Seit 2013

Kodirektor des Meta-Research Innovation Center at Stanford (METRICS)

Seit 2010

C.F. Rehnborg Chair für Krankheitsprävention, Professor für Medizin, Gesundheitsforschung und Gesundheitspolitik, Biomedizinische Datenwissenschaft, und Statistik, Stanford University, Kalifornien, USA

2005

Veröffentlichung des Artikels “Why most published research findings are false” (PLoS Medicine)

Bis vor kurzem waren die Studiengrößen und Fallzahlen vieler Tierversuche, Laboruntersuchungen und auch klinischer Studien viel zu niedrig, um aussagekräftig zu sein, und daher anfällig für falsch-positive oder falsch-negative Ergebnisse. Wissenschaftler aus aller Welt sind sich einig, dass umfangreiche, sorgfältig durchgeführte und besser dokumentierte Studien besser reproduzierbar sind.

Wann schreiben Sie den Artikel “Warum die meisten veröffentlichten Forschungsergebnisse stimmen”?

Es gibt keinen Grund, wieso die meisten veröffentlichten Artikel nicht stimmen können. Dieser Artikel kann also bereits für viele Felder geschrieben werden. Einige Felder mit dem größten Glaubwürdigkeitsproblem jedoch gehören zu den vielversprechendsten Forschungsgebieten. Das sind jene Gebiete, auf denen wir bisher über wenig Wissen verfügen, in denen Entdeckungen aber enorm bahnbrechend sind. Sie brauchen motivierte Forscher, um die gewohnten Wege zu verlassen und Neuland betreten zu können. Die Misserfolgsquote ist dementsprechend hoch, aber wir brauchen solche Forschung. Es mag paradox erscheinen, einerseits für glaubwürdige Wissenschaft zu werben und gleichzeitig für extrem risikoreiche Forschung mit einer sehr hohen Misserfolgsrate. Jedoch steckt in mir auch ein kleiner Kamikazepilot (lacht) und wir brauchen solche Kamikazeflieger – nicht, um abzustürzen, sondern um Dinge zu probieren und auch zu scheitern. Aber auch diese Felder haben Spielraum zur Verbesserung.

Sie haben auch gesagt, dass eines der Probleme, warum Forscher nur sensationelle, positive Forschungsergebnisse veröffentlichen, die Förderlandschaft sei. Wie kann man Motivation für Forscher schaffen, auch über Misserfolge ehrlich zu berichten?

Das Belohnungssystem muss an die Erwartungen angepasst werden, die wir an die Wissenschaft stellen. Forschung ist die beste Chance, die wir haben, um ein längeres und besseres Leben zu führen. Wir müssen also Wege finden, um die Qualität der Vorbereitung, der Methodik und des Designs zu verbessern sowie den Gemeinschaftssinn von Forschern zu belohnen. Bei risikoreicher Forschung mag der Ertrag pro Studie geringer ausfallen, aber auch bei Misserfolgsraten von 99,9 Prozent sind die 0,1 Prozent, die uns vielleicht zu einer Therapie für Alzheimer führen, jeden Cent wert. Darum müssen wir Forscher schützen, die hohe Risiken in Kauf nehmen, dabei aber hohe Qualitätsmaßstäbe erfüllen. Wenn wir das nicht machen, belohnen wir am Ende diejenigen, die ihre Forschungsergebnisse nur positiv verzerrt präsentieren. Dies geschieht bereits zu einem hohen Ausmaß und das ist sehr gefährlich.

Sie pendeln sowohl zwischen Kontinenten als auch zwischen Fachgebieten: Es gibt kaum eine Disziplin in den Lebenswissenschaften, mit der Sie noch nicht in Kontakt kamen…

Der Plan war natürlich nicht, keinen Fokus zu haben. Doch im Laufe meiner Karriere habe ich versucht, mich mit möglichst vielen neuen Ideen und Gebieten auseinanderzusetzen. Der gemeinsame Nenner ist, dass ich mich vielmehr mit der Methodik, dem Studiendesign und der Statistik beschäftige als mit deren fachspezifischer Anwendung. Zwischen augenscheinlich unterschiedlichen Forschungsfeldern gibt es in dieser Hinsicht oft viele Gemeinsamkeiten. Einige Muster im Gebrauch oder auch Missbrauch bestimmter Methodik kann man sowohl in den Neurowissenschaften als auch in den Wirtschaftswissenschaften beobachten. Ich finde es aufregend, herauszufinden, ob Ansätze und Methoden, die sich in einem Gebiet als hilfreich erwiesen haben, auch in anderen Fachbereichen Anwendung finden könnten. Natürlich gibt es immer Grenzen. Dennoch glaube ich, dass durch die zunehmende Spezialisierung wenig Raum für Ausreißer bleibt, was sich auch in der Förderlandschaft widerspiegelt. Dabei können wir aus Interdisziplinarität vieles lernen.

Sie verkörpern gewissermaßen das antike Bild des griechischen Philosophen-Mathematiker-Wissenschaftlers in der Ära der Metaanalyse…

Ein Vergleich mit den griechischen Vordenkern der Antike setzt die Messlatte etwas hoch (lacht). Natürlich ist es als Grieche praktisch, dass ein Großteil des akademischen Vokabulars griechischen Ursprungs ist. So fühlt man sich sehr heimisch mit wissenschaftlicher Literatur, auch wenn man von dem Thema ansonsten keine Ahnung hat.

Es entsteht auch ein gewisses Gefühl von Kontinuität zwischen der antiken Philosophie und der modernen Wissenschaft; wobei die wissenschaftlichen Methoden in ihrer modernen Form eher im 16. Jahrhundert entstanden und nicht unbedingt auf Platon oder Aristoteles zurückzuführen sind. Trotzdem haben sich diese bereits mit vielen der grundlegenden Ideen, Herausforderungen und Konzepte befasst, über die wir heute noch diskutieren.

Nun eröffnen Sie das Meta-Research Innovation Center Berlin (METRIC-B). Welche Pläne haben Sie für das METRIC-B und Ihre Zusammenarbeit mit dem QUEST-Center des Berliner Instituts für Gesundheitsforschung (BIH)?

METRIC-B soll ein Pendant des Meta-Research Innovation Center at Stanford – METRICS werden, bei dem die Forschung über Forschung im Mittelpunkt steht. Unser Ziel ist es, die Forschungspraxis zu verbessern und dadurch einen Mehrwert für die Qualität und die Glaubwürdigkeit der Wissenschaft zu schaffen. Unsere Arbeit zeichnet sich durch Interdisziplinarität und die Fähigkeit aus, von anderen Disziplinen zu lernen und sie miteinander zu verbinden. Berlin ist eine spannende Umgebung für das neue Meta-Research-Center, da hier bereits viele Forschungsgruppen für das Thema sensibilisiert sind. Am BIH wurde vor eineinhalb Jahren das QUEST-Center gegründet, um die Wissenschaftskultur in der Biomedizin vor Ort zu verändern, somit hat die Agenda von QUEST viele Schnittpunkte mit den Zielen von METRICS und METRIC-B. Viele Wissenschaftler, die ich in Berlin, Deutschland und Europa kenne, würden gerne an unseren Projekten teilhaben. Daher möchte ich einen Knotenpunkt zur Vernetzung und einen Raum für verschiedene Initiativen schaffen. Vor Ort in Berlin zu sein, bietet mir Möglichkeiten, die ich nicht hätte, wenn ich am anderen Ende der Welt sitze. Insbesondere erlaubt es mir, mich mit interessanten Menschen zu treffen und mich über die Grenzen einzelner Forschungsgebiete hinweg zu vernetzen.

In Deutschland schauen wir oft mit Bewunderung auf die Vereinigten Staaten mit ihren vielen Elite-Universitäten und Nobelpreisträgern. Welche Rolle spielen Ihrer Meinung nach Deutschland und Berlin für die biomedizinische Forschungsgemeinde?

Berlin ist der ideale Standort, um unsere Qualitätsoffensive in der Biomedizin zu starten. Es gibt hervorragende Forschung in den USA und ich bin sehr froh, an der Stanford University zu arbeiten – die Forschungsumgebung dort ist eine ganz besondere. Dennoch gibt es ebenso beeindruckende Forschung in Europa, vor allem in Berlin – und Europa hat großes Potenzial, noch mehr zu erreichen. Vor nicht allzu langer Zeit galt Berlin als die Hauptstadt der Naturwissenschaften und der Physik, der Mathematik und der akademischen Forschung. Vieles hängt davon ab, wie sehr sich eine Gesellschaft darum bemüht, eine führende Rolle in der Wissenschaft zu übernehmen. Europa hat eine starke Wissenschaftstradition und Deutschland ist heute das Epizentrum Europas. Natürlich kann das keine einzelne Person erwirken, sondern es bedarf gesellschaftlichen Engagements. Ich bin sehr stolz, als Einstein BIH Visiting Fellow nach Berlin zu kommen. Ich halte das Programm für eine brillante Idee. Für mich ist es eine einzigartige Möglichkeit, an einem Ort, der sich für mich beinahe wie zu Hause anfühlt, etwas zu erschaffen. Das steigert meine Begeisterung noch mehr und Begeisterung ist eine der Hauptzutaten, um ein großes Projekt anzustoßen. Ich bin also gespannt, was wir hier gemeinsam in den nächsten Jahren erreichen können.

März 2019 / MM

zurück zur Übersicht