Freitag, 19. April 2024

Archiv

Qualitätssicherung
Neurowissenschaften in der Glaubwürdigkeitskrise

Weit mehr als die Hälfte aller neurowissenschaftlichen Studien sind Schrott. Zu diesem niederschmetternden Ergebnis kamen gleiche mehrere Untersuchungen der letzten Jahre. Die Situation scheint sich nicht zu verbessern. Zwei renommierte deutsche Neurowissenschaftler fordern deshalb eine stärkere Kontrolle der eigenen Zunft.

Von Martin Hubert | 28.01.2015
    Eine Frau betrachtet eine Magnetresonanztomographie-Aufnahme (MRT) eines menschlichen Gehirns.
    Bunte Bilder sind nicht alles: Die Neurowissenschaften stehen in der Kritik (AFP / Foto: Miguel Medina )
    "Auf der einen Seite teile ich weiterhin die große Begeisterung über Erfolge der Neurowissenschaften, sowohl der Grundlagenneurowissenschaften wie auch der klinischen Neurowissenschaften. Auf der anderen Seite gibt es die große Sorge und die zunehmende Sorge, dass ein Großteil, ja vielleicht sogar die Mehrheit der Ergebnisse, die derzeit produziert und publiziert werden, schlicht falsch sind."
    Arno Villringer, Direktor am Leipziger Max-Planck-Institut für Kognitions-und Neurowissenschaften ist alarmiert. Denn was auf den ersten Blick übertrieben klingt, scheint sich immer mehr zu bestätigen. Anfang 2014 etwa behaupteten Forscher in mehreren Artikeln der renommierten Zeitschrift "Lancet", dass 80 Prozent der biomedizinischen Forschung "Müll" sei.
    Im gleichen Jahr resümierte der an der amerikanischen Stanford University arbeitende Wissenschaftler John Ioannidis, dass schätzungsweise 85 Prozent der Forschungsressourcen für nicht taugliche Studien verschwendet würden. Das betraf zwar die Biomedizin insgesamt, aber neurowissenschaftliche Studien scheinen besonders schlecht abzuschneiden. Katherine Button von der University of Bristol stellte 2013 in einer großen Übersichtsstudie fest:
    "Wir fanden, dass die durchschnittliche statistische Aussagekraft neurowissenschaftlicher Publikationen äußerst gering ist. Sie basieren zum Beispiel auf viel zu kleinen Fallzahlen, was ihre Verlässlichkeit und Güte infrage stellt."
    80 bis 90 Prozent der Studienergebnisse nicht wiederholbar
    Arno Villringers Kollege Ulrich Dirnagl glaubt auch aufgrund seiner eigenen Erfahrungen, dass 80 bis 90 Prozent der neurowissenschaftlichen Studienergebnisse nicht reproduzierbar, also wiederholbar sind. Der Direktor des Instituts für Experimentelle Neurologie an der Berliner Charité sieht mehrere Ursachen: Laborergebnisse würden zum Beispiel vorschnell verallgemeinert und nicht passende experimentelle Daten außen vor gelassen. Die Zahl der Versuchspersonen sei oft zu klein. Und nicht zuletzt würden die Probanden nicht immer nach dem Zufallsprinzip ausgewählt, sodass die statistische Auswertung in die Irre führt, so Dirnagl:
    "Wenn man die zusammennimmt, dann kommt man theoretisch darauf, dass eben etwa 10, 20 Prozent von dem, was wir lesen, eigentlich nur richtig sein kann. Und die Untersuchungen, die uns mittlerweile vorliegen, die das überprüft haben durch Reproduktionen, kommen auf exakt diese Zahlen, sodass eigentlich der Befund, muss man sagen, ein relativ robuster ist."
    Quantität statt Qualität
    Ulrich Dirnagl macht für diesen Trend vor allem das Publikations- und Belohnungssystem der Wissenschaft verantwortlich. Karriere wird maßgeblich über den sogenannten Impactfaktor gesteuert. Wer in hochrangigen wissenschaftlichen Zeitschriften möglichst oft publiziert, wird mit einem hohen Impactfaktor belohnt.
    "Und letztlich messen wir diese Größen und verteilen damit Professuren und Geld und das erzeugt einen massiven Druck auf den einzelnen Wissenschaftler, vom Studenten bis hin zum Professor, diese Maßzahlen zu generieren. Das wird dann übermächtig und wenn man dann noch weiter weiß, dass die Journale, die ganz oben stehen, die dann wirklich mit zwei Arbeiten in so einem Journal begründen, dass man Professor wird - 'Nature', 'Science', 'Cell' zählen dazu. Diese Journale publizieren halt nur Arbeiten, die spektakulär sind. Die Arbeiten müssen schwarz-weiß sein. Und solche Arbeiten zu publizieren, was dann karriereentscheidend ist, bedeutet natürlich, seine Arbeiten auch in diese Richtung hin zu 'entwickeln'."
    In Universitäten, Forschungsgesellschaften, und Förderungseinrichtungen gibt es zwar Stimmen, die die Zahl von 80 bis 90 Prozent nicht belastbarer Studien für überhöht halten. Dass ein Problem existiert, wird aber anerkannt. So haben sich viele Einrichtungen Regeln für gute wissenschaftliche Praxis gegeben. Außerdem soll wissenschaftliche Leistung weniger an der Zahl als an der Qualität von Publikationen gemessen werden. Für Arno Villringer vom Leipziger Max-Planck-Institut sind das richtige Impulse, die aber die Praxis noch nicht entscheidend verändert haben:
    "Ich denke wirklich relevant werden die Dinge oder die Umsetzung dieser Verbesserungen dann, wenn ihre Umsetzung auch ein Kriterium ist für die Berufung von Professoren, für die Akzeptanz von Doktorarbeiten. Ich glaube dann hat die Umsetzung auch eine echte Chance."
    Externe Kontrollen, interne Prüfungen
    Villringer und Dirnagl plädieren daher für eine Initiative "von unten". Die Wissenschaftler selbst sollen an ihren Institutionen mit konkreten Maßnahmen vorangehen. Erste Ansätze dazu gibt es bereits, etwa an der Berliner Charité, sagt Dirnagl:
    "Ich kann zum Beispiel berichten, dass in der Charité zum einen alle Doktoranden, wenn sie ihre Doktorarbeiten abgeben, ihre Originaldaten mit abgeben müssen, das ist schon einmal ein erster Schritt. Und ein zweiter ist der, dass die Charité jede 50. Doktorarbeit rauszieht, zufallsgesteuert, und dann dem Doktoranden die Aufgabe stellt, die einzelnen Befunde, die er dort hat. Anhand seiner Daten noch mal im Detail nachzuweisen. Ich empfinde das als keine unerträgliche Maßnahme, im Gegenteil, aber was ich letztlich glaube, ist dass wir in dem System etwas blauäugig operieren und schon eine gewisse Form der Kontrolle einführen müssen, weil sonst wird nichts passieren."
    Ulrich Dirnagl hat seine eigene Forschungsabteilung von externen Experten prüfen und zertifizieren lassen, ob sie die Richtlinien guter wissenschaftlicher Praxis erfüllt. Ein elektronisches Laborbuch garantiert zum Beispiel, dass langfristig nachvollziehbar ist, wann in seinem Forscherteam welche Daten unter welchen Bedingungen erhoben wurden. Mit solchen Eigeninitiativen möchten Ulrich Dirnagl und Arno Villringer auch ihre Kollegen anregen, die Selbstkontrolle im eigenen Labor zu verstärken.