Metascience - Metascience

Metascience (auch bekannt als Meta-Forschung oder evidenzbasierte Forschung ) ist die Verwendung von wissenschaftlichen Methoden zur Untersuchung der Wissenschaft selbst. Metascience versucht, die Qualität der wissenschaftlichen Forschung zu verbessern und gleichzeitig Abfall zu reduzieren. Es ist auch als " Forschung auf Forschung " und " Wissenschaft der Wissenschaft " bekannt, da es Forschungsmethoden verwendet , um zu untersuchen, wie Forschung betrieben wird und wo Verbesserungen vorgenommen werden können. Metascience befasst sich mit allen Forschungsbereichen und wurde als "Vogelperspektive der Wissenschaft" beschrieben. Mit den Worten von John Ioannidis : "Wissenschaft ist das Beste, was Menschen je passiert ist ... aber wir können es besser machen."

1966 untersuchte eine frühe Meta-Forschungsarbeit die statistischen Methoden von 295 Arbeiten, die in zehn hochkarätigen medizinischen Fachzeitschriften veröffentlicht wurden. Es stellte fest, dass "in fast 73% der gelesenen Berichte ... Schlussfolgerungen gezogen wurden, als die Begründung für diese Schlussfolgerungen ungültig war." Die Metaforschung in den folgenden Jahrzehnten fand viele methodische Mängel, Ineffizienzen und schlechte Praktiken in der Forschung in zahlreichen wissenschaftlichen Bereichen. Viele wissenschaftliche Studien konnten nicht reproduziert werden , insbesondere in der Medizin und den Soft Sciences . Der Begriff " Replikationskrise " wurde Anfang der 2010er Jahre als Teil eines wachsenden Bewusstseins für das Problem geprägt.

Es wurden Maßnahmen ergriffen, um die durch Metascience aufgedeckten Probleme anzugehen. Diese Maßnahmen umfassen die Vorregistrierung wissenschaftlicher Studien und klinischer Studien sowie die Gründung von Organisationen wie CONSORT und dem EQUATOR-Netzwerk , die Richtlinien für Methodik und Berichterstattung herausgeben. Es werden weiterhin Anstrengungen unternommen, um den Missbrauch von Statistiken zu verringern , perverse Anreize aus der Wissenschaft zu beseitigen , den Peer-Review- Prozess zu verbessern , Verzerrungen in der wissenschaftlichen Literatur zu bekämpfen und die Gesamtqualität und Effizienz des wissenschaftlichen Prozesses zu verbessern .

Geschichte

1966 untersuchte eine frühe Meta-Forschungsarbeit die statistischen Methoden von 295 Arbeiten, die in zehn hochkarätigen medizinischen Fachzeitschriften veröffentlicht wurden. Es stellte fest, dass "in fast 73% der gelesenen Berichte ... Schlussfolgerungen gezogen wurden, als die Begründung für diese Schlussfolgerungen ungültig war." Im Jahr 2005 veröffentlichte John Ioannidis einen Artikel mit dem Titel " Warum die meisten veröffentlichten Forschungsergebnisse falsch sind ", in dem argumentiert wurde, dass eine Mehrheit der Artikel im medizinischen Bereich zu falschen Schlussfolgerungen führt. Das Papier wurde zum am häufigsten heruntergeladenen Papier in der Public Library of Science und gilt als grundlegend für das Gebiet der Metascience. Spätere Metauntersuchungen ergaben weit verbreitete Schwierigkeiten bei der Replikation von Ergebnissen in vielen wissenschaftlichen Bereichen, einschließlich Psychologie und Medizin . Dieses Problem wurde als " Replikationskrise " bezeichnet. Die Metascience ist als Reaktion auf die Replikationskrise und auf Bedenken hinsichtlich Verschwendung in der Forschung gewachsen.

Viele prominente Verlage interessieren sich für Metaforschung und die Verbesserung der Qualität ihrer Veröffentlichungen. Top - Zeitschriften wie Wissenschaft , The Lancet , und Natur , bieten laufende Berichterstattung über Meta-Forschung und Probleme mit der Reproduzierbarkeit. 2012 startete PLOS ONE eine Reproduzierbarkeitsinitiative. Im Jahr 2015 führte Biomed Central eine Checkliste mit Mindeststandards für die Berichterstattung zu vier Titeln ein.

Die erste internationale Konferenz im weiten Bereich der Metaforschung war die 2015 in Edinburgh abgehaltene Research Waste / EQUATOR- Konferenz. Die erste internationale Konferenz zum Thema Peer Review war der Peer Review-Kongress von 1989. 2016 wurden Research Integrity und Peer Review ins Leben gerufen. In der Eröffnungsredaktion der Zeitschrift wurde "Forschung gefordert, die unser Verständnis verbessert und mögliche Lösungen für Probleme im Zusammenhang mit Peer Review, Studienberichterstattung sowie Forschungs- und Veröffentlichungsethik vorschlägt".

Bereiche der Metaforschung

Metascience kann in fünf Hauptinteressenbereiche unterteilt werden: Methoden, Berichterstattung, Reproduzierbarkeit, Bewertung und Anreize. Diese entsprechen jeweils der Durchführung, Kommunikation, Überprüfung, Bewertung und Belohnung von Forschung.

Methoden

Metascience versucht, schlechte Forschungspraktiken zu identifizieren, einschließlich Verzerrungen in der Forschung, schlechtes Studiendesign, Missbrauch von Statistiken , und Methoden zu finden, um diese Praktiken zu reduzieren. Die Metaforschung hat zahlreiche Verzerrungen in der wissenschaftlichen Literatur identifiziert. Besonders hervorzuheben ist der weit verbreitete Missbrauch von p-Werten und der Missbrauch von statistischer Signifikanz .

Berichterstattung

Die Metaforschung hat schlechte Praktiken bei der Berichterstattung, Erklärung, Verbreitung und Popularisierung von Forschung festgestellt, insbesondere in den Sozial- und Gesundheitswissenschaften. Eine schlechte Berichterstattung macht es schwierig, die Ergebnisse wissenschaftlicher Studien genau zu interpretieren, Studien zu replizieren und Vorurteile und Interessenkonflikte bei den Autoren zu identifizieren. Zu den Lösungen gehören die Implementierung von Berichtsstandards und eine größere Transparenz in wissenschaftlichen Studien (einschließlich besserer Anforderungen für die Offenlegung von Interessenkonflikten). Es wird versucht, die Berichterstattung über Daten und Methoden durch die Erstellung von Richtlinien durch Berichtsagenturen wie CONSORT und das größere EQUATOR-Netzwerk zu standardisieren .

Reproduzierbarkeit

Die Replikationskrise ist eine anhaltende methodische Krise, in der festgestellt wurde, dass viele wissenschaftliche Studien schwer oder unmöglich zu replizieren sind . Während die Krise ihre Wurzeln in der Metaforschung der Mitte bis Ende des 20. Jahrhunderts hat, wurde der Begriff "Replikationskrise" erst Anfang der 2010er Jahre als Teil eines wachsenden Bewusstseins für das Problem geprägt. Die Replikationskrise betrifft insbesondere die Psychologie (insbesondere die Sozialpsychologie ) und die Medizin . Die Replikation ist ein wesentlicher Bestandteil des wissenschaftlichen Prozesses, und das weit verbreitete Versagen der Replikation stellt die Zuverlässigkeit der betroffenen Felder in Frage.

Darüber hinaus wird die Replikation von Forschung (oder die Nichtreplikation) als weniger einflussreich angesehen als die ursprüngliche Forschung und es ist weniger wahrscheinlich, dass sie in vielen Bereichen veröffentlicht wird. Dies entmutigt die Berichterstattung über Studien und versucht sogar, diese zu replizieren.

Auswertung

Metascience versucht, eine wissenschaftliche Grundlage für Peer Review zu schaffen. Meta-Research bewertet Peer-Review- Systeme, einschließlich Peer-Review vor der Veröffentlichung, Peer-Review nach der Veröffentlichung und Open-Peer-Review . Es wird auch versucht, bessere Kriterien für die Forschungsfinanzierung zu entwickeln.

Anreize

Metascience versucht, bessere Forschung durch bessere Anreizsysteme zu fördern. Dies beinhaltet die Untersuchung der Genauigkeit, Effektivität, Kosten und Vorteile verschiedener Ansätze zur Einstufung und Bewertung von Forschung und derjenigen, die sie durchführen. Kritiker argumentieren, dass perverse Anreize in der Wissenschaft ein Publish-or-Perish- Umfeld geschaffen haben , das die Produktion von Junk-Wissenschaft , Forschung von geringer Qualität und falsch positiven Ergebnissen fördert . Laut Brian Nosek : „Das Problem , dass wir konfrontiert sind, ist , dass das Anreizsystem fast vollständig fokussiert auf immer Forschung veröffentlicht, anstatt sich auf Forschung richtig hinzubekommen.“ Befürworter von Reformen versuchen, das Anreizsystem so zu strukturieren, dass qualitativ hochwertigere Ergebnisse erzielt werden.

Reformen

Die Metaforschung, die Mängel in der wissenschaftlichen Praxis identifiziert, hat zu Reformen in der Wissenschaft geführt. Diese Reformen zielen darauf ab, Probleme in der wissenschaftlichen Praxis anzugehen und zu beheben, die zu minderwertiger oder ineffizienter Forschung führen.

Vorregistrierung

Die Praxis, eine wissenschaftliche Studie vor ihrer Durchführung zu registrieren, wird als Vorregistrierung bezeichnet . Es entstand als Mittel zur Bewältigung der Replikationskrise . Die Registrierung erfordert die Vorlage eines registrierten Berichts, der dann zur Veröffentlichung angenommen oder von einer Zeitschrift abgelehnt wird, basierend auf theoretischer Begründung, experimentellem Design und der vorgeschlagenen statistischen Analyse. Die Vorregistrierung von Studien dient dazu, Publikationsverzerrungen zu vermeiden , das Ausbaggern von Daten zu verringern und die Reproduzierbarkeit zu erhöhen.

Berichtsstandards

Studien, die eine schlechte Konsistenz und Qualität der Berichterstattung belegen, haben gezeigt, dass in der Wissenschaft Standards und Richtlinien für die Berichterstattung erforderlich sind, was dazu geführt hat, dass Organisationen wie CONSORT (Consolidated Standards of Reporting Trials) und das EQUATOR-Netzwerk aufgestiegen sind .

Der Äquators ( E den nhancing QUA keit und T ransparenz O f Gesundheit R esearch) Netzwerk ist eine internationale Initiative zur Förderung der Transparenz und genaue Berichterstattung von Studien Gesundheit , den Wert und die Zuverlässigkeit zu verbessern , die medizinischen Forschung Literatur. Das EQUATOR-Netzwerk wurde mit dem Ziel eingerichtet, das Bewusstsein für die Bedeutung einer guten Berichterstattung über Forschung zu schärfen, bei der Entwicklung, Verbreitung und Umsetzung von Berichtsrichtlinien für verschiedene Arten von Studiendesigns zu helfen und den Status der Qualität der Berichterstattung über Forschungsstudien in zu überwachen die gesundheitswissenschaftliche Literatur und Forschung zu Themen, die sich auf die Qualität der Berichterstattung über Studien zur Gesundheitsforschung auswirken. Das Netzwerk fungiert als "Dach" -Organisation, die Entwickler von Richtlinien für die Berichterstattung, Redakteure und Gutachter von medizinischen Fachzeitschriften, Forschungsförderungsstellen und andere wichtige Interessengruppen zusammenbringt, die ein gemeinsames Interesse daran haben, die Qualität von Forschungspublikationen und Forschung selbst zu verbessern.

Anwendungen

Medizin

Die klinische Forschung in der Medizin ist oft von geringer Qualität, und viele Studien können nicht wiederholt werden. Schätzungsweise 85% der Forschungsgelder werden verschwendet. Darüber hinaus wirkt sich das Vorhandensein von Verzerrungen auf die Forschungsqualität aus. Die Pharmaindustrie übt einen wesentlichen Einfluss auf die Gestaltung und Durchführung der medizinischen Forschung aus. Interessenkonflikte treten häufig bei Autoren medizinischer Literatur und bei Herausgebern medizinischer Fachzeitschriften auf. Während fast alle medizinischen Fachzeitschriften von ihren Autoren die Offenlegung von Interessenkonflikten verlangen, sind Redakteure nicht dazu verpflichtet. Finanzielle Interessenkonflikte wurden mit höheren Raten positiver Studienergebnisse in Verbindung gebracht. In Antidepressivum-Studien ist das Sponsoring von Arzneimitteln der beste Prädiktor für das Studienergebnis.

Das Blenden ist ein weiterer Schwerpunkt der Metaforschung, da Fehler, die durch schlechtes Blenden verursacht werden, eine Quelle experimenteller Verzerrung sind . Über Blendung wird in der medizinischen Literatur nicht gut berichtet, und ein weit verbreitetes Missverständnis des Subjekts hat zu einer schlechten Umsetzung des Blindens in klinischen Studien geführt . Darüber hinaus wird ein Versagen der Verblindung selten gemessen oder gemeldet. Untersuchungen, die das Versagen der Verblindung in Antidepressivum- Studien zeigen, haben einige Wissenschaftler zu der Argumentation geführt, dass Antidepressiva nicht besser als Placebo sind . In Anbetracht der Metaforschung, die Fehler bei der Verblindung aufzeigt, empfehlen die CONSORT- Standards, dass alle klinischen Studien die Qualität der Verblindung bewerten und melden.

Studien haben gezeigt, dass systematische Überprüfungen vorhandener Forschungsergebnisse nicht optimal für die Planung einer neuen Forschung oder die Zusammenfassung der Ergebnisse verwendet werden. Kumulative Metaanalysen von Studien zur Bewertung der Wirksamkeit medizinischer Interventionen haben gezeigt, dass viele klinische Studien hätten vermieden werden können, wenn vor Durchführung einer neuen Studie eine systematische Überprüfung der vorhandenen Evidenz durchgeführt worden wäre. Zum Beispiel haben Lau et al. analysierte 33 klinische Studien (mit 36974 Patienten), in denen die Wirksamkeit der intravenösen Streptokinase bei akutem Myokardinfarkt bewertet wurde . Ihre kumulative Metaanalyse zeigte, dass 25 von 33 Studien hätten vermieden werden können, wenn vor Durchführung einer neuen Studie eine systematische Überprüfung durchgeführt worden wäre. Mit anderen Worten, eine Randomisierung von 34542 Patienten war möglicherweise nicht erforderlich. Eine Studie analysierte 1523 klinische Studien, die in 227 Metaanalysen enthalten waren, und kam zu dem Schluss, dass "weniger als ein Viertel der relevanten früheren Studien" zitiert wurden. Sie bestätigten auch frühere Ergebnisse, dass die meisten Berichte über klinische Studien keine systematische Überprüfung darstellen, um die Forschung zu rechtfertigen oder die Ergebnisse zusammenzufassen.

Viele in der modernen Medizin verwendete Behandlungen haben sich als unwirksam oder sogar schädlich erwiesen. Eine Studie von John Ioannidis aus dem Jahr 2007 ergab, dass die medizinische Gemeinschaft durchschnittlich zehn Jahre brauchte, um die Bezugnahme auf gängige Praktiken einzustellen, nachdem ihre Wirksamkeit eindeutig widerlegt worden war.

Psychologie

Die Metascience hat erhebliche Probleme in der psychologischen Forschung aufgedeckt. Das Feld leidet unter einer hohen Verzerrung, einer geringen Reproduzierbarkeit und einem weit verbreiteten Missbrauch von Statistiken . Die Replikationskrise betrifft die Psychologie stärker als jedes andere Gebiet. Bis zu zwei Drittel der öffentlich bekannt gewordenen Ergebnisse können möglicherweise nicht repliziert werden. Meta-Untersuchungen haben ergeben, dass 80-95% der psychologischen Studien ihre ursprünglichen Hypothesen stützen, was stark auf das Vorhandensein von Publikationsbias hindeutet .

Die Replikationskrise hat zu erneuten Bemühungen geführt, wichtige Ergebnisse erneut zu testen. Als Reaktion auf Bedenken über Publikationsbias und p -hacking , mehr als 140 Psychologie Zeitschriften angenommen haben ergebnis blind peer review , in denen Studien sind vorregistriert und veröffentlicht , ohne Rücksicht auf ihr Ergebnis. Eine Analyse dieser Reformen ergab, dass 61 Prozent der ergebnisblinden Studien keine Ergebnisse liefern , im Gegensatz zu 5 bis 20 Prozent in früheren Untersuchungen. Diese Analyse zeigt, dass die ergebnisblinde Begutachtung die Publikationsverzerrung erheblich verringert.

Psychologen verwechseln routinemäßig statistische Signifikanz mit praktischer Wichtigkeit und berichten begeistert von großer Sicherheit in unwichtigen Tatsachen. Einige Psychologen haben mit einer verstärkten Verwendung von Effektgrößenstatistiken reagiert , anstatt sich ausschließlich auf die p- Werte zu verlassen .

Physik

Richard Feynman stellte fest, dass die Schätzungen der physikalischen Konstanten näher an den veröffentlichten Werten lagen als zufällig erwartet. Es wurde angenommen, dass dies das Ergebnis einer Bestätigungsverzerrung ist : Ergebnisse, die mit der vorhandenen Literatur übereinstimmten, wurden eher angenommen und daher veröffentlicht. Physiker implementieren jetzt Blindheit, um diese Art von Verzerrung zu verhindern.

Zugehörige Felder

Journalologie

Journalologie, auch als Publikationswissenschaft bekannt, ist die wissenschaftliche Untersuchung aller Aspekte des akademischen Veröffentlichungsprozesses . Das Gebiet versucht, die Qualität der wissenschaftlichen Forschung durch die Implementierung evidenzbasierter Praktiken im akademischen Verlagswesen zu verbessern . Der Begriff "Journalologie" wurde von Stephen Lock , dem ehemaligen Chefredakteur des BMJ, geprägt . Der erste Peer-Review-Kongress , der 1989 in Chicago , Illinois, stattfand , gilt als entscheidender Moment für die Gründung der Journalologie als eigenständiges Feld. Das Feld der journalology hat in Schub für Studie einflussreich gewesen Vorregistrierung in der Wissenschaft, besonders in klinischen Studien . In den meisten Ländern wird jetzt die Registrierung für klinische Studien erwartet.

Scientometrics

Scientometrics befasst sich mit der Messung bibliografischer Daten in wissenschaftlichen Publikationen. Zu den wichtigsten Forschungsfragen gehören die Messung der Auswirkungen von Forschungsarbeiten und Fachzeitschriften, das Verständnis wissenschaftlicher Zitate und die Verwendung solcher Messungen in politischen und Managementkontexten.

Wissenschaftliche Datenwissenschaft

Wissenschaftliche Datenwissenschaft ist die Verwendung von Datenwissenschaft zur Analyse von Forschungsarbeiten. Es umfasst sowohl qualitative als auch quantitative Methoden. Die Forschung in der wissenschaftlichen Datenwissenschaft umfasst die Aufdeckung von Betrug und die Analyse von Zitierungsnetzwerken .

Siehe auch

Verweise

Weiterführende Literatur

Externe Links

Zeitschriften

Konferenzen