Aus der Katgorie: Peer Review

Überprüfung statistischer Methoden: So übersteht Ihr Paper den neuen Reviewprozess

statistic reviewScience hat kürzlich eine weitere Reviewrunde zum Prozess hinzugefügt, bei welchem entschieden wird, welche 7% der wöchentlich 250 eingereichten Papers publiziert werden. Das Journal hat dazu einen statistischen Beirat als neues Gremium ins Leben gerufen. Dieser wird mit weiteren externen Statistikexperten zusammenarbeiten. Neu sieht der Prozess so aus, dass Redakteure wie bis anhin die vielversprechendsten Manuskripte ins übliche Review schicken. Jene Artikel, die diese beiden Hürden überstehen, werden dann an den statistischen Beirat weitergereicht, welcher entscheidet, ob eine genaue Untersuchung der Daten und der angewendeten statistischen Methoden nötig ist. Erscheint ihnen dies sinnvoll, wird das Paper wiederum zur weiteren Prüfung an einen oder mehrere Statistikexperten des Fachgebiets weitergeleitet. Die Analyse der statistischen Methoden kann wie in der ersten, eher auf den Inhalt fokussierten Reviewrunde zur Ablehnung des Artikels führen, oder dazu, dass vom Autoren Änderungen verlangt werden.

Mangelnde Fähigkeiten im Bereich Statistik

Science riskiert mit diesem Vorgehen den ohnehin schon schwerfälligen Publikationsprozess zusätzlich zu verlängern, reagiert aber auf ein schwerwiegenderes Problem: Die zunehmende Anzahl an Artikeln, die nach ihrer Veröffentlichung zurückgezogen werden müssen. Teilweise sind Fälschungen und Betrug an dieser Entwicklung schuld, oft aber auch simple Fehler in der Datenverarbeitung oder in der Anwendung der Statistik. Dies mag daher rühren, dass der Druck auf Wissenschaftler zugenommen hat, mehr Artikel in weniger Zeit zu veröffentlichen. Ein weiterer Faktor ist jedoch, dass sich statistische Methoden und Programme stetig entwickeln und komplexer werden. Nicht jeder Forschende kann genügend Zeit darauf verwenden, sich fundiert einzuarbeiten und auf dem Laufenden zu halten.

Die strikte Kultur der Medizin übernehmen

Die Topmagazine im Bereich der Medizin und der Biochemie legen traditionell großen Wert auf eine genaue Datenprüfung. Science ist nicht das erste Journal, das versucht, diese Kultur auf andere Fachbereiche zu erweitern. Verschiedentlich greifen Journals zu genaueren Prüfungen, sei es durch Statistikexperten oder durch den Einsatz von formalisierten Checklisten, anhand derer Redakteure oder Reviewer sicherstellen sollen, dass nötige statistische Informationen vollständig publiziert und korrekt sind.

Die Killerkriterien

Um sicherzugehen, dass Ihr nächstes Manuskript nicht in einer solchen Prüfung hängen bleibt, sollten Sie darauf achten, dass der Methodenteil Ihres Papers genügend Informationen enthält. Alle statistischen Tests und Methoden (mit der Ausnahme der absolut geläufigen, etwa des t-Tests) sollten nicht nur benannt, sondern auch beschrieben werden. Nutzen Sie diese Aufgabe, um kritisch zu überprüfen, ob Sie Ihren Ansatz wirklich bewusst gewählt haben, im Detail verstehen, und entsprechend rechtfertigen können! Wichtig ist selbstverständlich auch, dass simple Angaben wie etwa die Stichprobengröße nicht schlicht vergessen werden.

Informieren Sie sich, ob das Journal, in welchem Sie publizieren möchten, eine veröffentlichte Checkliste oder konkrete Richtlinien verwendet (oft sind diese Bestandteil einer allgemeinen Checkliste, die der Autor vor der Einreichung des Artikels durchgehen soll)! Ist dies nicht der Fall, so kann man für die Überprüfung des eigenen Textes die Kriterien eines anderen Journals der Fachrichtung verwenden. Nature und das British Medical Journal (BMJ) etwa stellen entsprechende Informationen zur Verfügung.

Die zusätzlichen Prüfungen und das lange Hin und Her wegen einfachen Nachlässigkeiten mag Autoren bisweilen als Schikane vorkommen. Wenn solche Checks aber helfen zu verhindern, dass Papers abgelehnt werden, oder schlimmer noch: zurückgezogen werden müssen, so sind sie eine begrüßenswerte Entwicklung. Wer nach mehreren erfolgreichen Publikationen denkt, Checklisten nicht nötig zu haben, der ändert vielleicht seine Meinung, wenn er sich vor Augen führt, dass auch Chirurgen und Astronauten trotz erstklassiger Ausbildung mit dieser Methode gegen vermeidbare Fehler vorgehen!

Peer Review im Schnelldurchgang: Mehr Effizienz, weniger Qualität oder Abzockerei?

peer_reviewPeer Review ist praktisch synonym mit dem Vorgang des akademischen Publizierens selbst. Folglich werden die Schwächen der aktuellen Praxis oft hier geortet. Das System scheint keiner Seite wirklich gerecht zu werden: Die Reviewer stehen unter erheblichem Zeitdruck. Retuschierte Daten und schludrig durchgeführte Experimente gehen immer häufiger in Druck, was an den Qualitätsstandards zweifeln lässt. Autoren warten Monate, manchmal über ein Jahr auf das Urteil der Fachjury. Der wissenschaftliche Fortschritt wird unverhältnismäßig verzögert, zudem kommt es öfter als nötig dazu, dass an Fragen gearbeitet wird, deren Antworten andernorts bereits als Manuskript vorliegen. Dennoch sagen 91% der Autoren, dass ihr zuletzt publizierter Artikel durch die Rückmeldungen der Kollegen verbessert werden konnte. Letztlich ist das Peer Review System alternativlos.

Modifikationen und Optimierungen

Eine Variation davon besteht in einer Art interaktivem Urteil nach der Publikation. Dabei können Leser eines Artikels diesen kommentieren und damit die Arbeit der Reviewer ergänzen oder ersetzten. Eine anderer Ansatz geht davon aus, dass Reviewer eher die Möglichkeit haben, die nötige Zeit zu investieren, wenn sie für ihre Arbeit bezahlt werden. Eine dritte Option basiert darauf, dass abgelehnte Artikel meist bei einem zweiten Journal eingereicht werden, wo sie ein erneutes Review durchlaufen. Einige Verlagshäuser versuchen daher momentan, gesammelte Kommentare zwischen verschiedenen Journals des eigenen Hauses wiederverwertbar zu machen. Eine weitere Möglichkeit konzentriert sich darauf, den gesamten Ablauf effizienter zu gestalten und aus der binären Ja/Nein-Entscheidung der Redaktoren eine Triage zu machen. Die Rede ist von einem selektiv beschleunigten Review im sogenannten „Fast Track“.

So geht es 4-mal schneller

Dabei besteht die Option, einen Artikel abzulehnen, ihn nach dem normalen, eher schwerfälligen Prozess zu veröffentlichen, oder aber ihm besondere Priorität einzuräumen um ihn schneller zu veröffentlichen. Oft lässt sich die Dauer von der Einreichung bis zum Druck (oder der elektronischen Veröffentlichung) auf einen Drittel oder sogar einen Viertel der normalen Zeitspanne verkürzten. Dies wird möglich gemacht, indem einige Artikel zuoberst auf dem Tisch der Reviewer landen, indem diesen weniger Zeit eingeräumt wird, und indem Druckseiten vorzeitig reserviert werden. Um Artikel für diese Spezialbehandlung zu küren, gibt es zwei Möglichkeiten. Einige Journals, darunter Nature, entscheiden sich, die Presse bei sehr brisanten Themen oder besonders gehaltvoller Forschung eher anzuwerfen. Häufiger aber bieten Verlage diese Option zum Verkauf an. Gegen ein Gebühr lässt sich dann der Artikel noch vor dem Bewerbungsverfahren für die anvisierte Professur in Händen halten. Bei Journals, die eine Publikationsgebühr vom Autor verlangen, steigt diese bei „Expressbestellung“ üblicherweise um etwa 25%.

Schneller, nicht schlechter

Dabei stellt sich natürlich die Frage, ob unter erhöhtem Zeitdruck überhaupt noch eine sinnvolle Überprüfung der Inhalte möglich ist, und ob durch die Beschleunigung die Probleme der Reviewer nicht noch akzentuiert werden. Anekdotisch gibt es keine Hinweise auf eine weniger gute Überprüfung von Fast Track Artikeln, der Anteil von nach dem Review abgelehnten Artikeln bewegt sich im normalen Rahmen. Der Nobelpreis für Physik des Jahres 2001 wurde aufgrund eines Papers verliehen, das seinen Review in nur zwei Tagen durchlaufen hat! Eine wirklich systematische Untersuchung zum Thema steht aber noch aus. Sicher ist, dass der Prozentsatz von Artikeln, denen eine Sonderbehandlung zukommen kann, per Definition eine Obergrenze hat. Klar ist auch, dass zwar die Problematik des Autors, nicht aber die des Reviewers angegangen wird. Fast Track Reviews machen in gewissen Situationen Sinn. Auf der Suche nach einer umfänglichen und grundsätzlichen Verbesserung des Systems sind aber die anderen genannten Optionen erfolgversprechendere Kandierten.