Schlagwörter Archiv: Peer Review

Überprüfung statistischer Methoden: So übersteht Ihr Paper den neuen Reviewprozess

statistic reviewScience hat kürzlich eine weitere Reviewrunde zum Prozess hinzugefügt, bei welchem entschieden wird, welche 7% der wöchentlich 250 eingereichten Papers publiziert werden. Das Journal hat dazu einen statistischen Beirat als neues Gremium ins Leben gerufen. Dieser wird mit weiteren externen Statistikexperten zusammenarbeiten. Neu sieht der Prozess so aus, dass Redakteure wie bis anhin die vielversprechendsten Manuskripte ins übliche Review schicken. Jene Artikel, die diese beiden Hürden überstehen, werden dann an den statistischen Beirat weitergereicht, welcher entscheidet, ob eine genaue Untersuchung der Daten und der angewendeten statistischen Methoden nötig ist. Erscheint ihnen dies sinnvoll, wird das Paper wiederum zur weiteren Prüfung an einen oder mehrere Statistikexperten des Fachgebiets weitergeleitet. Die Analyse der statistischen Methoden kann wie in der ersten, eher auf den Inhalt fokussierten Reviewrunde zur Ablehnung des Artikels führen, oder dazu, dass vom Autoren Änderungen verlangt werden.

Mangelnde Fähigkeiten im Bereich Statistik

Science riskiert mit diesem Vorgehen den ohnehin schon schwerfälligen Publikationsprozess zusätzlich zu verlängern, reagiert aber auf ein schwerwiegenderes Problem: Die zunehmende Anzahl an Artikeln, die nach ihrer Veröffentlichung zurückgezogen werden müssen. Teilweise sind Fälschungen und Betrug an dieser Entwicklung schuld, oft aber auch simple Fehler in der Datenverarbeitung oder in der Anwendung der Statistik. Dies mag daher rühren, dass der Druck auf Wissenschaftler zugenommen hat, mehr Artikel in weniger Zeit zu veröffentlichen. Ein weiterer Faktor ist jedoch, dass sich statistische Methoden und Programme stetig entwickeln und komplexer werden. Nicht jeder Forschende kann genügend Zeit darauf verwenden, sich fundiert einzuarbeiten und auf dem Laufenden zu halten.

Die strikte Kultur der Medizin übernehmen

Die Topmagazine im Bereich der Medizin und der Biochemie legen traditionell großen Wert auf eine genaue Datenprüfung. Science ist nicht das erste Journal, das versucht, diese Kultur auf andere Fachbereiche zu erweitern. Verschiedentlich greifen Journals zu genaueren Prüfungen, sei es durch Statistikexperten oder durch den Einsatz von formalisierten Checklisten, anhand derer Redakteure oder Reviewer sicherstellen sollen, dass nötige statistische Informationen vollständig publiziert und korrekt sind.

Die Killerkriterien

Um sicherzugehen, dass Ihr nächstes Manuskript nicht in einer solchen Prüfung hängen bleibt, sollten Sie darauf achten, dass der Methodenteil Ihres Papers genügend Informationen enthält. Alle statistischen Tests und Methoden (mit der Ausnahme der absolut geläufigen, etwa des t-Tests) sollten nicht nur benannt, sondern auch beschrieben werden. Nutzen Sie diese Aufgabe, um kritisch zu überprüfen, ob Sie Ihren Ansatz wirklich bewusst gewählt haben, im Detail verstehen, und entsprechend rechtfertigen können! Wichtig ist selbstverständlich auch, dass simple Angaben wie etwa die Stichprobengröße nicht schlicht vergessen werden.

Informieren Sie sich, ob das Journal, in welchem Sie publizieren möchten, eine veröffentlichte Checkliste oder konkrete Richtlinien verwendet (oft sind diese Bestandteil einer allgemeinen Checkliste, die der Autor vor der Einreichung des Artikels durchgehen soll)! Ist dies nicht der Fall, so kann man für die Überprüfung des eigenen Textes die Kriterien eines anderen Journals der Fachrichtung verwenden. Nature und das British Medical Journal (BMJ) etwa stellen entsprechende Informationen zur Verfügung.

Die zusätzlichen Prüfungen und das lange Hin und Her wegen einfachen Nachlässigkeiten mag Autoren bisweilen als Schikane vorkommen. Wenn solche Checks aber helfen zu verhindern, dass Papers abgelehnt werden, oder schlimmer noch: zurückgezogen werden müssen, so sind sie eine begrüßenswerte Entwicklung. Wer nach mehreren erfolgreichen Publikationen denkt, Checklisten nicht nötig zu haben, der ändert vielleicht seine Meinung, wenn er sich vor Augen führt, dass auch Chirurgen und Astronauten trotz erstklassiger Ausbildung mit dieser Methode gegen vermeidbare Fehler vorgehen!

Akadelypse – Umbrüche im akademischen Publikationsbetrieb

Acadelypse NowWer sich mit den Strukturen in der Welt der Forschung und des akademischen Publizierens beschäftigt, der begegnet einem Wort unangenehm oft: „kaputt“. Tatsächlich scheint einiges aus den Fugen geraten zu sein: Forschende müssen ihre Ellenbogen einsetzen, um an Budgets und Positionen zu kommen. Profitorientierte Verlage streichen Gewinne ein, die letztlich von der öffentlichen Hand berappt werden. Ein Peer Reivew kann Monate dauern und die Flut an schlechten Papers, Konferenzen und Journals macht es schwierig, den Überblick zu behalten. Die schwierige Situation resultiert, weil gleich mehrere Eckpfeiler der Forschung außer Balance gekommen sind, die Störfelder verstärken sich gegenseitig. Verschiedene Neuerungen tun also Not. Die Problemfelder voneinander zu trennen und einzeln anzugehen ist schwierig. Die gute Nachricht? Tatsächlich sind Änderungen im Gang und neue Modelle in der Testphase!

Der Impact Factor

Kritik: Diese Kennzahl ist ein Dorn im Auge vieler Akademiker, denn sie ist etwa gleichermaßen verbreitet wie verhasst. Ihre Aussagekraft für einzelne Artikel ist beschränkt.

Vorteil: Die Leistungen von Akademikern lassen sich quantifizieren, ohne dass ihre Arbeit wirklich gelesen werden muss.

Alternative: Raffiniertere Kennzahlen wie der Eigenfactor beheben einige methodische Probleme, gehen aber nicht die zugrundeliegende Problematik an.

Open Access Ansatz: Downloadzahlen individueller Papers könnten den Impact Factor ergänzen.

Konkurrenz um Slots in prestigeträchtigen Journals

Kritik: Themen mit breitem Publikum finden Anklang; Artikel, die an den Grundfesten einer Disziplin rütteln werden nicht immer gern gesehen.

Vorteil: Die Leserschaft eines hochwertigen Titels spart Zeit und kann sich einer gewissen Mindestqualität sicher sein.

Alternative: Vermehrt machen sich kleinere Journals mit sehr spezifischem Fokus und einer engeren Leserschaft einen Namen.

Open Access Ansatz: Wird jedes Paper veröffentlicht, so kann jede Idee ein Publikum finden. Vorteilhaft wäre auch, dass Artikel mit „verworfener Hypothese“ vermehrt den Schritt in die Öffentlichkeit finden könnten.

Unfaire Profite für kommerzielle Verlagshäuser

Kritik: Akademische Verlage verkaufen Leistungen, die sie nicht finanziert haben und privatisieren die resultierenden Gewinne.

Vorteil: Das Schema, wonach vielzitierte Journals aus einem großen Pool von angebotenen Artikeln die Rosinen picken können und dafür vom Leser hohe Preise verlangen, erspart der Leserschaft die Zeit, die nötig wäre, um sich aus dem gesamten Artikeluniversum selbst eine Leseliste zusammenzustellen.

Alternative: Nicht-profitorientierte Verlage, zum Beispiel von Fachgesellschaften getragene, konkurrieren bereits heute mit den Größen der Industrie.

Open Access Ansatz: Papers werden für den Leser kostenlos zur Verfügung gestellt.

Schlechtes oder langsames Peer Review

Kritik: Unbezahlte Peer Reivew Aufgaben überfordern die Reviewer, der Prozess wird von einigen Journals nicht seriös betrieben; der Ablauf ist schwerfällig und zeitaufwändig.

Vorteil: Die Qualität, Authentizität und Verlässlichkeit eines Papers sollte nach dem Peer Review garantiert sein.

Alternative: Ein Gedankenexperiment (das aber nicht nur auf Gegenliebe stößt) schlägt vor, Reviewer für ihre Dienste zu bezahlen, damit sie sich genügend Zeit dafür nehmen können.

Open Access Ansatz: Post Publication Review ist ein Ansatz, bei dem alle Leser zu Reviewern werden, indem sie Kommentare hinterlassen können, die eine Überarbeitung des Artikels nach sich ziehen können.

Hohe Publikationskosten durch physische Journals

Kritik: Der Druckvorgang ist kosten- und zeitaufwändig.

Vorteil: Gedruckte Journals gehen nach wie vor mit einem gewissen Prestige einher. Zudem entspricht das physische Produkt den Vorlieben einiger Leser.

Alternative: Auch „klassische“ Verlage können zur Onlinepublikation wechseln, ohne ihr Geschäftsmodell anderweitig zu verändern.

Open Access Ansatz: Open Access Titel sind weitgehend Onlinepublikationen ohne Druckerpressen.

Die großen Probleme des Publikations- und Forschungsbetriebes werden nicht isoliert gelöst werden können. Für fast alle Problembereiche stehen momentan verschiedene neue Ansätze zur Debatte. Ob sich die Open Access Idee in allen Bereichen mit wehenden Fahnen durchsetzen wird, darf bezweifelt werden. Offensichtlich scheint aber, dass die klassischen akademischen Verlage sich auf grobe Umwälzungen gefasst machen müssen. Um diese zu überstehen, werden sie eigene Alternativen anbieten müssen. Entwicklungen in den verschiedenen Themenkreisen bedeuten, dass sich die traditionsreiche Branche momentan stark bewegt. Es wir spannend sein zu sehen, welche Richtung die Publikationslandschaft letztlich einschlägt.

Immediacy Index: Der coole Bruder des Impact Factors

immediacyDer Impact Factor hat einige handfeste Nachteile und stiehlt dennoch allen anderen Journalrankings die Show. Zahlreiche Ratings und Indexe versuchen sich als Alternative zu diesem vielbeachteten Überranking zu vermarkten, indem sie Lösungen zu konkreten Kritikpunkten anbieten. Ganz anders der Immediacy Index, der wie der Impact Factor aus dem Hause Reuters stammt und ebenfalls auf der Zitatedatenbank von Web of Science basiert. Seine Zielsetzung besteht nicht darin, Unzulänglichkeiten auszubessern (man ist versucht zu rufen: „im Gegenteil!“), sondern es wird hier angeblich etwas anderes gemessen: Nicht mehr, wie stark Artikel beachtet werden, sondern wie angesagt die Themen sind, denen sich ein Journal widmet. Wie schnell andere Autoren auf einen Artikel reagieren, gilt dabei als Indikator für die Brisanz.

Kaum alte Probleme behoben, aber neue geschaffen

Der Impact Factor gibt jeder Ausgabe eines Journals mindestens zwei Jahre Zeit, bevor nachgezählt wird, wie oft die Artikel im Schnitt zitiert wurden. Beim Immediacy Index hingegen werden nur die Zitate beachtet, die noch im selben Kalenderjahr veröffentlicht werden wie der Artikel, auf den sie sich beziehen. Somit hat jeder Aufsatz zwischen einem und 364 Tagen Zeit, zitiert zu werden – eine kurze Zeitspanne in der eher schwerfälligen Welt von Projektanträgen, Budgetentscheidungen, eigentlicher Forschung, Schreibphase, Peer Review und möglicherweise Ablehnung und nochmaligem Peer Review. Dies verursacht zusätzliche Probleme, die zu den Kritikpunkten am Impact Factor hinzukommen: Journals, die weniger oft oder später im Kalenderjahr erscheinen, haben wenig Gelegenheit, noch vor Silvester zitiert zu werden. Gewisse Artikeltypen lösen zudem schneller Zitate aus, etwa Reviewartikel, die systematisch erfassen, was bereits bekannt war und daher weniger intensiv „verdaut“ werden müssen.

Wie wichtig ist der Coolnessfaktor eigentlich?

Zu diesen schwerwiegenden methodischen Problemen gesellen sich noch unangenehme Grundsatzfragen, die bereits aus der Impact Factor Diskussion bekannt sind, die sich bei dem „schneller ist besser“ Ansatz des Immediacy Indexes aber noch stärker aufdrängen: Ist ein Artikel, der viele Leute anspricht, besser als einer, der einen Durchbruch in einem enger gesteckten Feld bedeutet? Sind hochaktuelle, aber möglicherweise kurzlebige Themen wichtiger als Fragestellungen, die sich langsam aber stetig entfalten? Vielsagend ist diesbezüglich, dass Journals eine lange cited half-life Wertung anstreben, mit anderen Worten: Artikel veröffentlichen möchten, die auch nach Jahren noch oft zitiert werden.

Wenig dazugelernt

Die Korrelation zwischen Immediacy Index und Impact Factor ist hoch, die beiden Indices sind sich ähnlicher als jede andere Paarung von geläufigen Journalrankings. Nur in sehr jungen Forschungsdisziplinen laufen die beiden Kennzahlen etwas auseinander. Der Immediacy Index bietet folglich wenig zusätzliche Information. Damit muss sich Thomson Reuters den Vorwurf gefallen lassen, eher daran interessiert zu sein, neuen Journals rasch Zugang zu einem Ranking gewähren zu können, als zu ernsthaften Evaluationen beitragen zu wollen.

Immerhin: Der Immediacy Index kam in verschiedenen Studien zum Einsatz, die belegen konnten, dass Journals, die online erscheinen, rascher zitiert werden als reine Printausgaben – ein nützliches Argument in der Debatte um neue Publikationsformen, wenn auch eben keine Sensationsentdeckung. Vielleicht hat sich darin die Nützlichkeit des Immediacy Indexes auch bereits erschöpft. Wie beim coolen Bruder gilt: Rockstartstatus erlangen nur wenige. Dem Rest stehen echte, fassbare Vorteile besser als coole Posen.

Wie viel sollte ein Autor für die Publikation seines Artikels bezahlen?

Forschungsresultreal cost of scientific publishingate zu erzielen kostet Schweiß und Tränen, sie an den Mann zu bringen kostet harte Euros. Wenn Journals Kostendeckung und Profit durch Verkaufsgebühren erzielen, dann befinden sich Käufer in einer schwachen Verhandlungsposition. Bibliotheken haben den Auftrag, die wichtigste Forschung zugänglich zu machen und haben daher bei der Kaufentscheidung wenig Freiheit. Hinzu kommt die Bündelung von Titeln, die es oft unmöglich macht, auf einzelne Journals zu verzichten. Entsprechende Vertragsklauseln verbieten es Käufern üblicherweise, Einkaufspreise publik zu machen. In diesem intransparenten und wenig offenen Markt sind die Grenzen der Preissetzung erst da erreicht, wo Verlage Boykotte und koordinierte Aktionen gegen sich provozieren. Beim Open Access Konzept hat der Autor hingegen die Möglichkeit, die Publikationsgebühr und die Leistung (in Form von Prestige, Impact Factor oder Breite und Qualität der Leserschaft) gegeneinander abzuwägen. Wie viel sollte also ein Autor bezahlen? Auf wie viele Euro pro Artikel kommt man mit der Formel „Kosten plus ein Bisschen“?

Bei einem Journal gehen zahlreiche Artikel ein. Die Redaktion muss Zeit aufwenden, um eine Auswahl zu treffen, auf Plagiate zu prüfen und anschließend den Review Prozess zu organisieren. Die kostenlos erstellten Gutachten und Kommentare müssen durchgegangen und Änderungen mit dem Autor koordiniert werden. Dieser Prozess verursacht bei klassischen Journals etwa 40% der Kosten, bei schlanker strukturierten Open Access Onlinejournals sind es 60%. Hinzu kommen Aufwände für Layout, je nach Format für Druck, Serverplatz (oder beides), Archivierung, Administration, Verkauf und Marketing. Was kostet das pro veröffentlichten Artikel? Laut einer informellen Umfrage liegt die Antwort irgendwo zwischen 250 Euro im Fall von Ubiquity Press und 35.000 Euro bei Nature.

Nein, kein Druckfehler. Laut eigenen Aussagen arbeiten einige Titel tatsächlich 140 mal günstiger, als andere.

Angesichts der Geheimniskrämerei von profitorientierten akademischen Verlagen und den folglich spärlichen Informationen über ihre Kostenstrukturen wollen wir uns einige Kostenindikatoren ansehen:

  • Die Max-Planck-Gesellschaft bestreitet mit einem jährlichen Budget von 1,5 Milliarden Euro ihre gesamten Aktivitäten (nicht nur die reine Forschung) und bringt im selben Zeitraum über 15.000 publizierte Artikel hervor. Dies ergibt eine Obergrenze von 100.000 Euro Durchschnittskosten pro Artikel. Können und sollen die Auslagen für die Publikation tatsächlich einen Drittel des Forschungsbudgets betragen?
  • Bei 12 Artikeln pro Ausgabe entstehen der Nature Publishing Group Kosten von 420.000 Euro. Die teuerste Art von nichtakademischen Magazinen, nämlich jene, die auf investigativen Journalismus konzentriert sind, kosten in der Herstellung etwa 850.000 Euro pro Ausgabe. Ein weiterer Zeitschriftentypus kann Inhalte günstiger (jedoch nicht kostenlos) einkaufen: Kommunikationsmittel von NGOs. Publikationen dieser Kategorie übernehmen ähnliche Aufgaben wie akademische Zeitschriften: Koordination, Layout, Druck und Administration. Bei einem mit Nature vergleichbaren Seitenumfang und Hochglanzauftritt beträgt das Budget hier etwa 250.000 Euro. Angesichts ihrer Aufgaben scheinen sich die Topjournals auf dieser Kostenskala nicht sehr günstig zu positionieren.
  • arXiv.org vertritt ein alternatives Review Modell, bei dem nicht von einer Redaktion ernannte Personen, sondern die Leser selbst die Rolle der Kritiker und Kommentatoren übernehmen. Einen Artikel ohne vorheriges, formales Review hier zu veröffentlichen, verursacht Kosten von etwa 5 Euro pro Artikel.
  • Viele Open Access Titel haben neben den Veröffentlichungsgebühren noch andere Einnahmequellen, einige erheben vom Autor keinen finanziellen Beitrag. Ihre Preise können deshalb nur als untere Grenze für die wahren Kosten dienen. Dennoch: Die teuersten Open Access Journals verlangen Gebühren von ca. 3.500 Euro pro Artikel. Von fünfstelligen Beträgen ist bislang nichts bekannt!

Elitejournals rechtfertigen höhere Kosten und höhere Verkaufspreise mit mehr Artikeln, die erst nach dem Peer Review abgelehnt werden. Dadurch wird das Journal teurer, gleichzeitig steigt aber die Qualität und die Exklusivität. Hinzu kommen einige Zusatzleistungen wie Kommentare, News oder andere Rubriken in den Heften, sowie die Premiumqualität von Layout und Druck. Ob hinter den hohen Kosten aber wirklich primär zusätzliche Leistungen stehen, bleibt fragwürdig. Exorbitante Margen und ineffiziente Abläufe scheinen wahrscheinlichere Preistreiber. Ebenso bleibt fragwürdig, ob die Zusatzleistungen überhaupt gefragt sind. Im Mindesten lässt sich sagen, dass Open Access Journals mit niedrigen Gebühren nicht zwingend schlechtere Journals sind. Autoren, die bereit sind, sich den Bedingungen von Open Access zu stellen, seien angehalten, sich sehr genau zu überlegen, welche Angebote in der schönen neuen Journalwelt das bieten, was sie wirklich suchen und brauchen. Und was es kostet.

Peer Review im Schnelldurchgang: Mehr Effizienz, weniger Qualität oder Abzockerei?

peer_reviewPeer Review ist praktisch synonym mit dem Vorgang des akademischen Publizierens selbst. Folglich werden die Schwächen der aktuellen Praxis oft hier geortet. Das System scheint keiner Seite wirklich gerecht zu werden: Die Reviewer stehen unter erheblichem Zeitdruck. Retuschierte Daten und schludrig durchgeführte Experimente gehen immer häufiger in Druck, was an den Qualitätsstandards zweifeln lässt. Autoren warten Monate, manchmal über ein Jahr auf das Urteil der Fachjury. Der wissenschaftliche Fortschritt wird unverhältnismäßig verzögert, zudem kommt es öfter als nötig dazu, dass an Fragen gearbeitet wird, deren Antworten andernorts bereits als Manuskript vorliegen. Dennoch sagen 91% der Autoren, dass ihr zuletzt publizierter Artikel durch die Rückmeldungen der Kollegen verbessert werden konnte. Letztlich ist das Peer Review System alternativlos.

Modifikationen und Optimierungen

Eine Variation davon besteht in einer Art interaktivem Urteil nach der Publikation. Dabei können Leser eines Artikels diesen kommentieren und damit die Arbeit der Reviewer ergänzen oder ersetzten. Eine anderer Ansatz geht davon aus, dass Reviewer eher die Möglichkeit haben, die nötige Zeit zu investieren, wenn sie für ihre Arbeit bezahlt werden. Eine dritte Option basiert darauf, dass abgelehnte Artikel meist bei einem zweiten Journal eingereicht werden, wo sie ein erneutes Review durchlaufen. Einige Verlagshäuser versuchen daher momentan, gesammelte Kommentare zwischen verschiedenen Journals des eigenen Hauses wiederverwertbar zu machen. Eine weitere Möglichkeit konzentriert sich darauf, den gesamten Ablauf effizienter zu gestalten und aus der binären Ja/Nein-Entscheidung der Redaktoren eine Triage zu machen. Die Rede ist von einem selektiv beschleunigten Review im sogenannten „Fast Track“.

So geht es 4-mal schneller

Dabei besteht die Option, einen Artikel abzulehnen, ihn nach dem normalen, eher schwerfälligen Prozess zu veröffentlichen, oder aber ihm besondere Priorität einzuräumen um ihn schneller zu veröffentlichen. Oft lässt sich die Dauer von der Einreichung bis zum Druck (oder der elektronischen Veröffentlichung) auf einen Drittel oder sogar einen Viertel der normalen Zeitspanne verkürzten. Dies wird möglich gemacht, indem einige Artikel zuoberst auf dem Tisch der Reviewer landen, indem diesen weniger Zeit eingeräumt wird, und indem Druckseiten vorzeitig reserviert werden. Um Artikel für diese Spezialbehandlung zu küren, gibt es zwei Möglichkeiten. Einige Journals, darunter Nature, entscheiden sich, die Presse bei sehr brisanten Themen oder besonders gehaltvoller Forschung eher anzuwerfen. Häufiger aber bieten Verlage diese Option zum Verkauf an. Gegen ein Gebühr lässt sich dann der Artikel noch vor dem Bewerbungsverfahren für die anvisierte Professur in Händen halten. Bei Journals, die eine Publikationsgebühr vom Autor verlangen, steigt diese bei „Expressbestellung“ üblicherweise um etwa 25%.

Schneller, nicht schlechter

Dabei stellt sich natürlich die Frage, ob unter erhöhtem Zeitdruck überhaupt noch eine sinnvolle Überprüfung der Inhalte möglich ist, und ob durch die Beschleunigung die Probleme der Reviewer nicht noch akzentuiert werden. Anekdotisch gibt es keine Hinweise auf eine weniger gute Überprüfung von Fast Track Artikeln, der Anteil von nach dem Review abgelehnten Artikeln bewegt sich im normalen Rahmen. Der Nobelpreis für Physik des Jahres 2001 wurde aufgrund eines Papers verliehen, das seinen Review in nur zwei Tagen durchlaufen hat! Eine wirklich systematische Untersuchung zum Thema steht aber noch aus. Sicher ist, dass der Prozentsatz von Artikeln, denen eine Sonderbehandlung zukommen kann, per Definition eine Obergrenze hat. Klar ist auch, dass zwar die Problematik des Autors, nicht aber die des Reviewers angegangen wird. Fast Track Reviews machen in gewissen Situationen Sinn. Auf der Suche nach einer umfänglichen und grundsätzlichen Verbesserung des Systems sind aber die anderen genannten Optionen erfolgversprechendere Kandierten.