Schlagwörter Archiv: Article Influence Score

Was kann SCImago, was andere Journalkennzahlen nicht können?

scimagoWenn Sie diesen Blog regelmäßig verfolgen oder anderweitig im Bild sind, wie der Article Influence Score berechnet wird, dann ist der SCImago Journal Rank schnell erklärt, denn die Konzepte sind sich sehr ähnlich. SCImago verwendet jedoch Daten aus Scopus statt aus Web of Science und nutzt Zitate der letzten drei statt der letzten fünf Jahre als Berechnungsgrundlage. Bei beiden Kennzahlen wird gezählt, wie oft die Artikel eines Journals zitiert werden, die Zitate werden nach dem Prestige jener Journals, in welchen sie erscheinen, gewichtet und schließlich wird durch die Anzahl Artikel geteilt. Eine weitere Parallele zum Article Influence Score und dem verwandten Eigenfactor besteht darin, dass die Kennzahlen aus dem akademischen Umfeld der Informationsanalyse und -visualisierung geboren sind, sie stehen kostenlos zur Verfügung.

SCImago und Article Influence bieten Vorteile gegenüber dem Impact Factor

Sie heben sich vom weit verbreiteten Impact Factor in zwei Punkten ab: Einerseits werden bedeutendere Zitate stärker gewichtet. Außerdem sind die Punktzahlen von Journals aus unterschiedlichen Feldern vergleichbarer, da der verwendete Algorithmus ausgleicht, dass in einigen Fächern sehr viel mehr Artikel erscheinen und daher auch mehr zitiert wird. Wie für den Impact Factor  gilt jedoch auch für diese beiden Maße, dass sie den durchschnittlichen Artikel evaluieren und damit keine Aussage über die Qualität von spezifischen Papers machen können. Auch die Einteilung in Fächer und Themen bleibt ein Stück weit zufällig. So kann ein Journal in den Kulturwissenschaften relativ hoch gerankt sein, wird es aber ins Feld der Gender Studies eingeteilt, so sinkt sein Ranking (trotz gleicher Punktzahl) aufgrund der veränderten Vergleichsbasis.

Ist SCImago besser als der Article Influence?

Der Vorteil des SCImago Journal Rank gegenüber dem Article Influence besteht hauptsächlich darin, dass Scopus mehr Titel abdeckt, da es auch Publikationen von kleineren Verlagen und Gesellschaften erfasst. Namentlich in den Geistes- und Sozialwissenschaften ist die Datenbank umfangreicher als Web of Science. Dadurch werden mehr Zitate registriert und es entsteht ein präziseres Bild. Außerdem steht die berechnete Kennzahl schlicht für mehr Titel zur Verfügung, momentan für gegen 20.000 (gegenüber etwa 12.000 Journals, für die der Article Influence berechnet wird).

Der größte Nachteil, welcher SCImago ebenso wie dem Article Influence anhaftet, besteht aber darin, dass die beiden eben nicht Impact Factor heißen. Dessen Bekanntheitsgrad macht es Konkurrenzprodukten schwer, Fuß zu fassen, selbst jenen, die eine überlegene Art der Berechnung anbieten können. Selbst Journals aus dem Hause Elsevier und die Besitzerin und Betreiberin von Scopus, setzten zu Marketingzwecken öfter auf den Impact Factor als auf den SCImago Rank. Die Kritik am Impact Factor ist berechtigt und hält seit Jahren an. Sie wird irgendwann ein Umdenken auslösen. Der Wechsel zu einem besseren Maß ist zwar erst ein kleiner Schritt in Richtung fairere Evaluationen, aber immerhin eine Verbesserung, die mit wenig Aufwand erreicht werden kann.

Vom Impact Factor zum Eigenfactor: Ein großer Schritt?

Impact EigenfactorDer Impact Factor wurde nicht zu dem Zweck kreiert, für den er heute meist verwendet wird. Entsprechend eignet er sich nicht optimal dazu, die Bedeutung der Arbeit eines Wissenschaftlers zu quantifizieren. Die Kennzahl entsprang ursprünglich der Idee, Universitätsbibliothekare bei der Einkaufsentscheidung zu unterstützen. In diesem Szenario werden zusätzlich zahlreiche weitere Kennzahlen wie Preis, Auflage, Nachfrage und Verfügbarkeit in Partnerbibliotheken zurate gezogen, wenn die Profis in den Büros der Bibliotheken versuchen, mit einem limitierten Budget die bedeutendsten Publikationen des jeweiligen Feldes zu erwerben. Für sie ist also wichtig zu wissen, wie viel Neues und wie viel Relevantes in jeder Ausgabe steckt. Dies kann über die durchschnittliche Anzahl an Zitaten näherungsweise nachvollzogen werden. Entscheidend ist, dass die Grundeinheit beim Einkauf die Ausgabe (im Normalfall eine Serie von Ausgaben) ist und nicht einzelne Artikel. Durchschnittswerte pro Artikel oder pro Ausgabe sind in diesem Zusammenhang daher eine sinnvolle Einheit. Dies trifft selbstverständlich nicht zu, wenn die Arbeit eines Forschenden evaluiert werden soll, in welchem Fall die Qualität eines einzelnen Papers relevant ist. Der Impact Factor wird nicht selten von wenigen Artikeln getrieben (oft Review Artikel ohne Neuerkenntnisse), die überdurchschnittlich viele Zitate auslösen, ohne, dass sich die hohe Qualität durch alle Artikel des Journals zieht.

Ein Neuling betritt die Bühne

Von ähnlichen Problemen wird auch der Eigenfactor (Zitate pro Journal) und der abgeleitete Article Influence Score (durchschnittliche Zitate pro Artikel) heimgesucht, weshalb wir unsere wichtigste Schlussfolgerung bereits an dieser Stelle anbringen können: Der Eigenfactor kann definitiv nicht die Kontroverse um den Impact Factor wegzaubern, indem er ein schlechtes Maß mit einem guten ersetzt. Als ob diese Behauptung noch zusätzlich unterstrichen werden müsste, kommt hinzu, dass beide Kennzahlen sich auf Zitate in Journals beschränken, welche in Thomson Reuters Web of Science indexiert sind. In einem anderen Punkt kann das neue Maß, das dem Urgestein Impact Factor seit 2007 Konkurrenz macht, aber echte Abhilfe leisten: Die Berechnungen basieren hier nämlich nicht auf einem simplen Zählen von Zitaten. Stattdessen hat ein Zitat in einem Nature Artikel mehr Einfluss als eine Erwähnung durch einen unbekannten Autoren in einem obskuren Journal (Nature wird hier übrigens berechtigterweise als Synonym für eine prestigeträchtige Publikation angeführt: Es ist sowohl in der Eigenfactor Skala als auch in puncto Impact Factor ganz vorne mit dabei). Die Eigenfactor Algorithmen sollen der Google Page Rank Logik ähnlich sein, wobei letztere als Firmengeheimnis gehütet wird und erstere hier im Detail erklärt werden.

Hausaufgaben entfallen weiterhin nicht

Letztlich kann der Schluss gezogen werden, dass der Article Influence Score die komplexere und wahrscheinlich sinnvollere Kennzahl hinsichtlich der Messung des Einflusses eines Journals ist. Allerdings fegt einen auch dieser neue Factor nicht wirklich vom Hocker, da ein „viel beachtetes Journal“ eben nicht mit einem „guten Autor“ gleichzusetzen ist. Wir wiederholen unser Mantra zum Mitsingen: Wenn Sie ein Bibliothekar sind, machen Sie ihre Hausaufgaben und beachten alle Aspekte der Kaufentscheidung; wenn Sie die Leistung eines Wissenschaftlers beurteilen müssen, machen Sie ihre Hausaufgaben und lesen dessen Arbeiten gründlich; wenn Sie ein Autor auf der Suche nach der optimalen Platzierung für Ihr Paper sind, machen Sie Ihre Hausaufgaben und überlegen sich genau, wer Ihren Artikel lesen würde und welche Journals sich an diese Zielgruppe richten! Kennzahlen – auch gute Kennzahlen – sind und bleiben eine Ergänzung zur nötigen Recherche, jedoch kein Ersatz.