Archiv für den Autor: admin

Immediacy Index: Der coole Bruder des Impact Factors

immediacyDer Impact Factor hat einige handfeste Nachteile und stiehlt dennoch allen anderen Journalrankings die Show. Zahlreiche Ratings und Indexe versuchen sich als Alternative zu diesem vielbeachteten Überranking zu vermarkten, indem sie Lösungen zu konkreten Kritikpunkten anbieten. Ganz anders der Immediacy Index, der wie der Impact Factor aus dem Hause Reuters stammt und ebenfalls auf der Zitatedatenbank von Web of Science basiert. Seine Zielsetzung besteht nicht darin, Unzulänglichkeiten auszubessern (man ist versucht zu rufen: „im Gegenteil!“), sondern es wird hier angeblich etwas anderes gemessen: Nicht mehr, wie stark Artikel beachtet werden, sondern wie angesagt die Themen sind, denen sich ein Journal widmet. Wie schnell andere Autoren auf einen Artikel reagieren, gilt dabei als Indikator für die Brisanz.

Kaum alte Probleme behoben, aber neue geschaffen

Der Impact Factor gibt jeder Ausgabe eines Journals mindestens zwei Jahre Zeit, bevor nachgezählt wird, wie oft die Artikel im Schnitt zitiert wurden. Beim Immediacy Index hingegen werden nur die Zitate beachtet, die noch im selben Kalenderjahr veröffentlicht werden wie der Artikel, auf den sie sich beziehen. Somit hat jeder Aufsatz zwischen einem und 364 Tagen Zeit, zitiert zu werden – eine kurze Zeitspanne in der eher schwerfälligen Welt von Projektanträgen, Budgetentscheidungen, eigentlicher Forschung, Schreibphase, Peer Review und möglicherweise Ablehnung und nochmaligem Peer Review. Dies verursacht zusätzliche Probleme, die zu den Kritikpunkten am Impact Factor hinzukommen: Journals, die weniger oft oder später im Kalenderjahr erscheinen, haben wenig Gelegenheit, noch vor Silvester zitiert zu werden. Gewisse Artikeltypen lösen zudem schneller Zitate aus, etwa Reviewartikel, die systematisch erfassen, was bereits bekannt war und daher weniger intensiv „verdaut“ werden müssen.

Wie wichtig ist der Coolnessfaktor eigentlich?

Zu diesen schwerwiegenden methodischen Problemen gesellen sich noch unangenehme Grundsatzfragen, die bereits aus der Impact Factor Diskussion bekannt sind, die sich bei dem „schneller ist besser“ Ansatz des Immediacy Indexes aber noch stärker aufdrängen: Ist ein Artikel, der viele Leute anspricht, besser als einer, der einen Durchbruch in einem enger gesteckten Feld bedeutet? Sind hochaktuelle, aber möglicherweise kurzlebige Themen wichtiger als Fragestellungen, die sich langsam aber stetig entfalten? Vielsagend ist diesbezüglich, dass Journals eine lange cited half-life Wertung anstreben, mit anderen Worten: Artikel veröffentlichen möchten, die auch nach Jahren noch oft zitiert werden.

Wenig dazugelernt

Die Korrelation zwischen Immediacy Index und Impact Factor ist hoch, die beiden Indices sind sich ähnlicher als jede andere Paarung von geläufigen Journalrankings. Nur in sehr jungen Forschungsdisziplinen laufen die beiden Kennzahlen etwas auseinander. Der Immediacy Index bietet folglich wenig zusätzliche Information. Damit muss sich Thomson Reuters den Vorwurf gefallen lassen, eher daran interessiert zu sein, neuen Journals rasch Zugang zu einem Ranking gewähren zu können, als zu ernsthaften Evaluationen beitragen zu wollen.

Immerhin: Der Immediacy Index kam in verschiedenen Studien zum Einsatz, die belegen konnten, dass Journals, die online erscheinen, rascher zitiert werden als reine Printausgaben – ein nützliches Argument in der Debatte um neue Publikationsformen, wenn auch eben keine Sensationsentdeckung. Vielleicht hat sich darin die Nützlichkeit des Immediacy Indexes auch bereits erschöpft. Wie beim coolen Bruder gilt: Rockstartstatus erlangen nur wenige. Dem Rest stehen echte, fassbare Vorteile besser als coole Posen.

Was kann SCImago, was andere Journalkennzahlen nicht können?

scimagoWenn Sie diesen Blog regelmäßig verfolgen oder anderweitig im Bild sind, wie der Article Influence Score berechnet wird, dann ist der SCImago Journal Rank schnell erklärt, denn die Konzepte sind sich sehr ähnlich. SCImago verwendet jedoch Daten aus Scopus statt aus Web of Science und nutzt Zitate der letzten drei statt der letzten fünf Jahre als Berechnungsgrundlage. Bei beiden Kennzahlen wird gezählt, wie oft die Artikel eines Journals zitiert werden, die Zitate werden nach dem Prestige jener Journals, in welchen sie erscheinen, gewichtet und schließlich wird durch die Anzahl Artikel geteilt. Eine weitere Parallele zum Article Influence Score und dem verwandten Eigenfactor besteht darin, dass die Kennzahlen aus dem akademischen Umfeld der Informationsanalyse und -visualisierung geboren sind, sie stehen kostenlos zur Verfügung.

SCImago und Article Influence bieten Vorteile gegenüber dem Impact Factor

Sie heben sich vom weit verbreiteten Impact Factor in zwei Punkten ab: Einerseits werden bedeutendere Zitate stärker gewichtet. Außerdem sind die Punktzahlen von Journals aus unterschiedlichen Feldern vergleichbarer, da der verwendete Algorithmus ausgleicht, dass in einigen Fächern sehr viel mehr Artikel erscheinen und daher auch mehr zitiert wird. Wie für den Impact Factor  gilt jedoch auch für diese beiden Maße, dass sie den durchschnittlichen Artikel evaluieren und damit keine Aussage über die Qualität von spezifischen Papers machen können. Auch die Einteilung in Fächer und Themen bleibt ein Stück weit zufällig. So kann ein Journal in den Kulturwissenschaften relativ hoch gerankt sein, wird es aber ins Feld der Gender Studies eingeteilt, so sinkt sein Ranking (trotz gleicher Punktzahl) aufgrund der veränderten Vergleichsbasis.

Ist SCImago besser als der Article Influence?

Der Vorteil des SCImago Journal Rank gegenüber dem Article Influence besteht hauptsächlich darin, dass Scopus mehr Titel abdeckt, da es auch Publikationen von kleineren Verlagen und Gesellschaften erfasst. Namentlich in den Geistes- und Sozialwissenschaften ist die Datenbank umfangreicher als Web of Science. Dadurch werden mehr Zitate registriert und es entsteht ein präziseres Bild. Außerdem steht die berechnete Kennzahl schlicht für mehr Titel zur Verfügung, momentan für gegen 20.000 (gegenüber etwa 12.000 Journals, für die der Article Influence berechnet wird).

Der größte Nachteil, welcher SCImago ebenso wie dem Article Influence anhaftet, besteht aber darin, dass die beiden eben nicht Impact Factor heißen. Dessen Bekanntheitsgrad macht es Konkurrenzprodukten schwer, Fuß zu fassen, selbst jenen, die eine überlegene Art der Berechnung anbieten können. Selbst Journals aus dem Hause Elsevier und die Besitzerin und Betreiberin von Scopus, setzten zu Marketingzwecken öfter auf den Impact Factor als auf den SCImago Rank. Die Kritik am Impact Factor ist berechtigt und hält seit Jahren an. Sie wird irgendwann ein Umdenken auslösen. Der Wechsel zu einem besseren Maß ist zwar erst ein kleiner Schritt in Richtung fairere Evaluationen, aber immerhin eine Verbesserung, die mit wenig Aufwand erreicht werden kann.

Wie sollte eine Dissertation strukturiert sein?

structure-your-dissertationDie Doktorarbeit ist nicht einfach eine „Masterarbeit plus“. Einerseits ist der Inhalt sehr viel umfangreicher und zum anderen bilden Forschungsaktivitäten, die bei früheren Arbeiten kleiner geschrieben wurden, den absoluten Kern der Dissertation. Entsprechend gelten für die Strukturierung des Inhalts eigene Grundsätze. Die genaue Aufteilung hängt stark vom jeweiligen Fach und den Richtlinien der Fakultät ab. Den besten und spezifischsten Eindruck verschaffen Sie sich, indem Sie die Inhaltsverzeichnisse von einigen früheren Dissertationen Ihrer Fakultät durchklicken oder -blättern. Frühzeitig eine Gliederung oder ein voraussichtliches Inhaltsverzeichnis zusammenzustellen und mit dem Doktorvater oder Berater zu besprechen ist ein ausgezeichneter Anlass, um Anforderungen und Erwartungen nochmal konkret durchzugehen und abzugleichen. Dies kann in späteren Stadien mehr als ein graues Haar ersparen.

Abstract und Schlusswort: Das A und O

Einige Grundbausteine sind jedoch allen akademischen Arbeiten gemein, unabhängig von Fach und Stufe. So gehören das Abstract und die Schlussfolgerung zum grundlegenden Handwerkszeug von Akademikern. Dies sind die Früchte Ihrer Arbeit, die garantiert am weitaus meisten gelesen werden, mit denen Sie sozusagen hausieren gehen. Selbst dem interessierten Leser, der Ihre Dissertation Seite für Seite studieren wird, dienen diese zwei relativ kurzen Abschnitte als erster Eindruck Ihrer Arbeit, der nur schwer zu korrigieren ist. Diese Texte werden zwar zum Schluss verfasst, es kann sich aber lohnen, schon früh für beide einen Umriss zu skizzieren, denn dabei wiederholen Sie die zentralsten Ideen und Schlussfolgerungen Ihrer Forschung, führen den Leser aber auch durch die Arbeit hindurch. Der Blick von Außen, zu dem Sie so gezwungen werden, kann helfen, die Kapitel logisch und leserfreundlich zu gliedern. Zudem kann die Kürze und knackige Schreibweise helfen, sich die Kernthemen erneut vor Augen zu führen.

Die Formalitäten

Halten Sie sich beim Erstellen des Titelblattes an die Richtlinien Ihrer Fakultät, üblich sind die Angabe des Titels der Arbeit, Namens des Autors, der Betreuer und Gutachter (inklusive Titel und Rollen), sowie der Bezeichnung des Instituts inklusive Datum. Im Normalfall folgt auf der nächsten Seite eine Danksagung, dann das Abstract und erst danach das Inhaltsverzeichnis (für dessen Stil existieren an manchen Fakultäten ebenfalls Vorschläge oder Vorschriften). Darauf folgt gegebenenfalls das Abkürzungsverzeichnis. Die eidesstattliche Erklärung wird meist als letzter Teil nach der Bibliographie und den Anhängen beigefügt, der Wortlaut ist oft vorgeschrieben oder es ist sogar ein spezielles Formular nötig. Die Reihenfolge kann jedoch variieren, halten Sie sich in jedem Fall an die Formvorgaben und Gepflogenheiten Ihrer Fakultät!

Der Hauptteil

Die eigentliche Dissertation beginnt mit einer Einleitung, in welcher die Zielsetzung und Hypothese der Arbeit detaillierter beschreiben wird als im Abstract und in welcher der Kontext Ihrer Forschung erläutert wird. Dies ist also die Gelegenheit, Ihre Begeisterung für Ihr Fach zu erläutern und zu teilen! Darauf folgt je nach Fach die Literaturauswertung, die Beschreibung der gewählten Methodologie und dann die Entwicklung des Modells. Der Kern Ihrer Arbeit, also die Datenanalyse, Auswertungen und Diskussion sollte etwa die Hälfte des Umfangs der gesamten Arbeit ausmachen. Bei der Schlussfolgerung gilt wie beim Abstract: Der zusätzlichen Aufmerksamkeit der Leser muss unbedingt mit der entsprechenden Aufmerksamkeit beim Verfassen begegnet werden! Dieser Abschnitt soll möglichst fesseln und begeistern, aber auch alle wichtigen Erkenntnisse wiederholen. Lassen Sie noch einmal Ihre Forschungserkenntnisse und Ihren persönlichen Beitrag zum Stand der Forschung glänzen!!

Es kann losgehen: Viel Spaß beim Schreiben!

Denken Sie beim Abfassen der Arbeit an Ihr Zielpublikum: Die Gutachter. Gestalten Sie deren Leseerlebnis so angenehm wie möglich, indem Sie Ihre Arbeit sinnvoll gliedern. Manchmal lohnt es sich, eine Liste aller Punkte zu erstellen, die in den Vorbesprechungen erwähnt wurden, um sicherzustellen, dass der Entwurf alles abdeckt. Nehmen Sie pro Kapitel und Unterkapitel auch eine Schätzung der benötigten Seitenzahl vor und gleichen Sie die Gesamtzahl mit den jeweiligen Maximalvorgaben Ihrer Fakultät ab. Sich frühzeitig über die Gliederung und den Umfang klar zu werden, fördert nicht nur den Lesefluss Ihrer Arbeit, sondern erleichtert oft auch den Einstieg ins Verfassen der Arbeit. Mit einem bestimmten Aspekt der Literaturrecherche zu beginnen ist für viele einfacher, als sich 100 leere Seiten vor den Augen herumtanzen zu lassen!

Literaturauswertung: Was ist zu beachten?

Jede akademische Arbeit beginnt damit, sich in den Stand der Forschung einzulesen und die Erkenntnisse, die bereits vorhanden sind, kritisch zu bewerten. Zwei Dinge müssen dabei vermieden werden: Zum einen sollten keine wesentlichen Beiträge zum Thema übersehen werden. Außerdem dient die Literaturauswertung nicht dazu, Zusammenfassungen der Artikel anderer Autoren aneinander zu reihen.

Wie stelle ich sicher, dass ich nichts „übersehen“ habe?

Wenn Sie sich schon läLiteraturauswertungnger mit einem Feld befassen, ist diese Frage etwas weniger brisant, da Sie die wichtigen Namen, Institute und Journals längst kennen. Für Studenten kann dieser Punkt eher zum Stolperstein werden. Leider gibt es keine Geheimtipps; Suchen und Lesen ist und bleibt Fleißarbeit. Die Recherche wird zusätzlich erschwert, wenn Sie sich ein ungefähres Feld ausgesucht haben, die exakte Fragestellung aber erst während oder nach Sichtung der Literatur festlegen wollen. Versuchen Sie stattdessen, insbesondere bei kleineren Arbeiten, die Hypothese möglichst frühzeitig zu definieren. Bei einer Internetrecherche ohne klares Ziel ist es allzu leicht, abgelenkt zu werden. Machen Sie sich nach Möglichkeit schon während des Studiums, zum Beispiel bei interessanten Seminaren, Gedanken um das Thema Ihrer Masterarbeit!

Wenn das Thema feststeht, geht es zunächst darum, die passenden Suchbegriffe zu definieren und die Auswahl zu schärfen. Testen Sie viele Formulierungen und Kombinationen und nutzen Sie die Suchlogik der verwendeten Datenbank oder von Google Scholar. Nach und nach sollten sich bei Ihrer Recherche die zentralen Werke Ihres Gebietes abzeichnen, denn auf diese werden Sie immer wieder stoßen. Haben Sie die grundlegenden Papers identifiziert, dann recherchieren Sie unbedingt, wo der vorliegende Artikel zitiert wird. Mit den Papers, die die entdeckte Grundsatzarbeit selbst zitiert, sollten Sie sich nur befassen, wenn der Hintergrund von Belang ist und nicht den Rahmen sprengt. Achten Sie auch auf die Journaltitel. Diese können bei allfälliger weiterführender Forschung von Interesse sein. Vermeiden Sie auf jeden Fall, nur teilweise passende Artikel in Ihrer Auswertung aufzuführen, um eine gewünschte Seitenzahl rasch zu erreichen. Die Qualität Ihrer Arbeit wird darunter leiden und Ihrem Gutachter wird die Absicht nicht verborgen bleiben.

Die relevanten Artikel stapeln sich auf dem Bürotisch. Was nun?

Haben Sie alle wichtigen Materialien gefunden und gesichtet, dann geht es darum, die verschiedenen Dimensionen und Ansichten, sowie die angewendeten Methoden zu verstehen und in verschiedene Strömungen oder Denkschulen einzuteilen. Halten Sie sich ein Publikum vor Augen, das mit den wichtigsten Texten vertraut ist und wiederholen Sie nicht einfach die Kernpunkte von jedem Paper! Versuchen Sie Mehrwert zu bieten. Kein Paper wird Ihre exakte Fragestellung behandeln, da Ihre Arbeit andernfalls überflüssig wäre. Beziehen Sie die vorhandenen Erkenntnisse also auf Ihr Thema, bewerten Sie die Methodologien und Datenlage kritisch und identifizieren Sie Lücken im vorhandenen Wissen. Fassen Sie die Artikel nach der Richtung ihrer Argumentation in Gruppen zusammen und unterstreichen Sie Widersprüche und Kontroversen im Feld!

Die Literaturauswertung sollte mit einem Abschnitt enden, der das vorhandene Wissen, das für Ihre Hypothese relevant ist, zusammenfasst und aufzeigt, wo noch Fragen offen sind. Machen Sie dem Leser Appetit darauf, in den restlichen Kapiteln Ihrer Arbeit mögliche Antworten zu entdecken!

Achtung Verzerrung: Wenn die Schlussfolgerung am Anfang steht

Research BiasSchon mal überlegt, welche Faktoren beeinflussen, ob Sie eine Stadt mögen oder nicht? Die Atmosphäre, die Leute, das Wetter, das Essen, die Freizeitmöglichkeiten, das Transportsystem? Alles eher ungreifbare Dinge, von denen man beim kurzen Städtetrip jeweils nur eine kleine Stichprobe zu Gesicht bekommt. Daher spielt die Erwartung eine große Rolle. Rechnet man schon vor Ankunft mit lauter freundlichen Begegnungen, so wirkt das Lächeln der Dame in der U-Bahn plötzlich herzlicher, der Kerl, der hinter einem geht, scheint weniger gruselig und man ist eher bereit, das rüpelhafte Benehmen des Kellners als Ausnahme zu werten.

Der Gaul, der rechnen konnte

Völlig frei von solchen Auswirkungen der Erwartungshaltung sind auch Forschende nicht. In diesem Fall heißt die Verzerrung „Research Bias“ und sie kann Erkenntnisse substantiell beeinflussen. Das klassische Beispiel ist ein Pferd namens Kluger Hans, das Rechenaufgaben lösen und das Resultat durch stampfen kommunizieren konnte. Wie sich zeigte, hatte das Pferd die Fähigkeit entwickelt, der Körperhaltung und Mimik des Fragestellers abzulesen, wann genug gestampft sei. Hätte der Fragensteller die Antwort selbst nicht gekannt, so wäre auch der Gaul nicht auf die richtige Lösung gekommen. Besonders kritisch ist dieses Problem natürlich bei Forschung, die auf Experimenten mit Menschen basiert, etwa in der Verhaltens- oder Marktforschung, der Medizin oder Wirtschaft. Um zu verhindern, dass dem Subjekt eine Lösung suggeriert wird, ist es vorteilhaft, wenn der Forscher selbst im Dunkeln tappt. Konkret: Doppelblindstudie. Das ist jedoch nicht in jedem Zusammenhang möglich und ist mit größerem Aufwand verbunden.

Das Pferd nicht von hinten aufsatteln

Research Bias kann entstehen, wenn eigene Erwartungen auf andere übertragen werden, oder, wie im Städtebeispiel, wenn vorgeformte Erwartungen den eigenen Blick trüben. Beginnt man seine Paper mit einer wahrscheinlichen Schlussfolgerung im Kopf, ist es trotz bester Absichten leicht, bei der Literaturrecherche in konträren Erkenntnissen Designfehler zu erkennen, den eigenen Ausreißerfilter etwas mehr da oder dorthin zu schrauben und die Kontrollvariablen entsprechend zu wählen.

Für einige isolierte Probleme gibt es isolierte Lösungen. Variablen können mittels statistischer Tests auf ihre Bedeutung hin geprüft werden; für gewisse Fragestellungen existieren Listen von Dimensionen, in welchen Stichproben repräsentativ sein sollten; in Fragebögen können Kontrollfragen eingebaut werden; Interviewer können speziell geschult werden; Umfragen können anonymisiert werden; Open Access könnte dazu führen, dass Experimente mit verworfenen Thesen häufiger trotzdem veröffentlicht werden. An grundsätzlichen Lösungen kann ich hingegen nur jene vorschlagen, die mir nahe gelegt wurden, um mir das Nägelkauen abzugewöhnen: Es schlichtweg nicht mehr zu tun. Führen Sie sich so klar wie möglich vor Augen, welche vorgefassten Meinungen Sie haben und woher diese stammen. Nehmen Sie widersprüchliche Papers ganz besonders ernst. Sprechen Sie mit Kollegen über Ihre Arbeit und achten Sie gezielt auf Aussagen, die aus divergierenden Erwartungen resultieren könnten. Verzerrungen können lediglich minimiert, nicht vermieden werden. Je mehr Sie sich des Problems bewusst sind, desto eher können Sie der Verzerrung Herr werden. Und falls Sie sich fragen: Das Nägelkauen habe ich mir abgewöhnt. Fast.