Video-Tutorials zu Peer Review

Von Jasmin Schmitz

Wissenschaftliche Artikel durchlaufen in der Regel einen Begutachtungsprozess, im Rahmen dessen über die Publikationswürdigkeit eines Manuskripts entschieden wird. Diese Begutachtung wird auch Peer Review genannt. Peer Review spielt somit für die Qualitätssicherung in der Wissenschaft eine wichtige Rolle. Mit dem Thema sind aber auch eine Reihe von Fragen verknüpft: Wie läuft es ab? Welche Bedeutung hat es für die Wissenschaftskommunikation? Was sind die Probleme?

ZB MED hat hierzu eine Auswahl von Video-Tutorials zusammengestellt, die über die unterschiedlichen Aspekte informieren und die unter anderem in der Open-Access-Publikationsberatung eingesetzt werden:

Auswahl von Video-Tutorials zu Peer Review, die über die unterschiedlichen Aspekte informieren und die unter anderem in der Open-Access-Publikationsberatung eingesetzt werden.

 

Bei der Auflistung oben handelt es sich um einen Auszug einer Zusammenstellung von Video-Tutorials auf der ZB MED Webpräsenz, die über unterschiedliche Themen im Bereich Open Access und Open Data informieren. Die Tabelle wurde kürzlich um aktuelle Videos ergänzt und enthält mittlerweile mehr als 100 Videos. Derzeit ist in Planung, die Tabelle stärker thematisch zu strukturieren, damit Nutzerinnen und Nutzer schneller relevante Videos zur Nachnutzung finden.


Weitere Informationen:

Ausgewählte Video-Tutorials zu Open Access und Open Data auf PUBLISSO
Ursula Arning: Peer Review und Qualitätssicherung bei PUBLISSO gold, der Open-Access-Publikationsplattform von ZB MED. ZB MED-Blog vom 11. September 2017

Peer Review und Qualitätssicherung bei PUBLISSO gold, der Open-Access-Publikationsplattform von ZB MED

Von Ursula Arning (Leiterin Open-Access-Publizieren und -Beraten)

Peer Review bedeutet im spezifischen Kontext wissenschaftlicher Publikationen die Begutachtung von Texten und ihrer Anhänge durch Forschende des entsprechenden Fachgebietes. Diese Begutachtung, das Review, soll die Qualität der zu publizierenden Artikel garantieren und kann in verschiedenen Ausführungen erfolgen.

Es gibt unterschiedliche Varianten des Peer Reviews. Eine ist das Blind Review, das wiederum zwei Spielarten hat: Wenn sowohl die Autorinnen und Autoren als auch die Begutachterinnen und Begutachter keine Kenntnis voneinander haben, spricht man vom Double Blind Review, das heißt beiden Parteien werden gegenseitig keine Namen genannt, so dass weder die Reviewer wissen, wer den Artikel geschrieben hat, noch die Autorinnen und Autoren, wer ihren Artikel begutachtet. Dieses Verfahren soll größtmögliche Objektivität ermöglichen. Beim Single-Blind-Verfahren haben die Gutachterinnen und Gutachter Kenntnis der Autorinnen und Autoren, letztere sehen aber nicht, wer sie begutachtet hat. Die Anonymität ermöglicht den Reviewern, ihre Gutachten frei zu formulieren.

Eine eher neuere Variante, die in der Wissenschaftspublikation zurzeit noch keine ausgeprägte Rolle spielt, ist das Open Review: In dem Fall werden die Texte publiziert und die Gutachten veröffentlicht. In einer weiteren Spielart, kann es den Leserinnen und Lesern ermöglicht werden, die Texte öffentlich zu kommentieren. Dabei kann sowohl Forschenden als auch – je nach Verfahren – interessierten Laien die Kommentarfunktion ermöglicht werden. Die notwendige Moderation der Kommentare bedeutet oft allerdings einen enormen Aufwand für die Herausgeberinnen und Herausgeber oder Autorinnen und Autoren. Andererseits hat es sich in einzelnen Fachdisziplinen wie der Physik bewährt, Forschungserkenntnisse als Pre-Prints zu veröffentlichen und sie später unter Berücksichtigung der Kommentare, also in einer redigierten Form, in Zeitschriften mit einem Peer-Review-Verfahren zu publizieren (1).

ZB MED mit seinen Publikationsplattformen German Medical Science (GMS) und der daraus entwickelten Plattform PUBLISSO gold für die Lebenswissenschaften legt größten Wert auf die Qualitätssicherung seiner Publikationen und arbeitet dabei eng mit den jeweiligen Fachgesellschaften zusammen. Zurzeit ist das Peer Review auf der Basis des Single-Blind-Verfahrens organisiert, d.h. die Gutachterinnen und Gutachter erfahren die Namen der Autorin oder des Autors, ohne selber der Verfasserin bzw. dem Verfasser genannt zu werden. Das Verfahren kann jedoch innerhalb des Systems auf Wunsch der Herausgeber einzelner Zeitschriften auf alle anderen Formen (Double Blind oder Open Peer Review) umgestellt werden.

Der Einreichungs- und Reviewprozess durchläuft bei PUBLISSO unterschiedliche Stadien und Verantwortlichkeiten. Während der Einreichungsprozess und die spätere Publikation größtenteils in den Händen der ZB MED-Redaktion liegen (2), wird das Review der einzelnen Publikationen in Verantwortung der Wissenschaftlerinnen und Wissenschaftler durchgeführt; bei ZB MED handelt es sich dabei um Mitglieder einzelner Fachgesellschaften. Absprachegemäß bekommen jeweils zwei Wissenschaftlerinnen bzw. Wissenschaftler denselben Artikel zugewiesen. Das folgende Schema veranschaulicht den Prozess:

Review-Prozess bei ZB MED-Publikationsplattform PUBLISSO gold

Während des Reviews entstehen drei Möglichkeiten:

  1. Der Artikel wird abgelehnt; die Autorin / der Autor wird entsprechend benachrichtigt.
  2. Der Artikel wird grundsätzlich akzeptiert, wenn bestimmte Kriterien zur Korrektur erfüllt werden; die Autorin oder der Autor müssen noch einige Korrekturen am Text durchführen und der Beitrag ein zweites Mal das Review durchlaufen.
  3. Der Artikel wird akzeptiert, evtl. werden kleinere Korrekturen vorgeschlagen.

War der Review-Prozess erfolgreich, das heißt Reviewer und Herausgeber haben den Artikel akzeptiert, werden die Artikel wieder an die ZB MED-Redaktion gesendet, die die Artikel mit äußerster Sorgfalt formal redigiert, Referenzen überprüft, Artikel zur Publikation vorbereitet und die abschließende Einverständniserklärung des Autors bzw. der Autorin zur Publikation einholt. Eine Qualitätssicherung bei PUBLISSO erfolgt damit also auf mehreren Ebenen.


(1) Zu den verschiedenen Review-Verfahren und ihren Auswirkungen bzw. möglichen Kritikpunkten vgl. auch PUBLISSO FAQ zum Peer Review.

(2) Es gibt drei unterschiedliche Servicestufen und damit Preismodelle bei ZB MED. Während in der einfachsten und kostengünstigsten Variante die Herausgeber die Einreichung und das Review selber organisieren, übernimmt die ZB MED-Redaktion im zweiten Modell die Einreichung und organisiert in der dritten Stufe zusätzlich den Review-Prozess mit den eventuell anfallenden Erinnerungen und Mahnungen. Inhaltlich liegt die Verantwortung des Reviews und damit der Qualitätssicherung in allen drei Varianten bei den Fachgesellschaften.

Videotutorial zu den “Finanzierungsmöglichkeiten von Open Access Publikationen” fertiggestellt

Von Jasmin Schmitz (Open-Access-Publikationsberatung) und
Bettina Kullmer (Informationskompetenz)

Als Orientierungshilfe hat ZB MED 2016 eine Übersicht an freien, thematischen Videotutorials in Deutsch und Englisch als Tabelle zusammengestellt und verlinkt. Bei der Analyse zeigte sich, dass eine Übersicht über die zahlreichen Finanzierungsmöglichkeiten für Open-Access-Publikationsgebühren fehlte. Im Rahmen eines Semesterpraktikums, das eine Studentin der Bibliothekswissenschaft der TH Köln bei ZB MED absolvierte, konnte diese Lücke geschlossen werden. So erarbeitete sie gemäß dem internen Konzept ein persona-basiertes Storyboard  und setzte es selbst mit der Software Animatron um. Das fertige Tutorial – in einer deutschen und englischen Version – ist nun online auf YouTube verfügbar. Eine zitierfähige Version ist jeweils im Fachrepositorium Lebenswissenschaften hinterlegt. Das Tutorial ist über eine Creative Commons Lizenz CC-BY-ND 4.0 nachnutzbar.

Viel Vergnügen beim Anschauen!

 


Weiterführende Links:

Videotutorials zu Open Access und Open Data (ZB MED Blog-Beitrag vom 7.2.2017)
Komplexes einfach visualisiert: Video-Tutorials von ZB MED (ZB MED Blog-Beitrag vom 13.6.2016)

 

Video-Tutorials zu Open Access und Open Data – Tabelle online

Von Jasmin Schmitz, PUBLISSO Publikationsberatung

Video-Tutorials erfreuen sich schon seit längerem enormer Beliebtheit, da sie die Möglichkeit bieten, komplexe Inhalte audio-visuell aufzubereiten und somit Nutzerbedürfnissen nachkommen.

Auf der ZB MED-Publikationsplattform PUBLISSO findet sich eine Tabelle mit Video-Tutorials zu Open Access und Open Data (1). Zusätzlich wurden auch Videos zu Creative-Commons-Lizenzierung, Peer Review, Journal Impact Factor, h-Index und Altmetrics aufgenommen.

Tabelle mit Video-Tutorials

Tabelle mit Video-Tutorials

Die Tabelle bildete die Grundlage einer Untersuchung, deren Ergebnisse im März auf dem Bibliothekskongress in Leipzig vorgestellt wurden und in ausführlicher Form kürzlich in o-bib – dem offenen Bibliotheksjournal erschienen sind (2).

Auch ZB MED setzt im Rahmen der Open-Access-Publikationsberatung neben FAQs, persönlicher Beratung sowie Workshops und Vorträgen Video-Tutorials ein. Die Ergebnisse der oben genannten Untersuchung dienen der Entscheidungsfindung, zu welchen Themen Tutorials nachgenutzt werden können, beziehungsweise wo Lücken mit selbst produzierten Tutorials geschlossen werden können. Näheres zum Konzept von ZB MED findet sich in dem Beitrag „Komplexes einfach visualisiert: Video-Tutorials von ZB MED“(3).

In der Tabelle finden sich neben Links zu den Video-Tutorials noch einige Zusatzinformationen über die bereitstellende Institution/Person, das Thema, näheres zum Inhalt, Angaben zur Lizenz (sofern vorhanden), Länge, Sprache und inwieweit die Tutorials frei von institutionellen Bezügen sind.

Die Tabelle wird regelmäßig aktualisiert und ergänzt. Nutzerinnen und Nutzer sind eingeladen, eigene Vorschläge einzureichen. Die vorgeschlagenen Tutorials sollten sich mit den genannten Themen beschäftigen und idealerweise eine maximale Länge von fünf Minuten haben.


 

(1) Video-Tutorials zu Open Access und Open Data

(2) Schmitz, J.: Video-Tutorials zu Open Access und Open Data – Analyse und mögliche Nachnutzbarkeit. o-bib, das Offene Bibliotheksjournal, 2016

(3) Kullmer, B., Schmitz, J.: Komplexes einfach visualisiert: Video-Tutorials von ZB MED. ZB MED-Blog, 2016

Institutionelle Data Policies am Beispiel der deutschen Hochschullandschaft

von Birte Lindstädt und Robin Rothe

Im Blogbeitrag „Data Policies bei wissenschaftlichen Verlagen“ wurde bereits angedeutet, dass Data Policies schon seit längerem ein viel diskutiertes Thema auf institutioneller Ebene sind. Zum besseren Verständnis und zur Verortung der Policies von wissenschaftlichen Verlagen soll in diesem Blogbeitrag der Status Quo zu diesem Thema in der deutschen Hochschullandschaft beleuchtet werden. Dabei spielen die „Vorschläge zur Sicherung guter wissenschaftlicher Praxis“ seitens der DFG (1)  eine bedeutende Rolle. Sie gelten als Maßstab im Bezug auf den Umgang mit Forschungsdaten und damit auch der Festlegung von Regeln bzw. Verhaltenskodizes. In diesem Zusammenhang hat die Hochschulrektorenkonferenz (HRK) im November 2015 auf der 19. Mitgliederversammlung Empfehlungen zur Steuerung der Entwicklung von Forschungsdatenmanagement seitens der Hochschulleitungen beschlossen (2).

Die nachfolgende Tabelle orientiert sich an den dort festgelegten Punkten eines idealtypischen Prozesses zur Erstellung von Richtlinien für Forschungsdatenmanagement im Hochschulkontext, die auch auf andere Institutionen übertragen werden können. Ergänzt werden die dort genannten Bestandteile einer Data Policy durch Beispiele aus bereits existierenden Research Data Policies, die aus dem Wiki „forschungsdaten.org“ entnommen wurden (3). Die vorgestellte Liste der Beispiele ist nicht abschließend. Weitere Hochschulen haben mittlerweile eine Data Policy beschlossen – wie z. B. die RWTH Aachen (4), die aber nicht auf „forschungsdaten.org“ verzeichnet wurden.

Tabelle: Zielsetzung und Bestandteile einer Research Data Policy

Zielsetzung und Bestandteile einer Research Data Policy

Die Reihenfolge, wie sie die HRK empfiehlt, wird in den einzelnen Data Policies nicht unbedingt eingehalten und es werden nicht in allen Policies alle Punkte abgedeckt. Dies kann aber in Anbetracht der Tatsache, dass alle vorgestellten Policies vor dem Beschluss der HRK Ende des Jahres 2015 formuliert und veröffentlicht wurden, nicht erwartet werden. Vielmehr ist erkennbar, dass bereits vor einer hochschulübergreifenden Debatte an einzelnen Universitäten das Thema Forschungsdaten und dabei insbesondere die Bedeutung von Data Policies als Instrument im Forschungsdatenmanagement erkannt wurden. Insofern haben alle genannten Hochschulen Pionierarbeit in Sachen Research Data Policies in Deutschland geleistet.


(1) DFG (2013). Vorschläge zur Sicherung guter wissenschaftlicher Praxis: Empfehlungen der Kommission „Selbstkontrolle in der Wissenschaft“. In DFG (2013). Denkschrift „Sicherung guter wissenschaftlicher Praxis“ (S.5-55).

(2) Vgl. Hochschulrektorenkonferenz (2015). Wie Hochschulleitungen die Entwicklung des Forschungsdatenmanagements steuern können. Orientierungspfade, Handlungsoptionen, Szenarien: Empfehlung der 19. HRK-Mitgliederversammlung am 10.11.2015.

(3) Vgl. Data Policies: Institutionelle Policies (17.10.2016). In forschungsdaten.org.

(4) RWTH Aachen (2016): Forschungsdatenmanagement an der RWTH Aachen.

Die mögliche Vielfalt der Impact-Messung: Anbietervergleich von Aggregatoren von Altmetriken

Von Robin Rothe und Jasmin Schmitz

Die „klassische“ Impact-Messung basierend auf der Zählung von Zitationen wird zunehmend als unzureichend erachtet. Hauptkritikpunkte sind hierbei, dass die von kommerziellen Anbietern generierten Zitationszahlen nicht offen einsehbar und daher wenig transparent sind. Zudem stehen diese nicht für alle Produkte wissenschaftlichen Forschungsoutputs wie Forschungsdaten oder Software zur Verfügung. Außerdem stellt das Zählen von Zitationen nur eine Möglichkeit dar, Impact zu messen (1). Zentrale Forderungen von Initiativen wie San Francisco Declaration on Research Assessment (DORA) (2) und Altmetrics Manifesto (3) sind daher, die Impact-Messung auf eine breitere Basis zu stellen und auch auf andere Formen der Nutzung auszuweiten. Diese Ausweitung wird unter dem Schlagwort „Altmetriken“ (engl. Altmetrics) diskutiert, einer Zusammensetzung aus „alternativ“ und „Metriken“. Dabei verstehen sich Altmetriken aber eher als Ergänzung zur klassischen Impact-Messung, weniger als Ersatz. Häufig werden diese auch als „article level metrics“ bezeichnet, weil entsprechende Zahlen auf der Ebene der Publikationen (z.B. Zeitschriftenartikel, Forschungsdatenveröffentlichung, Softwarepublikation, Blogbeitrag, Veröffentlichung von Präsentationsfolien) selbst erhoben werden.

Neben der Ermittlung, wie häufig Veröffentlichungen zitiert werden, wird auch gemessen, wie häufig diese beispielsweise abgerufen, gespeichert, geteilt, kommentiert oder empfohlen wurden. Insbesondere die Erwähnung in Sozialen Medien spielt dabei eine große Rolle, die mittlerweile Einzug in sämtliche Lebensbereiche gehalten haben und daher auch bei der Impact-Messung berücksichtigt werden sollen. Viele der Plattformen bieten mittlerweile die Möglichkeit, über eine API altmetrische Kennzahlen für Publikationen abzurufen. Häufig wird hierbei mit einem persistenten Identifikator wie dem DOI gearbeitet. Zudem gibt es eine Reihe von Datenaggregationen, die entsprechende Anbieter abfragen und die Kennzahlen gebündelt präsentieren. Die bekannteste Darstellungsform ist hierbei der „Donut“ von altmetric.com (4).

Möchte man selbst altmetrische Kennzahlen für Publikationen erheben (z.B. für sich selbst oder für Publikationen im Repositorium oder Publikationsdienst), stellt sich die Frage nach einem geeigneten Anbieter. Hierbei ist nicht unerheblich, wie viele und welche Datenquellen ausgewertet werden.

Die nachfolgende Tabelle informiert über verschiedene Datenaggregatoren und die Datenquellen, die sie auswerten. Das Schema beruht auf einer Zusammenstellung in Jobmann et al. 2014 (5); dort findet sich auch eine kurze Beschreibung zu PlumX, ImpactStory, Altmetric Explorer von altmetric.com und Webmetric Analyst. Neben diesen kommerziellen Anbietern gibt es seit 2009 Lagotto (6). Dabei handelt es sich um eine freie Software, die flexibel konfigurierbar ist und von PLOS entwickelt und via GitHub bereitgestellt wurde. Es wird u.a. von PLOS ONE, Copernicus Publications und CrossRef verwendet (7).

Tabelle mit den Datenaggregatoren und Datenquellen

Datenaggregatoren und Datenquellen

Es ist zu erkennen, dass insbesondere PlumX, aber auch die anderen Aggregatoren von Altmetriken bemüht sind, eine möglichst große Vielfalt an Datenanbietern zu identifizieren und in ihr Produkt zu implementieren. Erkennbar ist auch, dass neben den klassischen Zitationen auch „comments“, „likes“, „mentions“, „views“, „follower“s, „readers“, etc. ausgewertet werden.

Was sich aus der Tabelle nicht ablesen lässt, ist, was sich hinter den einzelnen Datenquellen und deren Kennzahlen verbirgt. Auch kann die Fülle aus 35 Datenquellen und 58 dazugehörigen Auswertungsmerkmalen bei der erstmaligen Betrachtung in dieser reinen Auflistung für Überforderung sorgen. Um diesem vorzubeugen, erscheint es sinnvoll, die einzelnen Datenquelle näher zu betrachten und genauer zu überprüfen, was diese im Kontext von Impact-Messung zu bieten haben. Dieses wird in der nachfolgenden Tabelle versucht zu erläutern:

Tabelle mit Datenquellen und Impactmessung

Datenquellen und Impactmessung – Erläuterung

Die Diversität macht deutlich, wie vielfältig Impact-Messung sein kann. Neben Microblogging-Dienste wie Twitter, Soziale Medien wie Facebook und Bookmarking-Dienste wie Mendeley werden auch Erwähnungen auf Blogs, in Wikipedia, in Patentdokumenten oder in „policy documents“ in Betracht gezogen. Zudem werden Schnittstellen von „Sharing“-Plattformen wie Repository-Anbietern, Figshare, Github und Video-Plattformen „angezapft“ und Bewertungsseiten wie Reddit ausgewertet (8).

Vor der Auswahl einer Datenquelle bzw. eines Aggregators empfiehlt es sich, die eigene Zielsetzung zu definieren (Welche Zahlen möchte ich für wen erheben und zu welchem Zweck?). Bei Nutzung aller möglichen Quellen und allen dort auswertbaren Daten kann es passieren, dass die eigenen Nutzerinnen und Nutzer auf Grund der Masse an Informationen überfordert sind. Gleichzeitig besteht die Gefahr der Beliebigkeit und damit der möglichen Einschränkung des Impact von Altmetriken. Andererseits ist es ja gerade der Sinn von alternativen Metriken, neben der klassischen Zählung von Zitationen auch andere Nutzungsdaten auszuwerten, weswegen eine zu starke Beschränkung auf wenige Werte das Potenzial missachten würde. Inwieweit alle hier dargestellten Kennzahlen tatsächlich dauerhaft in die altmetrische Impact-Messung Eingang finden, darüber lässt sich nur spekulieren. Vielfach ist noch unklar, wie sich Erwähnungen und deren Häufigkeit tatsächlich interpretieren lassen. Insbesondere dadurch, dass sowohl der Kontext, als auch der Inhalt nicht in die Auswertung mit einfließen, fehlt häufig ein Anhaltspunkt für die Qualität z.B. einer Erwähnung auf Twitter, einem Like bei Facebook oder aber auch einer Erwähnung auf einem Blog von WordPress. Auch ist bislang noch nicht geklärt, wie mit den Messwerten von „Views“ auf Videoplattformen wie Youtube und Vimeo umgegangen wird und was diese aussagen. Möglich wäre dabei auch eine unterschiedliche Gewichtung der Quellen. Es darf aber auch nicht vergessen werden, dass es gerade die Idee von alternativen Metriken ist, die bisherige Beschränkung auf wenige renommierte Quellen aufzubrechen und Nutzung viel genereller und offener darstellbar zu machen. Daraus ergibt sich auch die große Möglichkeit, dass für unterschiedliche Fachdisziplinen unterschiedliche Metriken Einfluss auf den jeweiligen Impact haben und damit fachspezifische Faktoren entworfen werden können.

ZB MED prüft derzeit die Möglichkeiten der Einbindung von Altmetriken in seine PUBLISSO-Publikationsplattformen, um Herausgeberinnen / Herausgeber und Autorinnen /Autoren, Informationen zur Nutzung der Publikationen bereitzustellen.


(1) Siehe auch: J. Schmitz (2016): Messung von Forschungsleistungen. Altmetrics: Auf dem Weg zur Standardisierung. In: Open Password Pushdienst vom 10.06.2016
(2) San Francisco Declaration on Research Assessment
(3) J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26.10.2010
(4) Altmetric Badges
(5) A. Jobmann, Ch. P. Hoffmann, S. Künne, I. Peters, J. Schmitz, G. Wollnik-Korn (2014): Altmetrics for large, multidisciplinary research groups: Comparison of current tools. In: Bibliometrie: Praxis und Forschung. Band 3, urn:nbn:de:bvb:355-bpf-205-9
(6) Lagotto
(7) ALM – Article-Level Metrics
(8) Siehe hierzu auch S. Haustein (2016): Grand challenges in altmetrics: heterogeneity, data quality and dependencies. In: Scientometrics 108: 413-423. DOI:10.1007/s11192-016-1910-9.