Posílení integrity výzkumu: Zlepšení vzájemného hodnocení při publikování

Jedno téma Peer Review Week 2022, "zkoumání významu vzájemného hodnocení při podpoře integrity výzkumu,' je aktuální. Pandemie COVID-19 ukázala sílu vědy. Zatímco rychlé šíření vědeckých poznatků bylo kritické, bylo tomu tak doprovázena značnými riziky, Australský příběh hydroxychlorochinu je spásným (ale bohužel ne jediným) příkladem toho, jak špatná věda, špatně hodnocená a komunikovaná, může podněcovat dezinformace a způsobit skutečné škody. Tak intenzivní pozornost veřejnosti a politiků se zvýšila zaměření na procesy a praktiky, které jsou základem integrity výzkumu, přičemž vzájemné hodnocení je zásadní.

Tradičně, peer review byl považován za „zlatý standard“ vědeckého publikování. Ještě předtím, než se objevily problémy vyvolané pandemií, však byla zpochybňována účinnost a udržitelnost vzájemného hodnocení. Přibývá stahování recenzovaných publikací. Mnoho, jako např nechvalně známý případ Wakefield a nedávné Skandál Lancet hydroxychlorochin, zahrnující závažný podvod, měl být vyzvednut při vzájemném hodnocení a nikdy zveřejněn. Představují významná selhání vědy a jejího systému zajišťování kvality.

Nedávný příležitostný papír, Posílení integrity výzkumu: Role a povinnosti publikování, Mezinárodní vědecké rady projekt o budoucnosti vědeckého publikování, učinil dvě doporučení ke zlepšení vzájemného hodnocení před zveřejněním, a tím k posílení integrity výzkumu ve zveřejněném záznamu:

1. Nařídit společné zveřejňování údajů. Mnoho stažení je založeno na problémech s daty. Univerzální přijetí společného publikování dokumentu a podkladových dat by bylo významnou reformou a jistě by odstranilo ty nejkřiklavější případy podvodů s daty. Nedávné politické pokyny od Úřadu pro politiku vědy a technologie (OSTP) v USA vyžadující, aby výzkum financovaný vládou USA, včetně dat, byl volně dostupný při zveřejnění do roku 2025 by měl být game-changer. Kultura výzkumu se také bude muset změnit: a nedávná analýza názorů výzkumníků na sdílení dat dospěl k závěru, že 'mnoho výzkumníků říká, že budou sdílet data – ale ne.' Časopisy a recenzenti by měli urychleně začít trvat na tom, že přijetí vyžaduje společné zveřejnění podkladových dat. Jak argumentoval Tim Vine, zakladatel společnosti DataSeer, umožnění kontroly dat by mohlo snížit potenciál výroby dat a udělat z poctivého výzkumu „cestu nejmenšího odporu“.
2. Zvýšit zaměření na potenciál pro replikovatelnost/reprodukovatelnost. Jak je praktikováno ve většině časopisů, peer review se pokouší vyvážit hodnocení „novosti“ nebo „důležitosti“ výsledků a metodologickou způsobilost uvedené studie. Integrita výzkumu může utrpět, když novost příliš převládne. Rozhodčí by měli v nejvyšší možné míře zajistit, aby byl v posuzovaném dokumentu uveden dostatek podrobností o použitých metodách a v případě potřeby o dostupnosti dat, aby bylo možné práci replikovat a výsledky potvrdit nebo zneplatnit. Vzájemné hodnocení před zveřejněním je jen zřídka, pokud vůbec, konečným nebo definitivním verdiktem. A Zpráva Národních akademií v USA za rok 2019 zdůraznil: 'Opakovaná zjištění srovnatelných výsledků mají tendenci potvrdit pravdivost původního vědeckého závěru a ze stejného důvodu opakované neúspěchy při potvrzení původní závěry zpochybňují.“ Tato a další formy peer review po zveřejnění jsou základem vědeckého procesu. Přesto se objevuje příliš mnoho příkladů, jako je tento příklad z biovědního výzkumu, navrhnout toto peer review před zveřejnění selhává příliš často, aby bylo zajištěno, že je to vůbec možné. Recenzenti by také měli aktivně rozpoznat význam replikativních studií a nulových výsledků a podporovat publikaci.

Vhodnost statistických testů je často problémem, zejména u komplexních dat. Přesto mnoho redaktoři nevyužívají k hodnocení předložených příspěvků statistické experty. Ostatní recenzenti by neměli váhat a doporučit takovou recenzi.

Technologie hraje roli při zlepšování vzájemného hodnocení. Zatímco automatické screeningové nástroje zatím nemohou nahradit lidské recenzenty, mohou je podporovat a měly by být aktivněji využívány. Jedno z nejkonstruktivnějších využití nástrojů jako je např ScreenIT, je autory před odesláním ke zlepšení jejich příspěvku, včetně posouzení reprodukovatelnosti, jako v tomto příkladu obrazovka předtisků COVID-19. Nebylo by nerozumné, aby se časopisy a recenzenti zeptali, zda předložený článek prošel takovou obrazovkou. Požádání autorů, aby dokončili předběžný příspěvek Kontrolní seznam by byl další užitečný vývoj. Takové kontrolní seznamy by bylo nutné upravit pro disciplinární rozdíly, ale opět by mělo být záměrem podporovat lepší postupy spíše než odhalovat nekalé praktiky.

Jiné reformy vzájemného hodnocení jsou možné a skutečně žádoucí. Otevřete peer review ve kterém si recenzenti nezachovají anonymitu, je jednou z možností. A 2020 studie k závěru, že

"Otevřené vzájemné hodnocení … snižuje zaujatost, zvyšuje transparentnost a spolehlivost procesu rozhodování. Činí recenzenty odpovědné za přijetí článků do vědeckých publikací."

Vývoj taxonomie peer review vyžaduje aktivní zvážení. Takové taxonomie by mohly umožnit objektivnější hodnocení nebo označení časopisů a jejich postupů a kvality vzájemného hodnocení.

V konečném důsledku je nutná zásadnější – a skutečně radikální – reforma vědeckého publikování, aby byl vytvořen systém v souladu s osm principů formulovaných Mezinárodní vědeckou radou. To si vyžádá čas a značné kulturní změny. Dokud se tak nestane, časopisy zůstanou zásadní pro šíření vědeckých výsledků. Je tedy nutné, aby všichni – autoři, recenzenti a redaktoři časopisů – udělali vše pro zlepšení vzájemného hodnocení a zajistili, aby publikovaný záznam byl co nejdůvěryhodnější. Týden vzájemného hodnocení 2022 je příležitostí k pokroku v této kritické agendě.

Michael N. Barber

Michael N. Barber je emeritním profesorem, AO, FAA, FTSE a členem Řídícího výboru pro projekt Mezinárodní vědecké rady budoucnost vědeckého publikování.

Foto Jason Wong on Unsplash