Привнесение модели «доверяй, но проверяй» в рецензирование журнала

Чтобы внедрить эти методы отчетности, большинство журналов полагаются на процесс экспертной оценки, в которой другие ученые анализируют результаты исследований перед публикацией, но относительно немного журналов измеряют качество и эффективность этого процесса.В комментарии, опубликованном 20 июля в журнале Science, ведущий автор Кэрол Ли и соавтор Дэвид Мохер определяют стимулы, которые могут побудить журналы «открыть черный ящик экспертной оценки» ради повышения прозрачности, воспроизводимости и доверия к публикуемым материалам. исследовать. Ли — адъюнкт-профессор философии Вашингтонского университета; Мохер — старший научный сотрудник Оттавской больницы и доцент Оттавского университета.Ли и Мохер видят в этом проблему коллективных действий, требующую лидерства и инвестиций со стороны издателей.

«Науке было бы лучше, если бы журналы разрешали и участвовали в эмпирических исследованиях и обеспечении качества своих процессов рецензирования», — пишут они. «Однако это требует значительных ресурсов и сопряжено со значительным риском для отдельных журналов в виде неблагоприятных доказательств и плохой прессы».Чтобы помочь журналам управлять репутационным риском, связанным с аудитом их собственных процессов рецензирования, Ли и Мохер предлагают пересмотреть Руководство по прозрачности и открытости (TOP), набор стандартов добровольной отчетности, подписанными в настоящее время 2900 журналами и организациями. Эти рекомендации были опубликованы в Science в 2015 году комитетом исследователей и представителями некоммерческих научных организаций, грантовых агентств, благотворительных организаций и элитных журналов.

Ли и Мохер предлагают добавить новую категорию в ТОП-рекомендации, «указывающие на готовность журнала способствовать мета-исследованиям эффективности его собственных практик рецензирования».

С их помощью журналы могут выбирать, на какой уровень они переходят. Более высокий уровень прозрачности повлечет за собой более высокий риск.

Для самого низкого уровня журналы будут публично раскрывать, проводят ли они внутреннюю оценку экспертной оценки, в которой они могут сохранить результаты исследования для внутреннего использования.На среднем уровне журналы будут раскрывать результаты своих внутренних оценок экспертной оценки, но могут сохранять гибкость в том, как они сообщают свои результаты для внешнего использования.

Например, результаты могут быть объединены по нескольким журналам, чтобы снизить риск для любого отдельного журнала.На верхнем уровне журналы могут согласиться передавать данные и аналитические материалы исследователям за пределами своего учреждения для проверки третьей стороной.

Это вариант, пишут Ли и Мохер, «который может особенно понравиться издателям с меньшими ресурсами, поскольку он ложится финансовым бременем на тех, кто проводит мета-исследование». Журналы, проводящие собственные анализы, могут предварительно зарегистрировать дизайн своих исследований, а затем опубликовать свои данные в Интернете.

Согласившись с этими более строгими руководящими принципами, авторы пишут, издатели и журналы будут иметь возможность узаконить и рекламировать относительное качество их процесса рецензирования в эпоху, когда хищнические журналы, которые ложно заявляют, что используют рецензирование, продолжают расти.«Незаконные журналы становятся большой проблемой для науки», — сказал Мохер. «Настоящие научные журналы могут прозрачно отличаться от своих процессов рецензирования».

Они соглашаются, что инвестирование в исследования по рецензированию журналов будет дорогостоящим. Ли и Мохер предполагают, что необходимы масштабные экспериментальные исследования, чтобы судить об эффективности различных веб-шаблонов рецензирования для обеспечения соблюдения стандартов отчетности, а также способов обучения авторов, рецензентов и редакторов использованию таких инструментов и оценке исследований.По их словам, также необходимы способы выявления недостатков в статистической и методологической отчетности по исследовательской работе и понимания того, как количество и относительный опыт рецензентов могут улучшить оценку.По словам исследователей, крупнейшие издатели, чья рентабельность конкурирует с рентабельностью фармацевтических и технологических гигантов, могут позволить себе инвестировать в необходимые технологии и ресурсы, необходимые для проведения этих аудитов.

«Издатели должны инвестировать в свои собственные бренды и репутацию, вкладывая средства в качество своих процессов экспертной оценки», — сказал Ли. «В конечном итоге это улучшит качество публикуемой научной литературы».


Новости со всего мира