«Некоторые формы экспертной оценки используются в большинстве организаций, финансирующих исследования, для определения лучших исследований для финансирования», — сказал д-р Джозеф Трэвис, президент AIBS и биолог из Университета штата Флорида. «Рецензирование вносит значительный вклад в то, как распределяются миллиарды долларов в виде исследовательских грантов из государственных и частных источников», — сказал Трэвис, соавтор исследования.В последние годы этот процесс подвергался сомнению, особенно в отношении того, насколько хорошо экспертная оценка предсказывает окончательное воздействие финансируемого исследования.«Мы провели ретроспективный анализ данных экспертной оценки и результатов проекта по 2063 проектам за восьмилетний период. Из них 227 были профинансированы, и мы изучили, существуют ли корреляции между оценкой научных достижений с использованием системы экспертной оценки и научными результатами от эта программа ", — сказал д-р Стив Галло, менеджер по техническим операциям AIBS и ведущий исследователь исследования.
Влияние цитирования или количество ссылок на исследовательскую работу другими людьми — это распространенный способ оценки воздействия исследования. Анализ показал, что оценки коллегиальной оценки, связанные с отдельными приложениями, коррелировали с общими скорректированными по времени результатами цитирования этих финансируемых проектов.Галло утверждает, что «влияние цитирования не коррелировало с суммой средств, выделенных на каждое приложение, или с общим годовым программным бюджетом».
Количество финансируемых заявок в год действительно хорошо коррелировало с общим годовым влиянием на цитируемость, предполагая, что улучшение показателей успешности финансирования за счет уменьшения размера наград может быть одной из стратегий оптимизации научного воздействия портфелей исследовательских программ.«Эта стратегия должна быть сопоставлена с необходимостью сбалансированного исследовательского портфеля и изначально высокой стоимостью некоторых видов исследований», — сказал Трэвис.
Связь, наблюдаемая между оценками экспертной оценки и результатами публикации, закладывает основу для создания модельной системы для будущего проспективного тестирования валидности форматов и процедур экспертной оценки.«Это то, на что сейчас смотрит AIBS, — сказал Галло.