Рецензирование — это процесс, используемый большинством правительственных и многих неправительственных научно-исследовательских программ в Соединенных Штатах для обзора, анализа и определения наиболее многообещающих исследований. Большинство экспертов согласны с тем, что экспертная оценка сыграла решающую роль в управлении национальной системой научных исследований, которая была основой экономического роста и достижений в области безопасности, здравоохранения и охраны окружающей среды на протяжении 20 и 21 веков. Только в 2014 году правительство США потратило на RD около 136 миллиардов долларов.
Исследование было проведено AIBS, чтобы лучше понять, как использование телеконференций для экспертных комиссий по грантам может повлиять на результаты по сравнению с традиционными очными встречами экспертных комиссий.«Лучшее понимание того, как настройка или использование технологии влияет на динамику экспертной группы, позволит сообществу, занимающемуся оценкой исследований, принимать более обоснованные решения о финансировании», — сказал Скотт Глиссон, временный исполнительный директор AIBS. «Чтобы финансировать исследования с наибольшим воздействием, мы должны понимать, как факторы, которые могут повлиять на работу экспертной комиссии, могут повлиять на обсуждения и, в конечном итоге, на решения о финансировании».В этом исследовании рассматривалось влияние использования телеконференцсвязи, потому что финансирующие агентства часто заинтересованы в использовании этой технологии для снижения затрат и временных затрат на членов комиссии, которые едут на заседания панели на местах.Предыдущее исследование AIBS показало, что время обсуждения в настройках телеконференции было значительно короче, чем при личной встрече, но влияние обсуждения на оценку приложений было неясным.
В ходе этого анализа сравнивались оценки предложений, выставленные рецензентами до и после экспертной встречи. Авторы измерили величину и направление изменения оценок. Сравнение этих сдвигов оценок проводилось для личных встреч и телеконференций, что позволило понять влияние среды коммуникации на последующие модели выставления оценок.«Сдвиги в оценке после обсуждения были, в среднем, небольшими в обеих средах.
Обсуждение было важно как минимум для 10% заявок, независимо от настроек, когда эти заявки превышали пороговое значение, чтобы получить финансирование или нет», — сказал д-р Стивен Галло. , автор исследования. «Небольшие, но статистически значимые различия в моделях оценки после обсуждения были обнаружены между настройками, включая уменьшение величины сдвига оценок в панелях телеконференции по сравнению с очными. Однако время обсуждения мало повлияло на величину этих сдвигов оценок ".Интересно, что панельная дискуссия часто приводит к худшим результатам по сравнению с начальными оценками перед встречей. Другими словами, после того, как комиссии собрались и обсудили предложение, оценки ухудшились.
Это было правдой независимо от настройки.Незначительные различия, наблюдаемые между настройками, потенциально были связаны с уменьшением участия рецензентов в телеконференциях.
Необходимы дополнительные исследования, чтобы понять масштабы этого явления, а также психологию принятия решений, работу команды и убеждение, чтобы лучше прояснить эффекты создания экспертной группы.