Работа была опубликована в онлайн-выпуске журнала Science от 3 марта.«Попытка воспроизвести предыдущие результаты не является привлекательной или творческой, поэтому это делается редко. Но возможность получать один и тот же результат снова и снова является частью определения того, что делает знание научным», — говорит Колин Камерер, профессор Роберта Кирби.
Поведенческая экономика в Калифорнийском технологическом институте и ведущий автор статьи.Исследование было основано на предыдущем методе, который использовался для оценки воспроизведения психологических экспериментов.
В более ранней методике, называемой психологией проекта воспроизводимости (RPP), исследователи воспроизвели 100 оригинальных исследований, опубликованных в трех ведущих психологических журналах, и обнаружили, что, хотя 97 процентов оригинальных исследований содержали так называемые «положительные результаты» (что означает значительное изменение по сравнению с контрольными условиями), такие положительные результаты достоверно воспроизводились только в 36% случаев.Используя этот же метод, Камерер и его коллеги воспроизвели 18 лабораторных экспериментальных работ, опубликованных в двух ведущих экономических журналах в период с 2011 по 2014 год. Одиннадцать из 18 — примерно 61 процент — продемонстрировали «значительный эффект в том же направлении, что и в исследовании. оригинальное исследование ". Исследователи также обнаружили, что размер выборки и p-значения — стандартная мера статистической достоверности — исходных исследований были хорошими предикторами успеха репликации, что означает, что они могут служить хорошими индикаторами надежности результатов в будущих экспериментах. .«За последние несколько лет воспроизводимость стала серьезной проблемой во многих науках, часто с низкой скоростью репликации», — говорит соавтор статьи Юрген Хубер из Университета Инсбрука. «Уровень, который мы сообщаем для экспериментальной экономики, является самым высоким из известных для любой области».Авторы предполагают, что в лабораторной экспериментальной экономике существуют некоторые методологические методы исследования, которые способствуют успешному воспроизведению. «Кажется, что культура, установленная в экспериментальной экономике — стимулирование субъектов, публикация экспериментальной процедуры и инструкций, отсутствие обмана — обеспечивает надежные результаты.
Это очень обнадеживает, учитывая, что это очень молодая дисциплина», — говорит Майкл Кирхлер, другой соавтор и соавтор из Университета Инсбрука.«Мне, как редактору журнала, всегда любопытно, будут ли результаты экспериментов воспроизводиться в разных популяциях и культурах, и эти результаты из разных стран действительно обнадеживают», — говорит соавтор Тек-Хуа Хо из Национального университета Сингапура.Соавтор Магнус Йоханнессон из Стокгольмской школы экономики добавляет: «Чрезвычайно важно выяснить, в какой степени мы можем доверять опубликованным научным открытиям, и внедрить институты, которые способствуют научной воспроизводимости».
«Последние полвека Калифорнийский технологический институт был лидером в разработке экспериментальных методов социальных наук. Неудивительно, что ученые Калифорнийского технологического института являются частью группы, которая использует исследования репликации, чтобы продемонстрировать действенность этих методов», — говорит Жан-Лоран.
Розенталь, профессор экономики бизнеса Ри А. и Лелы Г. Акслайн и заведующий кафедрой гуманитарных и социальных наук Калифорнийского технологического института.Работа была опубликована в статье под названием «Оценка воспроизводимости лабораторных экспериментов в экономике».
Другие соавторы: Тайсуке Имаи и Гидеон Нэйв из Калифорнийского технологического института; Йохан Альменберг из Sveriges Riksbank в Стокгольме; Анна Дребер, Эскил Форселл, Адам Альтмейд, Эмма Хейкенстен и Сири Исакссон из Стокгольмской школы экономики; Тайзан Чан и Ханг Ву из Национального университета Сингапура; Феликс Хольцмайстер и Майкл Разен из Университета Инсбрука; и Томас Пфайффер из Новозеландского института перспективных исследований.Исследование финансировалось Австрийским научным фондом, Австрийским национальным банком, Фондом открытий в области поведения и нейроэкономики, Фондом Яна Валландера и Тома Хеделиуса, Фондом Кнута и Алисы Валленберг, Шведским фондом гуманитарных и социальных наук и Фондом Слоуна. .