Эти негативные цитаты могут указывать на ограничения, несоответствия или недостатки в предыдущей работе. Исследование показало, что эти негативные цитаты с большей вероятностью критикуют хорошо читаемые статьи, и что критика сосредоточена на определенных разделах статей. Негативные цитаты, как правило, исходили от ученых, которые были близки к авторам оригинальных статей в академической дисциплине и социальной дистанции, но по крайней мере в 150 милях от них географически.
Исследование, проведенное авторами из Технологического института Джорджии, Университета Торонто и Массачусетского технологического института, может быть первым, в котором систематически проводится количественная оценка и анализ этих негативных цитат. Авторы надеются расширить свое исследование на другие дисциплины и полагают, что их работа в конечном итоге может привести к пересмотру того, как цитаты используются в академических кругах.«Учитывая, что мы так сильно полагаемся на эти показатели цитирования как на показатели качества, важно отметить, что цель этих цитирований неоднородна», — сказал Александр Эттл, доцент бизнес-колледжа Шеллера Технологического института Джорджии и один из трех соавторов исследования. «Критика на самом деле является краеугольным камнем научного предприятия, но трудно получить точные оценки того, в какой степени критика научных статей действительно имеет место.
Негативные цитаты действительно отличаются от объективных».Исследователи, в число которых также входят Никола Ласетера из Университета Торонто и Кристиан Каталини из Массачусетского технологического института, начали с 15731 полнотекстовой статьи, опубликованной в Journal of Immunology, ведущем академическом журнале в этой области. Из этих статей они извлекли 762 355 ссылок на 146 891 уникальную опубликованную статью.
Начиная с ручного процесса, они создали набор цитат, который использовался для обучения программы обработки естественного языка, которая классифицировала остальные цитаты как объективные или отрицательные. В ходе процесса было выявлено 18 304 отрицательных цитирования, что составляет около 2,4 процента от общего числа изученных цитирований.
«Похоже, что большинство этих негативных цитат не согласны с разделами статей, посвященными« результатам »и« обсуждению », поэтому на самом деле они не пытаются опровергнуть теорию», — сказал Эттл. «Они могут пытаться ограничить результаты, отметить несоответствия с другими исследованиями, указать на статистические ошибки или исправить другие проблемы».В своем исследовании авторы указывают на относительную редкость этих негативных цитат и предполагают, что они могут либо продемонстрировать «ограниченную, не влияющую на роль» критики в науке, либо проявить нерешительность в отношении критики.
«Такие негативные цитаты обходятся недешево», — отметил Эттл. «Эти негативные цитаты могут нанести вред репутации, и если ваша критика окажется ложной, это может сильно повлиять на вашу репутацию в этой области. Без этой цены, возможно, мы могли бы увидеть больше открытой критики в журналах».
Исследователи обнаружили, что, хотя отрицательные цитаты, как правило, исходили от ученых, близких к узкой академической теме, критика, скорее всего, была связана с географическим расстоянием.«Мы видим, что вероятность сделать отрицательную цитату намного, намного ниже, если вы находитесь рядом с ученым, чья работа подвергается критике», — сказал Эттль. «Это потенциально говорит о социальной составляющей, о социальных издержках критики — вы не хотите критиковать кого-то, с кем можете столкнуться в университетском городке. Другая возможная интерпретация состоит в том, что эти проблемы могут быть затронуты лицом к лицу среди ученых, которые расположены недалеко друг от друга географически ".В ходе исследования наиболее часто цитируемые статьи имели больше шансов получить отрицательные ссылки, чем менее читаемые, что вполне естественно, сказал Эттл. «Обычно это более влиятельные статьи, поэтому это может быть больше связано с тем, что их читает больше людей, и с большим стимулом для ученых оспаривать важные статьи», — пояснил он. «Более того, менее важные статьи могут получить меньше внимания, поскольку указание на ограничения и недостатки тривиальной работы не приведет к радикальному изменению научных границ».
Копирование предыдущих работ помогает обеспечить точность исследований, а критика опубликованных исследований может привести к исправлению, которое сделает науку более надежной. Но поощряет ли нынешняя система научных публикаций достаточно дискуссий?
«Пессимистическое мнение состоит в том, что только одна из 50 цитат носит негативный характер, поэтому, возможно, не так много споров, как хотелось бы для здоровой дискуссии», — сказал Эттл. «Но, с другой стороны, к тому времени, когда крупная рукопись выходит в печать, она подвергается огромному количеству критики. Теперь у нас есть некоторые свидетельства того, в какой степени критика в форме отрицательных цитат встречается в научных рукописях. . "Исследователи выбрали иммунологию, потому что у них был доступ к статьям одинакового формата. Они обнаружили такое же количество отрицательных цитирований в небольшом наборе статей по математике, но надеются расширить свою работу, чтобы определить, применимы ли их выводы к другим дисциплинам.
В конечном итоге они надеются, что эта работа может изменить способ использования цитат в науке.«Мы хотели предложить методологию, чтобы помочь будущим ученым подумать о том, как мы можем расширить эту классификационную инфраструктуру и привлечь дополнительные метаданные к цитированию, которое мы делаем», — сказал Эттл. «Наша статья очень информативна, но в ней указывается на то, что на самом деле никто не демонстрировал раньше: эти негативные цитаты ведут себя совсем не так, как другие».
Хотя текущее исследование было сосредоточено на одной дисциплине, иммунологии, «мы действительно хотели бы, чтобы эта работа и методология были распространены на другие дисциплины», — сказал Эттл. «В конечном итоге, однако, нас волнует, какую роль эти негативные цитаты играют в содействии научным дебатам и в продвижении научных достижений».