При первом использовании этого метода ученые IU создали простую вычислительную программу проверки фактов, которая присваивает «оценки истинности» утверждениям, касающимся истории, географии и развлечений, а также случайным утверждениям, взятым из текста Википедии, широко известной онлайн-энциклопедии. .Во многих экспериментах автоматизированная система постоянно соответствовала оценке людей, проверяющих факты, с точки зрения их уверенности в точности этих утверждений.Результаты исследования «Вычислительная проверка фактов из сетей знаний» представлены в PLOS ONE.
«Эти результаты обнадеживают и воодушевляют», — сказал Джованни Лука Чампалья, научный сотрудник Центра сложных сетевых и системных исследований при Блумингтонской школе информатики и вычислений, возглавлявший исследование. «Мы живем в век информационной перегрузки, включая обильную дезинформацию, необоснованные слухи и теории заговора, объем которых угрожает ошеломить журналистов и общественность.«Наши эксперименты указывают на методы, позволяющие преобразовать жизненно важную и сложную человеческую задачу проверки фактов в задачу сетевого анализа, которую легко решить с помощью вычислений».Команда выбрала Википедию в качестве источника информации для своего эксперимента из-за ее широты и открытости. Хотя Википедия не является точной на 100%, по оценкам предыдущих исследований, онлайн-энциклопедия почти так же надежна, как и традиционные энциклопедии, но также охватывает гораздо больше предметов.
Используя фактическую информацию из информационных ящиков на сайте, ученые IU построили «граф знаний» с 3 миллионами концепций и 23 миллионами ссылок между ними.
Связь между двумя понятиями на графике можно прочитать как простое фактическое утверждение, например, «Сократ — личность» или «Париж — столица Франции».В том, что ученые IU описывают как «автоматическую игру в пустяки», команда применила свой алгоритм, чтобы ответить на простые вопросы, связанные с географией, историей и развлечениями, включая утверждения, в которых государства или страны соответствовали их столицам, президентам и их супругам и Оскарам. режиссеры-победители с фильмом, за который они получили награду за лучший фильм, при этом большинство тестов давали очень точные оценки правды.
Наконец, ученые использовали алгоритм для проверки отрывков из основного текста Википедии, которые ранее были помечены специалистами по проверке фактов как истинные или ложные, и обнаружили положительную корреляцию между оценками истинности, полученными алгоритмом, и предоставленными ответами. проверяющими фактами.Примечательно, что команда IU обнаружила, что их вычислительный метод может даже оценить правдивость утверждений об информации, не содержащейся непосредственно в информационных ящиках. Например, тот факт, что Стив Тешич — сербско-американский сценарист классического фильма Хузьера «Уход» — окончил АйЮ, несмотря на то, что информация о нем не упоминалась в информационном окне.
«Измерение правдивости утверждений, по-видимому, сильно зависит от косвенных связей или« путей »между концепциями», — сказал Чампалья. "Если мы предотвратили обход нескольких узлов на графике нашей проверке фактов, она работала плохо, так как не могла обнаружить релевантные косвенные связи. Но поскольку это бесплатное исследование, выходящее за рамки информации, представленной в одном информационном окне, наш метод использует всю мощь граф знаний ".Хотя эксперименты проводились с использованием Википедии, метод команды IU не предполагает какого-либо конкретного источника знаний.
Ученые стремятся провести дополнительные эксперименты с использованием графов знаний, построенных из других источников человеческого знания, таких как Freebase, база открытых знаний, созданная Google, и отмечают, что несколько источников информации могут использоваться вместе для учета различных систем убеждений.«Дезинформация ставит под угрозу общественные дебаты по широкому кругу глобальных социальных проблем», — сказал Филиппо Менцер, директор Центра сложных сетевых и системных исследований и профессор Школы информатики и вычислений IU, который является соавтором книги учиться. «Поскольку Интернет все больше используется как источник информации, нам нужны инструменты для борьбы с дезинформацией, которая доходит до нас каждый день. Вычислительные средства проверки фактов могут стать частью решения этой проблемы».
Команда добавила значительный объем исследований в области обработки естественного языка, и еще предстоит проделать еще одну работу, прежде чем эти методы станут общедоступными в качестве программного инструмента.