Эта система, получившая название GeoS, использует комбинацию компьютерного зрения для интерпретации диаграмм, обработки естественного языка для чтения и понимания текста и геометрического решателя для достижения 49-процентной точности по вопросам геометрии из официальных тестов SAT. Если эти результаты экстраполировать на весь тест SAT по математике, то компьютер получит примерно 500 баллов по SAT (из 800) — средний балл за 2015 год.Документ, описывающий исследование, озаглавленный «Решение задач геометрии: объединение интерпретации текста и диаграмм», был совместным усилием Вашингтонского университета компьютерных наук. Инженерный отдел и AI2.
Эти результаты, представленные на конференции по эмпирическим методам обработки естественного языка (EMNLP) в Лиссабоне, Португалия, были достигнуты с помощью решения GeoS неизмененных вопросов SAT, которые он никогда раньше не видел и которые требовали понимания:Неявные отношения
Неоднозначные ссылкиСвязь между диаграммами и текстом на естественном языкеДемонстрация решения проблем системы доступна здесь: geometry.allenai.org«В отличие от теста Тьюринга, стандартизованные тесты, такие как SAT, сегодня дают нам возможность измерить способность машины рассуждать и сравнить ее способности с человеческими», — сказал Орен Эциони, генеральный директор AI2. «Многое из того, что мы понимаем из текста и графики, явно не заявлено и требует гораздо больше знаний, чем мы ценим. Создание системы, позволяющей успешно пройти эти тесты, является сложной задачей, и мы гордимся достижением этих беспрецедентных результатов».
Саид Али Фархади, старший менеджер по исследованиям Vision в AI2 и доцент кафедры информатики и инженерии в UW: «Мы очень довольны производительностью GeoS при решении реальных задач. Нашей самой большой проблемой было преобразование вопроса в компьютерно-понятный язык. Один необходимо выйти за рамки стандартных подходов к сопоставлению с образцом для таких задач, как решение геометрических вопросов, требующих глубокого понимания текста, диаграмм и рассуждений ".Как работает GeoS
GeoS — первая сквозная система, которая решает проблемы геометрии плоскости SAT. Он делает это, сначала интерпретируя вопрос о геометрии, используя диаграмму и текст совместно, чтобы генерировать наилучшие возможные логические выражения проблемы, которые он отправляет геометрическому решателю для решения.
Затем он сравнивает этот ответ с несколькими вариантами ответов на этот вопрос.Этот процесс усложняется тем, что вопросы SAT содержат множество неустановленных предположений.Например, для этого образца вопроса SAT:
На диаграмме ниже окружность O имеет радиус 5, а CE = 2. Диаметр AC перпендикулярен хорде BD в точке E. Какова длина BD?Есть несколько неустановленных предположений, таких как тот факт, что линии BD и AC пересекаются в точке E, что «круг O имеет радиус 5» — это то же самое, что «радиус круга O равен 5», и что рисунок может быть или не соответствовать шкала.
Точность GeoS была намного выше в вопросах, на которые он был достаточно уверен, что является важным аспектом обучения. Сегодня GeoS может решать вопросы геометрии плоскости; AI2 собирается решить полный набор вопросов SAT по математике в ближайшие три года.
В рамках обязательства AI2 делиться своими исследованиями для общего блага, все наборы данных и программное обеспечение доступны для использования другими исследователями.AI2 также создает системы, которые могут выполнять научные тесты, для которых требуется база знаний, включающая элементы неустановленных, здравых знаний, которые люди генерируют в течение своей жизни.