Во время обучения нейронная сеть постоянно корректирует тысячи внутренних параметров, пока не сможет надежно выполнить какую-либо задачу, такую как идентификация объектов в цифровых изображениях или перевод текста с одного языка на другой. Но сами по себе окончательные значения этих параметров очень мало говорят о том, как нейронная сеть делает то, что она делает.Понимание того, что делают нейронные сети, может помочь исследователям повысить их производительность и передать свои идеи другим приложениям, и компьютерные ученые недавно разработали несколько умных методов для предсказания вычислений конкретных нейронных сетей.
Но на конференции 2017 года по эмпирическим методам обработки естественного языка, которая начинается на этой неделе, исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института представляют новый универсальный метод понимания нейронных сетей, которые обучены выполнять обработку естественного языка. задачи, в которых компьютеры пытаются интерпретировать тексты произвольной формы, написанные на обычном или «естественном» языке (в отличие от структурированного языка, такого как язык запросов к базам данных).Этот метод применим к любой системе, которая принимает текст на входе и производит строки символов на выходе, например к автоматическому переводчику.
А поскольку его анализ является результатом изменения входных данных и изучения влияния на выходы, он может работать с онлайн-сервисами обработки естественного языка без доступа к базовому программному обеспечению.Фактически, этот метод работает с любой системой обработки текста в виде черного ящика, независимо от ее внутреннего механизма.
В своих экспериментах исследователи показывают, что этот метод может выявить идиосинкразии в работе переводчиков-людей.Тема и вариацииЭтот метод аналогичен тому, который использовался для анализа нейронных сетей, обученных выполнять задачи компьютерного зрения, такие как распознавание объектов.
Программное обеспечение, которое систематически искажает — или изменяет — различные части изображения и повторно отправляет изображение в средство распознавания объектов, может определить, какие особенности изображения приводят к какой классификации. Но адаптировать этот подход к обработке естественного языка непросто.
«Что вообще значит семантическое возмущение предложения?» — спрашивает Томми Яаккола, профессор электротехники и компьютерных наук Томаса Сибеля в Массачусетском технологическом институте и один из двух авторов новой статьи. «Я не могу просто выполнить простую рандомизацию. А то, что вы предсказываете, теперь представляет собой более сложный объект, например предложение, так что же значит давать объяснение?»По иронии судьбы, чтобы сгенерировать тестовые предложения для передачи в нейронные сети черного ящика, Яаккола и Дэвид Альварес-Мелис, аспирант Массачусетского технологического института в области электротехники и информатики и первый автор новой статьи, использовали нейронную сеть черного ящика.Они начинают с обучения сети как сжимать, так и распаковывать естественные предложения — создавать промежуточное компактное цифровое представление предложения, а затем пытаться повторно развернуть его в исходную форму.
Во время обучения кодер и декодер оцениваются одновременно в зависимости от того, насколько точно выходные данные декодера соответствуют входным данным кодировщика.
Нейронные сети по своей сути вероятностны: например, система распознавания объектов, загружающая изображение маленькой собаки, может прийти к выводу, что изображение с вероятностью 70 процентов представляет собаку и 25 процентов вероятностью представляет кошку. Точно так же сеть сжатия предложений Яакколы и Альвареса-Мелиса предоставляет альтернативы для каждого слова в декодированном предложении, наряду с вероятностями того, что каждая альтернатива верна.Поскольку сеть естественным образом использует совпадение слов для повышения точности декодирования, ее выходные вероятности определяют кластер семантически связанных предложений.
Например, если закодированное предложение — «Она ахнула от удивления», система может назначить варианты «Она вскрикнула от удивления» или «Она задохнулась от ужаса» как довольно высокие вероятности, но она назначит гораздо более низкие вероятности для «Она плавала. от удивления »или« Она ахнула от кофе ».Таким образом, для любого предложения система может создать список тесно связанных предложений, который Яаккола и Альварес-Мелис скармливают процессору естественного языка черного ящика. В результате получается длинный список пар ввода-вывода, который алгоритмы исследователей могут анализировать, чтобы определить, какие изменения на каких входах вызывают какие изменения на каких выходах.Тестовые кейсы
Исследователи применили свою технику к трем различным типам систем обработки естественного языка. Одна из них — это система, которая определяет произношение слов; другой был набор переводчиков, два автоматизированных и один человек; и третья — это простая компьютерная диалоговая система, которая пытается дать правдоподобные ответы на произвольные замечания или вопросы.
Как и следовало ожидать, анализ систем перевода продемонстрировал сильную зависимость между отдельными словами во входной и выходной последовательностях. Однако одним из наиболее интригующих результатов этого анализа стало выявление гендерных предубеждений в текстах, на которых обучались системы машинного перевода.
Например, английское слово «танцор» без родов имеет два перевода на французский язык: «danseur» и «danseuse». Система перевела предложение «Танцовщица очаровательна» с использованием женского рода: «la danseuse est charmante».
Но анализ исследователей показал, что на выбор слова «танцор» в такой же степени повлияло слово «очаровательный», как и слово «танцор». Другое прилагательное могло привести к другому переводу слова «танцор».Диалоговая система, которая была обучена на парах строк из голливудских фильмов, была намеренно занижена. Хотя обучающая выборка была большой, сама сеть была слишком мала, чтобы ею можно было воспользоваться.
«Другой эксперимент, который мы проводим, — это дефектные системы», — объясняет Альварес-Мелис. «Если у вас есть модель черного ящика, которая не работает должным образом, можете ли вы сначала использовать такой подход для выявления проблем? они ошибаются и почему ".В этом случае анализ исследователей показал, что диалоговая система часто вводила всего несколько слов во входной фразе, которую она использовала для выбора стандартного ответа — отвечая «Я не знаю» на любое предложение, которое начинался со слова запроса, например, «кто» или «что».