Выявление и устранение возможных предубеждений в машинном обучении будет критически важным, поскольку мы все чаще обращаемся к компьютерам для обработки естественного языка, который люди используют для общения, например, при выполнении текстового поиска в Интернете, категоризации изображений и автоматических переводах.«Вопросы справедливости и предвзятости в машинном обучении чрезвычайно важны для нашего общества», — сказал исследователь Арвинд Нараянан, доцент кафедры информатики и аффилированный преподаватель Центра политики в области информационных технологий (CITP) Принстонского университета, а также аффилированный научный сотрудник Центра Интернета и общества Стэнфордской школы права. «У нас есть ситуация, когда эти системы искусственного интеллекта могут увековечивать исторические шаблоны предвзятости, которые мы можем найти социально неприемлемыми и от которых мы, возможно, пытаемся отказаться».Статья «Семантика, полученная автоматически из языковых корпусов, содержит человеческие предубеждения», опубликованная 14 апреля в журнале Science. Его ведущий автор — Айлин Калискан, научный сотрудник постдокторантуры и научный сотрудник CITP в Принстоне; Соавтором является Джоанна Брайсон, читатель Университета Бата и членская организация CITP.
В качестве пробного камня для документированных человеческих предубеждений в исследовании использовался тест на неявные ассоциации, который использовался в многочисленных исследованиях социальной психологии с момента его разработки в Вашингтонском университете в конце 1990-х годов. Тест измеряет время отклика (в миллисекундах) людей, которых просят объединить в пары словосочетания, отображаемые на экране компьютера.
Время отклика намного короче, как неоднократно показывал тест на неявные ассоциации, когда испытуемых просят объединить два понятия, которые они находят похожими, и два понятия, которые они считают несходными.Возьмите типы цветов, такие как «роза» и «маргаритка», и насекомых, таких как «муравей» и «моль». Эти слова могут сочетаться с приятными понятиями, такими как «ласка» и «любовь», или неприятными понятиями, такими как «грязь» и «уродливый». Люди быстрее связывают слова-цветы с приятными понятиями, а термины-насекомые — с неприятными.
Команда из Принстона разработала эксперимент с программой, в которой она, по сути, функционировала как версия теста неявной ассоциации с машинным обучением.
Популярная программа с открытым исходным кодом, получившая название GloVe и разработанная исследователями Стэнфордского университета, может стать основой своего продукта для начинающих компаний, занимающихся машинным обучением. Алгоритм GloVe может представлять статистику совпадения слов, скажем, в окне текста из 10 слов.
Слова, которые часто встречаются рядом, имеют более сильную ассоциацию, чем слова, которые встречаются редко.Исследователи из Стэнфорда выпустили GloVe из огромного потока содержимого из Всемирной паутины, содержащего 840 миллиардов слов. Затем в этом большом образце письменной человеческой культуры Нараянан и его коллеги исследовали наборы так называемых целевых слов, таких как «программист, инженер, ученый» и «медсестра, учитель, библиотекарь», вместе с двумя наборами слов-атрибутов, таких как «человек, мужчина »и« женщина, женщина », в поисках свидетельств предубеждений, которыми люди могут невольно обладать.
В результатах проявились невинные, безобидные предубеждения, например, предпочтение цветов вместо ошибок, но также и примеры по признаку пола и расы. Как оказалось, в Принстонском эксперименте по машинному обучению удалось воспроизвести широкое обоснование предвзятости, обнаруженное в отдельных исследованиях неявных ассоциаций, проведенных на протяжении многих лет, которые проводились на живых людях.
Например, программа машинного обучения ассоциировала женские имена больше со словами семейных атрибутов, такими как «родители» и «свадьба», чем с мужскими именами. В свою очередь, мужские имена имели более сильные ассоциации с такими карьерными атрибутами, как «профессиональный» и «зарплата».
Конечно, такие результаты часто являются просто объективным отражением истинного неравного распределения типов занятий по признаку пола — например, 77 процентов программистов — мужчины, по данным Бюро статистики труда США.Однако это правильно выявленное предубеждение в отношении занятий может иметь пагубные, сексистские последствия. Пример: когда иностранные языки наивно обрабатываются программами машинного обучения, что приводит к гендерно-стереотипным предложениям. В турецком языке используется нейтральное в гендерном отношении местоимение от третьего лица, «о».
Однако при подключении к известной службе онлайн-переводов Google Translate турецкие предложения «o bir doktor» и «o bir hem? Ire» с этим гендерно-нейтральным местоимением переводятся на английский как «he is a doctor» и « она медсестра."«В этом документе повторяется важный момент, что методы машинного обучения не являются« объективными »или« беспристрастными »только потому, что они полагаются на математику и алгоритмы», — сказала Ханна Уоллах, старший научный сотрудник Microsoft Research в Нью-Йорке, которая не принимала участия в исследовании. учиться. «Скорее, пока они обучаются с использованием данных, полученных от общества, и пока общество проявляет предубеждения, эти методы, вероятно, будут воспроизводить эти предубеждения».
Другой сомнительный пример восходит к известной статье 2004 года Марианны Бертран из Школы бизнеса Бута Чикагского университета и Сендхила Муллайнатана из Гарвардского университета. Экономисты разослали около 5000 идентичных резюме к 1300 объявлениям о вакансиях, изменив только имена соискателей, чтобы они были либо традиционно европейскими американцами, либо афроамериканцами. Первой группе было предложено интервью на 50 процентов больше, чем второй.
В очевидном подтверждении этой предвзятости новое исследование в Принстоне продемонстрировало, что набор афроамериканских имен вызывает больше неприятных ассоциаций, чем европейско-американский набор.Компьютерные программисты могут надеяться предотвратить увековечение культурных стереотипов путем разработки четких математических инструкций для программ машинного обучения, лежащих в основе систем искусственного интеллекта.
Подобно тому, как родители и наставники пытаются привить детям и ученикам концепции справедливости и равенства, программисты могут попытаться заставить машины отражать лучших ангелов человеческой натуры.«Предубеждения, которые мы изучали в статье, легко упустить из виду, когда дизайнеры создают системы», — сказал Нараянан. «Предубеждения и стереотипы в нашем обществе, отраженные в нашем языке, сложны и имеют давнюю историю. Вместо того, чтобы пытаться очистить или устранить их, мы должны рассматривать предубеждения как часть языка и устанавливать явный способ машинного обучения для определения того, что мы считаем приемлемым и неприемлемо."