Проверка
для ИИ

Алгоритмы и искусственный интеллект (ИИ) обладают огромным потенциалом и, вероятно, станут в обозримом будущем настоящими экономическими блокбастерами. Однако нас беспокоит, что из-за этого ажиотажа многие упускают из виду серьезные проблемы внедрения алгоритмов в работу бизнеса и жизнь общества. Как отмечает Кейт Кроуфорд из Microsoft, многие люди стали «дата-фундаменталистами». Они считают, что большие массивы данных — это источник, способный производить на свет надежные истины, и все, что нужно сделать — лишь извлечь эти истины с помощью инструментов машинного обучения.

Но необходим более пристальный взгляд на вещи. Сегодня совершенно ясно, что алгоритмы ИИ, включенные в цифровую и социальную жизнь и оставленные без присмотра, могут способствовать распространению предубеждений, слухов и неверной информации, усиливать резонанс общественного мнения, отвлекать наше внимание и даже ухудшать наше психическое состояние. Для того чтобы алгоритмы и технологии искусственного интеллекта стояли на страже общественных интересов, потребуется не меньше усердной творческой работы и инноваций, чем для разработки самих этих технологий. И мы предполагаем, что начать эту работу следует с аудита.

Компании уже давно обязаны публиковать результаты аудиторской проверки финансовой отчетности в интересах финансовых рынков и стейкхолдеров. Это связано с тем, что внутренние операции компаний, как и алгоритмы, со стороны выглядят «черным ящиком», то есть чем-то неизвестным и непонятным. Эффект «черного ящика» дает менеджменту компании информационное преимущество перед инвесторами и может привести к неэтичному поведению и злоупотреблениям с его стороны. Требования периодически информировать об операциях лишают их этого преимущества. Для повышения надежности этих отчетов нанимают независимых аудиторов, которые обеспечивают достаточную уверенность в том, что отчеты, исходящие из «черного ящика», не содержат существенных искажений.

Не следует ли подвергать подобной проверке и алгоритмы, способные оказывать влияние на общество? Некоторые дальновидные регулирующие органы начинают задумываться о такой возможности. Например, Общий регламент ЕС по защите персональных данных (GDPR) требует, чтобы организации могли объяснить свои алгоритмы принятия решений. Недавно в Нью-Йорке была сформирована специальная комиссия для изучения возможных искажений в системах алгоритмических решений. Разумно предположить, что в ответ на новые требования регулирующих органов возникнет спрос на услуги учета алгоритмов.

Как может выглядеть аудит алгоритмов? Во-первых, он должен быть цельным. Без методов информатики и машинного обучения не обойдется, но, вероятно, их будет недостаточно для полноценного аудита. Что может потребоваться еще? Стратегическое мышление, экспертное мнение, подкрепленное знанием контекста, коммуникации и научный подход.

Таким образом, аудит алгоритмов должен быть междисциплинарным и сочетать профессиональный скептицизм с методами и понятиями из таких областей, как психология, поведенческая экономика, человеко-ориентированное проектирование и этика. Социолог спросит не только «Как оптимально смоделировать и использовать шаблоны, представленные в этих данных?», но и «Достаточно ли репрезентативно отражает реальность эта выборка данных?». Специалист в области этики может пойти дальше и задать вопрос: «Является ли распределение на основе сегодняшней реальности подходящим для использования алгоритмов?» Предположим, к примеру, что сегодня распределение успешных сотрудников верхнего уровня в какой-либо организации смещено в сторону мужчин. Если настроить алгоритм приема на работу с помощью этих данных, существующая проблема может только усугубиться.

Аудитор должен задать и другие вопросы. Достаточно ли алгоритм прозрачен для конечных пользователей? Какова вероятность его использования социально приемлемым образом? Может ли он привести к нежелательным психологическим последствиям или непреднамеренно эксплуатировать естественные человеческие слабости? Не используется ли алгоритм для обмана? Имеются ли доказательства его предвзятости или некомпетентности? Адекватным ли образом он сообщает о том, как приходит к тем или иным рекомендациям, и указывает ли уровень надежности рекомендуемых решений?

Даже при самом тщательном проведении аудита алгоритмов все-таки будут возникать сложные вопросы, на которые сможет ответить только общество — через отобранных представителей и регулирующие органы. Возьмем, например, расследование новостным ресурсом ProPublica того, как работает алгоритм, используемый для принятия решения об освобождении обвиняемого в преступлении из тюрьмы до суда. Журналисты ProPublica обнаружили, что людям с черной кожей, которые повторно не нарушали закон, средний или высокий балл риска присваивался чаще, чем белым. Интуитивно кажется, что разница в числе ложных позитивных заключений говорит о явном наличии в алгоритме расовой предвзятости. Но оказалось, что на самом деле алгоритм удовлетворял другому важному представлению о «справедливости»: высокий балл означал примерно одинаковую вероятность повторного нарушения закона независимо от расовой принадлежности. Последующее научное исследование установило, что удовлетворить обоим критериям справедливости одновременно было невозможно. Этот пример показывает, что журналисты и активисты играют важную роль в информировании экспертов, граждан и политиков, расследуя и оценивая подобные компромиссы. Но аудит алгоритмов следует отделять от подобной (необходимой) деятельности.

Задача аудиторов должна быть более рутинной. Они должны следить за тем, чтобы системы ИИ соответствовали продуманным нормам, установленным на уровне общественного и правительственного контроля. Поэтому аудитом алгоритмов должны заниматься специалисты в области обработки и анализа данных, имеющие подтвержденную квалификацию, владеющие действующими стандартами и продолжающие обучение и подготовку не только в профессиональной области, но и в области этики и законодательства. Необходимо формировать экономически независимые органы, которые бы обсуждали и публиковали стандарты проведения аудита, отчетности и действий компаний, использующих алгоритмы. Такой научно обоснованный и этически обусловленный подход к аудиту алгоритмов станет важной частью более широкой задачи по созданию надежных систем управления ИИ, аудита, риск-менеджмента и контроля.

По мере того как искусственный интеллект переходит от сферы исследований к принятию решений в реальном мире, он становится испытанием не только для специалистов в области информатики, но и для бизнеса и общества. Несколько десятков лет назад создание систем управления и аудита помогло удерживать бизнес в рамках социальных ценностей. Давайте попробуем повторить этот успешный шаг и для ИИ.

Об авторах

Джеймс Гуща (James Guszcza) — ведущий специалист по обработке и анализу данных в Deloitte Consulting LLP.

Лиад Рахван (Iyad Rahwan) — доцент кафедры медиаискусства и наук в MIT Media Lab.

Уилл Байбл (Will Bible) — директор по цифровым технологиям и партнер в Deloitte & Touche LLP.

Мануэль Себриан (Manuel Cebrian) — научный сотрудник и руководитель в MIT Media Lab.

Вик Катьял (Vic Katyal) — глава подразделения глобальных рисков, связанных с данными, и аналитики Deloitte and Touche LLP.