Интеллект под контролем: что не так с использованием ИИ
для бизнеса

Большую часть прошлого десятилетия в фокусе общественного внимания был вопрос об использовании персональных данных. Людям не нравилось, что компании могут отслеживать их действия в сети, получать номера кредитных карт, адреса и другую ценную информацию. Пользователей пугала появляющаяся в интернете реклама, явно подобранная на основе их поисковых запросов; они опасались, что их личные данные попадут в руки мошенников.

В конце концов США и Европа приняли ряд законов, гарантирующих пользователям интернета определенную степень контроля над личной информацией и изображениями, — например, Общий регламент ЕС о защите персональных данных (GDPR) 2018 года. Конечно, эти меры не положили конец дискуссиям о том, как компании поступают с личной информацией. Есть мнение, что из-за ограничений на сбор данных в Европе и США экономика будет расти медленнее, чем в странах с менее строгими законами, в частности, в Китае, где цифровые гиганты преуспели благодаря легкому и не сдерживаемому регламентами доступу к персональной информации любого рода. (Однако недавно китайское правительство начало ограничивать свободу цифровых компаний, о чем свидетельствуют крупные штрафы, наложенные на Alibaba.)Факты указывают также на то, что ужесточение регулирования поставило небольшие европейские фирмы в невыгодное положение по сравнению с более обеспеченными американскими конкурентами вроде Google и Amazon.

Но дискуссия переходит на следующий уровень. По мере того, как компании все чаще используют технологии ИИ при создании продуктов, разработке процессов и принятии решений, фокус внимания смещается на то, как данные используются программным обеспечением — в особенности сложными, самообучающимися алгоритмами, которые могут диагностировать рак, управлять автомобилем или одобрять кредиты. В ЕС, который снова оказался впереди всех (в 2020 году он выпустил документ «Об искусственном интеллекте — Европейский подход к совершенству и доверию» и в 2021-м — законопроект о правовой базе ИИ), считают, что регулирование принципиально важно для разработки ИИ-инструментов, заслуживающих доверие потребителей.

Что это значит для компаний? Мы изучаем, как регулировать использование ИИ-алгоритмов и внедрять ИИ-системы, функционирующие с учетом новых норм, а также помогаем организациям из разных отраслей запускать и масштабировать проекты, базирующиеся на ИИ. Опираясь на опыт этой работы и результаты исследований других авторов, мы описываем три основные проблемы, с которыми сталкиваются руководители, когда интегрируют ИИ в бизнес-процессы и методы принятия решений, не забывая при этом о безопасности клиентов. Мы также представляем план, частично основанный на правилах управления стратегическими рисками, который поможет менеджерам решать эти проблемы.

ДИСКРИМИНАЦИЯ: РИСКИ ПРИ ИСПОЛЬЗОВАНИИ ИИ

СМИ неоднократно писали о том, что некоторые ИИ-системы выдают «дискриминирующие» результаты. Один из известных примеров — алгоритм Apple для определения кредитного лимита карт, который обвинили в дискриминации женщин, что стало основанием для расследования со стороны Департамента финансовых услуг штата Нью-Йорк.

Таких ситуаций масса: например, вездесущая онлайн-реклама может фильтровать аудиторию по расе, религии или гендеру, а автоматизированная проверка резюме в Amazon — отсеивать кандидатов женского пола. Недавнее исследование, опубликованное в журнале Science, показало, что инструменты прогнозирования рисков, использующиеся в здравоохранении и ежегодно затрагивающие миллионы людей в США, выдавали дискриминирующие по расовому признаку результаты. В ходе другого исследования, опубликованного в Journal of General Internal Medicine, выяснилось, что программное обеспечение, используемое ведущими больницами для выявления приоритетных реципиентов при трансплантации почек, ущемляло права чернокожих пациентов.

В большинстве случаев корень проблемы — в данных, используемых для обучения ИИ. Если в них «вшита» предвзятость, ИИ продолжит дискриминацию или даже усилит ее. Например, когда Microsoft начала использовать твиты, чтобы научить чат-бот взаимодействовать с пользователями Twitter, программу пришлось отключить уже на следующий день из-за разжигающих ненависть расистских сообщений. Но просто убрать демографическую информацию вроде расовой или гендерой из данных для обучения было бы неправильно: в некоторых случаях эти сведения нужны как раз для устранения предвзятости.

Теоретически можно было бы заложить в программное обеспечение некоторую концепцию справедливости, требующую, чтобы все результаты соответствовали определенным условиям. Amazon экспериментирует с метрикой справедливости, называемой условным демографическим неравенством; другие компании тоже разрабатывают нечто аналогичное. Но проблема в том, что универсального определения равенства не существует, и единые условия, гарантирующие справедливый результат, выявить невозможно. Тем более у заинтересованных сторон в каждой ситуации могут быть разные представления о том, что входит в понятие справедливости. В итоге любые попытки внедрить подобные системы в ПО будут чреваты осложнениями.

Бороться с дискриминирующими результатами чаще всего помогает законодательство. Это работает до тех пор, пока за спорные решения отвечают люди. Но чем больше ИИ-моделей используется, тем меньше остается места для индивидуальной ответственности. Что еще хуже, ИИ увеличивает потенциальный масштаб дискриминации: любая ошибка может повлиять на миллионы людей, повлечь за собой коллективные иски в беспрецедентных количествах и репутационные риски для компаний.

Что сделать, чтобы избежать таких проблем?

Первым делом, прежде чем принимать решения, следует разобраться, что стоит на кону. Для этого нужно изучить четыре фактора.

Цена ошибки. Некоторые алгоритмы принимают решения или влияют на них, поэтому от них могут напрямую зависеть жизни людей. Программы ставят диагнозы, отбирают соискателей, одобряют ипотеку или рассчитывают тюремные сроки. В таких обстоятельствах, возможно, стоит отказаться от ИИ или как минимум оставить последнее слово за человеком.

Но и в этом случае нужно действовать аккуратно. Представьте себе, что судья досрочно освободит заключенного, несмотря на рекомендации ИИ, а тот затем совершит тяжкое преступление. Судье придется объяснять, почему он проигнорировал выводы искусственного интеллекта. Использование алгоритмов может таким образом повысить степень ответственности людей, принимающих решения, что, в свою очередь, заставит их полагаться на ИИ чаще, чем нужно.

Это не значит, что алгоритмы не стоит использовать, если ставки высоки. Организациям, ценящим решения человека, все еще нужно следить за тем, чтобы сотрудники были объективны, — а в этом способен помочь ИИ. Amazon в итоге решила применять программы не для подбора персонала, а для выявления недостатков найма. Получается, чтобы понять, надо ли обращаться к ИИ, необходимо провести «конкурс справедливости» между алгоритмами и людьми.

Виды и масштаб решений. Исследования показывают, что степень доверия к ИИ меняется в зависимости от того, в каких ситуациях он используется. При выполнении относительно механических и регламентированных задач вроде оптимизации расписаний или анализа изображений программам можно доверять не меньше, чем людям.

Но когда решения представляются субъективными или на них влияют разного рода переменные (в случае приговоров суда могут быть те или иные смягчающие обстоятельства), больше доверия вызывает мнение человека, отчасти потому, что люди обладают эмпатией. Вот почему компаниям стоит четко понимать специфику и серьезность ситуаций, в которых они используют ИИ, и знать, почему в конкретных случаях алгоритм лучше человека. Даже если ставки высоки и от решения зависит многое, выбор сделать несложно. Например, в медицине машинный анализ результатов обследований очевидно предпочтительнее, поскольку программа обучалась на миллиардах единиц данных, тогда как мозг человека может обработать лишь несколько тысяч.

С другой стороны, ИИ, скорее всего, не подходит для диагностики психического здоровья, на которое влияют сложно идентифицируемые поведенческие факторы, меняющиеся в зависимости от ситуации. Людям трудно поверить, что программы могут все это учесть. И даже когда критически важные переменные четко определены, не всегда понятно, как они воздействуют на разные группы населения. Это подводит нас к следующему пункту.

Усложнение организационной структуры и проблемы с масштабированием. Выводы, которые делает алгоритм, могут быть релевантны только для определенных рынков или регионов. Например, ИИ может правильно определить сегмент потребителей, которым полагается скидка, — и эти данные будут верны для всех американцев, кроме обитателей Манхэттена. Возможная причина в том, что покупательские привычки и поведение жителей этого округа отличаются от средних по стране, и при обучении алгоритма этого не учли. Усредненные статистические данные способны маскировать дискриминацию в отдельных регионах или группах населения. Чтобы не угодить в эту ловушку, иногда приходится настраивать программу под каждую категорию. Это объясняет, почему любые законы, цель которых — уменьшить дискриминацию определенных групп, могут снизить потенциал масштабируемости ИИ (а ведь именно масштабируемость — одна из важнейших причин внедрения искусственного интеллекта).

Изменение алгоритма под каждый рынок усложняет программу, что повышает затраты на разработку. Адаптация продуктов и сервисов под конкретные рынки также значительно увеличивает стоимость производства и контроля. Все эти переменные усложняют организационную структуру компании и повышают ее издержки. Если затраты оказываются слишком велики, компании, бывает, уходят с некоторых рынков. Например, из-за регламента GDPR ряд разработчиков, среди которых Gravity Interactive (создатель игр Ragnarok и Dragon Saga), на какое-то время остановили продажи в ЕС. Хотя большинство находит способ работать при новом законодательстве (Dragon Saga перезапустили в Европе в мае прошлого года), важно учитывать понесенные расходы и упущенные возможности.

Комплаенс и управление. Более строгое регулирование ИИ уже не за горами — по крайней мере, в США и Европе. Чтобы соответствовать жестким нормам, компаниям потребуются новые процессы и инструменты: системный аудит, протоколы для данных и документации (с возможностью отслеживания), мониторинг ИИ, информирование о многообразии. Некоторые уже тестируют каждый новый алгоритм на разных группах, чтобы убедиться: результаты, которые он выдает, отвечают ценностям компании и не идут вразрез с законодательством.

Google, Microsoft, BMW и Deutsche Telekom разрабатывают формальные требования к ИИ для обеспечения безопасности, равноправия, многообразия и приватности. Отдельные организации, например Federal Home Loan Mortgage Corporation (Freddie Mac), назначают директоров по этике, чтобы контролировать исполнение этих требований, и даже создают полноценные этические комитеты.

ПРОЗРАЧНОСТЬ: ОБЪЯСНЕНИЕ ОШИБОК

Как и человек, ИИ может ошибаться. Алгоритмы неизбежно будут выдавать дискриминирующие или даже опасные решения.

Когда человек совершает ошибку, обычно проводят расследование, находят виновного и зачастую наказывают в соответствии с законом. Это помогает организациям и сообществам определять, какие решения неверны, и исправлять их, укрепляя таким образом доверие со стороны заинтересованных лиц. Значит ли это, что ИИ-алгоритмы должны объяснять свои решения?

Законодатели, очевидно, считают, что да. В GDPR уже говорится о «праве… получать объяснение принятого алгоритмом решения», а ЕС в документе «Об искусственном интеллекте» и законопроекте о правовой базе ИИ называет «объяснимость» важнейшим фактором, повышающим доверие к искусственному интеллекту.

Но что значит «получить объяснение автоматического выбора», причинно-следственные связи которого не до конца ясны? Аристотель считал, что в подобном случае возможность показать пути к результату может быть менее важна, чем способность воспроизвести его и эмпирически проверить его точность (компании могут сделать это, сравнив прогнозы ИИ с результатами).

Руководители, задумывающиеся о внедрении искусственного интеллекта, также должны обратить внимание на два фактора.

Объем необходимых объяснений. Объяснения вердиктов, которые выносят ИИ-алгоритмы, можно разделить на два вида, подходящих для разных обстоятельств.

Глобальные объяснения полностью обосновывают все результаты выбранного процесса и формулируются как правила или формулы, описывающие отношения между введенными переменными. Они обычно требуются, когда важна процессуальная справедливость — например, при распределении ресурсов, потому что заинтересованные стороны должны заранее знать принцип принятия решения.

Кажется, что дать глобальное объяснение работы алгоритма легко — нужно лишь раскрыть его формулу. Однако мало кто обладает необходимыми знаниями по математике и информатике, чтобы понять такие формулы, не говоря уже о том, чтобы определить, относится ли она к нужному процессу. В случае машинного обучения, где ИИ создает алгоритмы для описания возможных отношений между переменными в тренировочных данных, ошибки и предвзятость — в подборе данных, не в алгоритме — могут оказаться корнем любой проблемы.

Кроме того, компании порой не полностью понимают принцип действия своих алгоритмов, и тогда для ответа на запрос регуляторов придется привлекать специалистов из разных отделов (не только из ИТ-департамента и отдела анализа данных), а может, даже сторонних экспертов. Важно учитывать, что продукты крупных разработчиков ПО, таких как Oracle, SAP и Salesforce, часто включают в себя несколько компонентов с ИИ, созданных другими фирмами. А их клиенты иногда подбирают под себя и сочетают различные ИИ-решения. Значит, надо будет объяснять, как сочетаются и взаимодействуют между собой составляющие конечного продукта.

Локальные объяснения обосновывают конкретный результат — например, почему одному человеку (или группе людей) отказали в кредите, а другому нет. Данное обоснование обычно дают так называемые объяснимые алгоритмы, которые могут мотивировать причину решения. Их можно использовать, когда нужно предоставить человеку информацию только о его ситуации, не давая доступа к данным о других вердиктах.

Локальные объяснения могут принимать форму высказываний, представляющих собой ответ на вопрос: «Каковы ключевые характеристики клиента, при изменении которых ИИ выдал бы иной результат?» Например, если единственная разница между подавшими заявки на кредит в том, что одному 24 года, а другому 25, то объяснение было бы таким: будь первый старше, он не получил бы отказ. Проблема в том, что в этих данных скрывается дополнительная «дискриминирующая» информация. Скажем, может выясниться, что дело в районе проживания: надежные по прочим критериям заемщики жили в неблагополучных цветных кварталах и поэтому получили отказ.

Возможные компромиссы. Самые мощные алгоритмы обычно непрозрачны. Например, в Китае платежная система MYbank от Ant Group, принадлежащей Alibaba, прибегает к помощи ИИ для рассмотрения заявок на кредиты для малого бизнеса за три минуты без вмешательства человека. Для этого программа собирает данные по всей экосистеме Alibaba, включая информацию о продажах с онлайн-платформ, и с помощью машинного обучения прогнозирует риски и обновляет кредитный рейтинг в режиме реального времени.

Поскольку это ПО использует более 3 тыс. единиц данных, понять, как именно оно приходит к конкретным выводам, практически невозможно (что уж говорить о глобальных объяснениях). Самые интересные приложения на базе ИИ используют данные в сопоставимом масштабе. Индивидуальный порядок расчетов на рынках B2B, страховой андеррайтинг, беспилотные автомобили — лишь некоторые из областей, в которых строгие требования к объяснениям действий ИИ могут помешать росту и инновациям.

Компаниям придется столкнуться с проблемами при запуске таких сервисов, как у Ant Group, на рынках, где для потребителей и регуляторов приоритетны права личности, — прежде всего, в Евросоюзе и США. Чтобы применять подобные алгоритмы, фирмы должны быть в состоянии объяснить, как ИИ выявляет сходства между потребителями, как определенные различия между двумя потенциальными клиентами оправдывают разное к ним отношение и почему похожие друг на друга потребители получают разные объяснения о решениях ИИ.

Требования к обоснованиям в разных регионах также разные, и это осложняет работу международных организаций. Они, конечно, могут везде руководствоваться самым строгим вариантом закона, но это, очевидно, поставит их в невыгодное положение по сравнению с местными игроками на некоторых рынках. Банкам, соблюдающим регламент ЕС, будет непросто создать такие же точные алгоритмы прогноза невозврата займов, как у Ant, — поэтому им, скорее всего, придется более пристально рассматривать заявки на кредит. С другой стороны, давать в каждом регионе объяснения разного рода, конечно, сложно и дорого: компании, по сути, придется разрабатывать разные алгоритмы для разных рынков и, возможно, дополнительно внедрять ИИ, чтобы обеспечить взаимодействие этих алгоритмов.

Но есть и положительные моменты. Требование обосновывать вердикты ИИ может стать источником конкурентного преимущества: организациям, сумевшим разработать легко объясняемые алгоритмы, будет проще завоевать доверие как потребителей, так и регуляторов. Это стратегически важный момент. Если бы Citibank, к примеру, мог мотивировать решения своих алгоритмов по кредитам для малого бизнеса, он бы несомненно стал лидером в США и ЕС, а возможно, даже конкурировал с Ant в Китае. Способность доказать честность и прозрачность вердиктов — потенциальная возможность выделиться и для технологических компаний. IBM выпустила продукт, который поможет им в этом, — Watson OpenScale, ИИ-платформу для бизнеса, которая позволяет анализировать данные.

Подведем итог. Хотя требования обосновывать решения ИИ-моделей — вроде бы отличный способ повысить их объективность и укрепить к ним доверие, цена такого успеха высока и не всем выгодно ее платить. И тогда остается либо по старинке искать золотую середину между возможностью получить некоторое количество несправедливых решений и отдачей от объективных вердиктов, либо вообще отказаться от ИИ.

ОБУЧЕНИЕ И ЭВОЛЮЦИЯ: ЗЫБКАЯ ПОЧВА

Одна из отличительных особенностей ИИ — его обучаемость. Чем больше программа просканирует изображений с указанием, корова на них или зебра, тем более вероятно, что она узнает этих животных без подписи к картинке. Но в постоянной эволюции есть и минусы: со временем повышается точность, но если завтра ввести те же данные, что и вчера, результат может оказаться иным из-за того, что алгоритм изменился, обучившись на информации, полученной в этот временной промежуток.

Чтобы решить, как управлять меняющимися алгоритмами и должны ли они вообще непрерывно обучаться, руководителям стоит рассмотреть три фактора.

Риски и польза. Отношение потребителей к постоянно эволюционирующему ИИ зависит от их личной выгоды. К примеру, при определении цен на страховки самообучающийся алгоритм, скорее всего, выдаст более индивидуализированный результат, чем человек, поэтому наиболее вероятно, что клиенты не будут против. В других ситуациях у пользователей вообще не возникнет вопросов — программа для рекомендаций фильмов или книг может, не доставляя людям неудобств, обучаться на данных об их покупках и просмотрах.

Но когда велика вероятность, что результат окажется несправедливым и поэтому в определенной степени опасным, люди более критично относятся к постоянно эволюционирующему ИИ. Некоторые типы приборов, например медицинских, могут нанести ущерб пользователям, если не контролировать вносимые в них изменения. Вот почему некоторые регуляторы, в частности Управление по санитарному надзору за качеством пищевых продуктов и медикаментов (FDA), разрешают использовать только «закрытые» алгоритмы, которые не обучаются при каждом применении продукта и не меняются самостоятельно. В таких случаях компании могут создать две версии алгоритма: самообучающуюся для использования в научных целях и закрытую — для коммерческого применения в рамках закона. Последнюю можно время от времени обновлять, получив на то одобрение регуляторов, — причем новая версия будет основываться на результатах обучения эволюционирующего аналога.

Законодатели также опасаются, что из-за непрерывного обучения алгоритмы могут перейти на другой уровень — и тогда будет сложно определить, какую именно опасность они представляют и кого дискриминируют. Способность к развитию продуктов и услуг, которые подозревают в дискриминации, будет приковывать к себе все больше внимания.

Сложность и издержки. Внедрение самообучающегося ИИ может увеличить операционные расходы. Компании будут применять разные алгоритмы для разных регионов, рынков или ситуаций — при этом каждый алгоритм будет использовать локальные данные и соответствовать местным требованиям. Тогда организациям придется вводить новые должности и процессы, чтобы следить за функционированием алгоритмов и не допускать лишних рисков. Потребуется также расширить полномочия директоров по управлению рисками, чтобы они могли контролировать работу разрозненных ИИ-моделей и решать, какие юридические, финансовые, репутационные и физические риски готова взять на себя компания, использующая самообучащийся ИИ.

Кроме того, нужно будет найти баланс между децентрализацией и стандартными процедурами, повышающими обучаемость ИИ. Сумеют ли компании построить и поддерживать глобальную магистраль передачи данных для своих цифровых и ИИ-систем? Насколько их собственная структура готова к децентрализованному хранению и обработке данных? Смогут ли они эффективно отражать киберугрозы? Стоит ли разработчикам сближаться с потребителями или это приведет к новым операционным рискам? Удастся ли найти достаточно специалистов по ИИ на руководящие должности в регионах? Все эти вопросы следует рассмотреть особо тщательно.

Человеческий фактор. Новые данные или смена обстановки способны влиять на решения людей и даже на ход их мыслей. Например, рекрутер наверняка примет разные решения насчет одного и того же кандидата, если будет сравнивать его с двумя различными группами конкурентов — и даже если просто устанет. Предотвратить такие ситуации на законодательном уровне невозможно, так что и искусственному интеллекту позволительно менять решения при поступлении новой информации. Однако убедить в этом людей будет непросто.

Что публика наверняка воспримет с благосклонностью, так это ИИ-модели, принимающие решения при поддержке человека. Как было сказано в статье «A Better Way to Onboard AI», опубликованной в американском HBR в 2020 году (один из ее авторов — Теодорос Эвгениу), ИИ-системы могут выступать в роли «коучей», давая сотрудникам — например, трейдерам в компании по управлению активами — обратную связь и информацию. Это двусторонний процесс: сотрудничество человека и ИИ значительно выигрывает за счет того, что люди тоже дают алгоритмам ценный фидбэк. Кстати, Facebook, запустив платформу Dynabench, внедрила оригинальный подход к мониторингу и ускорению обучения ИИ. Она предлагает экспертам придумать, как заставить алгоритмы принимать неверные или дискриминирующие решения, используя технологию так называемого динамического сбора состязательных данных.

Когда люди активно способствуют совершенствованию ИИ, они довольно быстро получают ценные результаты. В недавней лекции на TED Talks Сильвэн Дюрантон из BCG рассказал, как один ритейлер всего за год сэкономил более $100 млн благодаря программе, в которой покупатели делились с ИИ своими знаниями и мнением, а алгоритм, используя эту информацию, предсказывал модные тренды.

Поскольку компании все чаще используют ИИ, особенно машинное обучение, стратегические риски, с которыми сталкивается бизнес, существенно возрастают. Это значит, что организациям нужно активно участвовать в разработке правил применения алгоритмов. Без аналитики сегодня не принимают решений о выдаче кредитов и не оценивают шансы преступников стать рецидивистами — и это вызывает шквал обвинений в скрытой дискриминации. Озабоченность вызывают и алгоритмы машинного обучения, отличающиеся сложностью и непрозрачностью. И в целом не понятно, могут ли основанные на ИИ инструменты, созданные для анализа одной группы населения, принимать верные решения о других группах. Если компании, в том числе не связанные напрямую с разработкой ИИ, как можно раньше не разберутся с этими проблемами, доверие к продуктам, созданным на базе ИИ, пошатнется, а законы, регулирующие их использование, станут более суровыми. В результате бизнес потеряет прибыль, а потребители и общество лишатся ценного помощника, коим для них несомненно может стать ИИ.

Об авторах

Франсуа Канделон (Fran?ois Candelon) — управляющий директор и старший партнер Boston Consulting Group, глобальный директор BCG Henderson Institute.

Родольф Шарм Ди Карло (Rodolphe Charme di Carlo) — партнер парижского офиса Boston Consulting Group.

Мидас де Бондт (Midas de Bondt) — руководитель проектов в брюссельском офисе Boston Consulting Group.

Теодорос Эвгениу (Theodoros Evgeniou) — профессор INSEAD.

* деятельность на территории РФ запрещена