Парадокс прозрачности: чем опасен искусственный интеллект | Большие Идеи

? Технологии
Статья, опубликованная в журнале «Гарвард Бизнес Ревью Россия»

Парадокс прозрачности: чем опасен
искусственный интеллект

Чем грозит понимание работы ИИ

Автор: Эндрю Берт

Парадокс прозрачности: чем опасен искусственный интеллект
Jorg Greuel/Getty Images

читайте также

Два руководителя в одном кресле: как работает эта система

Александр Лазуткин

10 деталей, на которые стоит обратить внимание при составлении резюме на английском языке

Александр Глушков

Как осилить книгу за 20 минут

Павел Безручко

Перерыв на счастье

Эшли Уилланс

В последние годы исследователи и практики выступают за повышение прозрачности внутренних механизмов моделей искусственного интеллекта, и на то есть причины. Прозрачность позволит решить проблемы справедливости, дискриминации и доверия, о которых в последнее время все чаще говорят. Новый проект виртуальных кредитных карт Apple Card обвинили в применении дискриминационных моделей кредитования по гендерному признаку. Компания Amazon отказалась от использования инструмента на основе ИИ при приеме на работу, обнаружив, что он дискриминирует женщин.

В то же время становится ясно, что раскрытие информации об ИИ тоже создает свои риски: предоставление дополнительной информации может сделать ИИ более уязвимым перед атаками хакеров, а раскрытие сведений о применении ИИ может навлечь на компании судебные иски и санкции со стороны регулирующих органов.

Возникает так называемый «парадокс прозрачности» ИИ: дополнительная информация об ИИ может дать реальные преимущества, но может и создать новые угрозы. Чтобы справиться с этим, организациям понадобится хорошо обдумать методы управления рисками ИИ, публикуемой ими информации об угрозах, а также способах ее распространения и защиты.

Описанные тенденции проанализированы в недавних исследованиях. Начнем с исследования, проведенного специалистами Гарвардского университета и Калифорнийского университета в Ирвайне, опубликованного в ноябре 2019 года. Работа посвящена проблеме возможных взломов двух популярных методов, используемых для объяснения алгоритмов модели «черный ящик» — методов LIME и SHAP.

Для иллюстрации эффективности LIME в работе 2016 года объяснялось, как распознает объекты классификатор изображений с изначально не известным принципом работы: например, акустическая гитара распознается по порожку и частям грифа, а лабрадор-ретривер — по специфическим чертам на морде собаки с правой стороны.

LIME (и в целом движение за объяснимый ИИ) считается революционной технологией, способной сделать малопонятные алгоритмы более прозрачными. Преимущества объяснимости ИИ получили широкое признание и активно поддерживаются как учеными, так и специалистами в области технологии, в том числе мною.

Но потенциальная возможность новых атак на LIME и SHAP заставляет обратить внимание на недостаток этих методов, который часто упускают из виду. Как иллюстрирует исследование, объяснениями можно намеренно манипулировать, что ведет к утрате доверия к ним и самой модели.

Потенциальные риски прозрачности ИИ описаны не только в упомянутом исследовании. В начале этого года Реза Шокри и его коллеги продемонстрировали, как раскрытие информации об алгоритмах машинного обучения может сделать их более уязвимыми перед атаками хакеров. Тем временем исследователи из Калифорнийского университета в Беркли показали, что можно украсть целые алгоритмы, воспользовавшись объяснениями их работы.

В то время как исследователи в области безопасности и защиты данных тратят все больше усилий на ИИ, эти и многие другие исследования приходят к одному и тому же выводу: чем больше информации создатели моделей раскрывают об алгоритме, тем больший вред могут нанести злоумышленники. Это означает, что информирование о внутренних механизмах может снижать их безопасность или налагать на компанию повышенную ответственность. Иными словами, все данные могут быть причиной риска.

Есть ли в этих выводах что-то хорошее? Организации давно пытаются справиться с парадоксом прозрачности в области конфиденциальности, безопасности и т. д. Им просто необходимо обновить методы работы с ИИ.

Для начала компаниям, пытающимся применять искусственный интеллект, необходимо признать, что прозрачность влечет издержки. Конечно, это не означает, что к прозрачности не нужно стремиться, просто она имеет свои недостатки, которые необходимо полностью понимать. Эти издержки следует включить в более широкую модель рисков, определяющую принципы работы с объяснимыми моделями и степень доступности информации для других.

Во-вторых, организации также должны признавать, что вопрос безопасности вызывает все большую обеспокоенность в мире ИИ. По мере распространения ИИ будет выявляться все больше уязвимостей и ошибок, о чем недавно мы с коллегами рассказали на форуме «Будущее безопасности».

И, наконец, при разработке и применении ИИ важно с самого начала привлечь к работе юристов. Так можно создать открытую и конфиденциальную среду, позволяющую компаниям тщательно тестировать свои модели на все возможные уязвимости, без возникновения для них дополнительной ответственности. Именно поэтому у юристов предусмотрен особый статус правовой тайны применительно к собираемой ими информации, что служит для клиентов стимулом полностью оценивать свои риски, а не скрывать потенциальные правонарушения. Например, юристы теперь настолько вовлечены в решение вопросов кибербезопасности, что юридические отделы занимаются оценкой угроз и мер реагирования в случае ее нарушения. Тот же подход следует применять и к ИИ.

В мире анализа данных часто считают, что чем больше данных, тем лучше. Но с точки зрения управления рисками, данные сами по себе являются источником ответственности. Этот же принцип начинает распространяться и на искусственный интеллект.

Об авторе. Эндрю Берт (Andrew Burt) — директор по юридическим вопросам компании Immuta.