Как ответственному бизнесу использовать
искусственный интеллект

Сегодня нет недостатка в понятиях и принципах, на которых должно строиться справедливое и ответственное использование искусственного интеллекта. Но руководители и организации часто не могут разобраться с непростыми вопросами и определить, как им сейчас ответственно внедрять ИИ-системы и управлять ими.

Вот почему мы в Счетной палате США недавно разработали первую концепцию федерального правительства, которая должна стать подспорьем в выстраивании механизма отчетности и ответственного использования ИИ. Она определяет базовые условия отчетности на всех этапах жизненного цикла ИИ — от проектирования и разработки до внедрения и мониторинга. В ней также сформулирован конкретный перечень вопросов и процедур аудита для оценки систем ИИ по следующим четырем измерениям: 1) управление, 2) данные, 3) качество и эффективность работы и 4) мониторинг.

Наша задача в этой работе состояла в том, чтобы помочь организациям и руководителям перейти от теорий и принципов к практикам, с помощью которых можно управлять ИИ и оценивать его в реальной среде.

Очертите полный жизненный цикл ИИ

Очень часто вопросы контроля ИИ-системы начинают решать после ее создания и внедрения. Но этого недостаточно: оценка ИИ и моделей машинного обучения должна проводиться на каждом этапе жизненного цикла. Это поможет определить системные проблемы, которые можно не заметить при точечных моментных оценках.

Опираясь на наработки Организации экономического сотрудничества и развития (ОЭСР) и других экспертов, мы выделяем следующие важные стадии жизненного цикла ИИ-системы:

Проектирование: формулирование целей и задач, решаемых системой, включая любые основополагающие допущения и общие функциональные требования.

Разработка: определение технических требований, сбор и обработка данных, создание модели и валидация системы.

Внедрение: выполнение пилотного проекта, проверка совместимости с другими системами, контроль на соответствие регулирующим нормативам и оценка пользовательского опыта.

Мониторинг: постоянная оценка результатов работы системы и последствий (как предусмотренных, так и непредусмотренных), совершенствование модели и принятие решений о расширении или списании системы.

Такое представление применительно к ИИ аналогично пониманию жизненного цикла в разработке ПО. Как мы отмечали в другой работе об использовании эджайл-разработки, организациям важно определить необходимые виды задач на разных этапах жизненного цикла, включая планирование, проектирование, разработку и тестирование, и непрерывно оценивать промежуточные результаты, снижать риски и отвечать на обратную связь вовлеченных сторон.

Учитывайте весь круг вовлеченных сторон в полном составе

На всех этапах жизненного цикла ИИ важно правильно определять и задействовать вовлеченные стороны. Кто-то из экспертов поможет получить необходимые вводные о технических характеристиках работы системы. Это могут быть аналитики данных, разработчики ПО, специалисты по кибербезопасности и инженеры.

Но круг вовлеченных стейкхолдеров не ограничивается только техническими специалистами. Важно участие и тех сторон, которые способны дать оценку общественным эффектам внедрения ИИ. Речь может идти об экспертах в области регулирования и права, профильных специалистах, пользователях системы и тех, кого могут затрагивать результаты ее работы.

Важно определить, оценить и по возможности снять замечания к работе ИИ-системы, касающиеся этических, правовых, экономических и социальных вопросов, и для этого принципиально задействовать все заинтересованные стороны. Получение информации от широкого круга заинтересованных сторон, как технических специалистов, так и остальных, — важный шаг, который помогает предупредить непредвиденные последствия и когнитивные искажения в ИИ-системе.

Четыре измерения механизма отчетности в использовании ИИ

Все организации, руководители и сторонние круги должны при оценке ИИ-систем на всех этапах жизненного цикла учитывать четыре измерения: управление, данные, качество и эффективность работы и мониторинг.

Оцените структуры управления. Полноценная экосистема по управлению ИИ в обязательном порядке предполагает наличие управленческих процедур и структур. При правильной организации она дает возможность управлять рисками, демонстрировать этические ценности и контролировать соблюдение нормативных требований. Механизм отчетности в использовании ИИ должен быть ориентирован на обоснованные данные об управлении на организационном уровне, включая четкие цели и задачи ИИ-системы, ясно обозначенные функции специалистов, ответственность и вертикали подчинения, наличие мультидисциплинарной команды, способной управлять ИИ-системами, широкий круг заинтересованных сторон и процедуры риск-менеджмента. Кроме того, очень важно работать с системными элементами управления, к которым можно отнести документально оформленные технические спецификации конкретной ИИ-системы, контроль соответствия требованиям, возможности доступа стейкхолдеров к проектированию системы и информации о ее работе.

Разберитесь с данными. Сегодня большинство из нас понимает, что данные — основа функционирования многих систем машинного обучения и ИИ. Но те же самые данные, которые составляют главную их силу, в то же время могут быть и источником уязвимости. Важно документально зафиксировать, как используются данные на двух уровнях системы: при формировании основополагающей модели и при фактическом использовании ИИ. Грамотный контроль ИИ подразумевает документирование источников поступления и происхождения данных, которые используются при разработке моделей. Также нужно обращать внимание на технические аспекты отбора переменных и использования измененных данных. Нужно оценивать достоверность и репрезентативность информации, в том числе проверять ее на возможные искажения, пристрастность и другие социально значимые несоответствия. Механизм отчетности, кроме того, должен включать оценивание степени защиты и конфиденциальности информации в ИИ-системе.

Определите цели и показатели качества и эффективности работы. После того как система ИИ разработана и внедрена на практике, важно постоянно задавать вопросы: «Зачем мы изначально создали эту систему?», «Как понять, что она решает свои задачи?» Чтобы ответить на них, необходима подробная документация, в которой зафиксированы заявленная цель использования ИИ-системы и определены показатели качества и эффективности ее работы, а также методы их оценки. Руководство и любой оценивающий сотрудник должны иметь возможность увидеть, что ИИ работает в соответствии с предусмотренными целями и достигает их. Важно, чтобы подобные оценки эффективности проводились в широком срезе и, кроме того, затрагивали и каждый отдельный компонент, на который опирается и с которым взаимодействует система.

Проанализируйте планы мониторинга. Не стоит рассматривать ИИ как систему из разряда «установил и забыл». Верно, что во многом польза ИИ заключается именно в автоматизации определенных задач, и часто в масштабах и скоростях, недоступных человеку. В то же время очень большое значение имеет постоянный живой контроль эффективности его работы. Это, в частности, предполагает установление приемлемого диапазона смещения (дрейфа) для используемой модели и постоянный контроль соответствия результатов. Долгосрочный мониторинг также должен предусматривать оценки возможных изменений рабочих условий и степени их соответствия для масштабирования или распространения системы на другие операционные сферы. Важно также задавать вопрос, по-прежнему ли система необходима для той задачи, на которую она была рассчитана, и какие должны использоваться показатели, чтобы определить, что систему пора списать.

Мыслите как аудитор

Мы увязали нашу концепцию с существующими стандартами аудита госпредприятий и стандартами внутреннего контроля. За счет этого применяемые в ней практики и вопросы аудита можно осуществлять в рамках ресурсов отчетности и контроля, которые уже есть у организации. Концепция изложена простым языком, чтобы неспециалисты в технической сфере могли применять ее принципы и методы при работе с техническими командами. Мы в основном работали над механизмом отчетности для использования ИИ в правительственной сфере, но подход и концепцию легко адаптировать и для других секторов.

Полная концепция определяет конкретные вопросы и процедуры аудита, охватывающие четыре вышеописанные направления (управление, данные, качество и эффективность работы и мониторинг). Руководители, специалисты по риск-менеджменту и аудиторы — практически любые звенья, занимающиеся механизмами отчетности в использовании систем ИИ в организации, — смогут применять эту концепцию практически сразу, потому что она фактически определяет аудиторские практики и предлагает конкретные вопросы, которые необходимо задать при оценке работы ИИ.

Когда вы будете разрабатывать механизмы отчетности в использовании ИИ, рассуждайте как аудитор, такой подход не повредит.

Об авторе

Стивен Сэнфорд (Stephen Sanford) — управляющий директор Счетной палаты правительства США, возглавляет Центр стратегического предвидения (Center for Strategic Foresight).