Вопросы этики и сильная команда: от чего зависит успех ИИ-продукта | Большие Идеи

? Исследования

Вопросы этики и сильная команда: от чего зависит
успех ИИ-продукта

Что отличает успешные ИИ-продукты от провальных? Чтобы ответить на этот вопрос, исследователи из НИУ ВШЭ опросили 10 крупных IT-разработчиков и делятся выводами в колонке для «Больших идей».

Авторы: Иван Сорокин , Желько Текич

Вопросы этики и сильная команда: от чего зависит успех ИИ-продукта
Фото: Luca Bravo / Unsplash

читайте также

Перестаньте говорить «ничего страшного»

Джим Детерт

Не относитесь к карьере как к бегу на короткую дистанцию

Скотт Бисон

Что не так с A/B-тестированием

Ева Аскарза

10 советов по созданию здоровой корпоративной культуры

Джулио Д'Эрме

Ученые из Высшей школы бизнеса НИУ ВШЭ Иван Сорокин и Желько Текич в совместном исследовании попытались разобраться, что отличает успешные AI-продукты от неудавшихся? Шанс добиться хороших результатов при создании такого проекта огорчающе мал: вице-президент по Data Science бренда одежды SKIMS Крис Чапо отмечает, что 87% ИИ-стартапов так и не суждено выйти на рынок или выполнить заявленные на старте обещания.

На протяжении первой половины 2024 года Иван Сорокин и Желько Текич провели десять глубинных интервью со специалистами по ИИ и бизнес-экспертами из крупных российских и международных компаний, включая Alibaba Group, «Газпром нефть», VK Group, «Сбер» и «Яндекс». Затем ученые проанализировали опыт этих компаний по созданию и выводу на рынок ИИ-продуктов и выявили важную закономерность: успех напрямую зависит от качества данных, технической экспертизы команды и гибкости процессов, но решающее значение играет вопрос этики. Несмотря на то, что многие из этих параметров пересекаются с традиционными принципами разработки, в контексте ИИ они приобретают новый уровень сложности.

Критический фактор успеха

Большое значение имеет качество данных — AI-продукт хорош настолько, насколько хороши данные, на которых он был натренирован. Один из опрошенных авторами исследования экспертов уверен, что для создания работающего ИИ-продукта необходим не просто большой объем информации — она должна быть релевантной и правильно маркированной. Ведь неполные данные или ангажированная информация приведут к искаженным результатам, а это лишь навредит продукту.

Так, существенной проблемой суперкомпьютера IBM Watson Health, с 2013 года занимающегося проблемами лечения рака, оказались данные. Несмотря на вычислительные мощности и качественные алгоритмы, IBM Watson Health регулярно давал некорректные медицинские рекомендации. Дело оказалось в нестабильном качестве массива данных, на котором был обучен суперкомпьютер.

Кроме данных, за каждым успешным ИИ-проектом стоят компетентная команда и сильный менеджер по продукту, хорошо понимающий как технологию, так и сам рынок. И только такой руководитель может понять, какие именно задачи может решить его компания с помощью ИИ.

«Секрет успеха любого AI-сервиса заключается в понимании того, какие задачи могут решить модели и что из этого, действительно, нужно пользователям», — рассуждал другой эксперт во время глубинного интервью (имена респондентов не раскрываются. — Прим. БИ ).

Эти слова подтверждает и опыт ведущих стартапов, связанных с ИИ. Так, сооснователь Google DeepMind Демис Хассабис руководил командой, которая создала AlphaFold — и совершила тем самым революцию на рынке фармацевтики. Его продукт умеет предсказывать структуру белков, в 2024 году за создание AlphaFold Демис Хассабис и Джон Джампер получили Нобелевскую премию по химии.

Другой пример: Аравинд Шринивас из Perplexity AI вместе с командой использовал технические знания и возможности рынка для создания поисковой системы, которая имеет доступ не только к собственной LLM, но и GPT-4, Claude 3.5, Grok-2 и Llama 3. За счет этого сервис выдает точные ответы в режиме реального времени, адаптированные к потребностям пользователей. Это решение может стать первым серьезным конкурентом Google за десятилетие.

Кроме того, Дарио Амодеи из Anthropic создал семейство языковых моделей Claude, в основе которых лежит особый подход обучения нейросетей. Они созданы таким образом, чтобы ИИ давал безвредные и полезные ответы, не полагаясь при этом на обширную обратную связь от людей. Идея оказалась удачной, и весной 2024 года стартап привлек $2,75 млрд от Amazon.

Наличие прописанных этических норм, которые были сформулированы для продукта на этапе разработки, — еще одна характерная черта всех изученных Сорокиным и Текичем продуктов, пришедших к успеху. Системы искусственного интеллекта принимают вероятностные решения, а это означает, что они могут непреднамеренно выдавать предвзятые результаты. Те же алгоритмы распознавания лиц неоднократно подвергались критике из-за того, что не корректно распознавали лица людей определенных национальностей.

Список этических проблем на этом не ограничивается: важным остается вопрос конфиденциальности данных пользователей, вопрос воздействия сервиса на общество и потенциального вреда, который сервис может нанести пользователям. Примером может служить бот-бред — уже устоявшийся термин, обозначающий неверный контент от чат-ботов, который люди бездумно используют для решения различных задач.

Опрошенные во время исследования эксперты неоднократно упоминали этику как новый критический фактор успеха для продуктов на основе ИИ. AI-решения часто работают с конфиденциальными данными и предлагают решения, влияющие на дальнейшую жизнь людей, — например, в вопросах найма, обеспечении правопорядка и медицине.

Так, Amazon пришлось отказаться от своего AI-рекрутера после того, как выяснилось, что система занижала рейтинг резюме кандидатов-женщин. Другой неприятный случай произошел с алгоритмом COMPAS системы правосудия США: он маркировал чернокожих ответчиков как более высокорисковых по сравнению с другими при равных условиях. А все тот же DeepMind в 2015 году получил доступ к данным 1,6 млн пациентов из Англии без их согласия для тренировки ИИ по заказу Национальной службы здравоохранения Великобритании. Это спровоцировало громкий скандал, несмотря на потенциальные преимущества технологии.

Вопрос этики имеет решающее значение и в приложениях, созданных для развлечений или обустройства умного дома. Такие голосовые помощники, как Alexa от Amazon или «Алиса» от «Яндекса», собирают огромные объемы данных о пользователях. И если не сформулировать четкие этические принципы, компании могут использовать личную информацию пользователей по своему усмотрению: например, продавать или передавать ее третьим лицам.

Помимо данных, их точности и вопросов этики, ключевую роль играет и инфраструктура. Модели ИИ, особенно те, которые занимаются распознаванием или генерацией изображений, требуют огромных вычислительных мощностей.

Разработка продукта не является линейным процессом, а самые успешные решения — это всегда результат экспериментов и большого числа итераций, а также постоянного тестирования, уточнения и сбора обратной связи от пользователей. Именно поэтому для создания продуктов на основе искусственного интеллекта лучше всего подходят методологии гибкой разработки, позволяющие командам постоянно вносить корректировки на основе реальных данных.

Музыкальный сервис Spotify первым создал на основе нейросети механизм, который, учитывая предпочтения пользователя, позволяет формировать для него поток из треков. Это яркий пример того, как выглядит гибкая разработка на практике. Проект непрерывно совершенствует свой алгоритм, взаимодействуя для этого с пользователями. Похожую стратегию используют и российские корпорации — например, T-Банк (бывший «Тинькофф») в своих финансовых сервисах. Данные его ИИ-моделей постоянно пополняются новыми отзывами, благодаря чему он может предлагать более персонализированные услуги.

Просвещение и уникальные проблемы

Несмотря на сложность любой AI-технологии, для конечного потребителя важно, насколько прост в использовании сервис и как быстро его можно интегрировать в существующие привычки и рабочие вопросы. Чтобы продукт преуспел на потребительском рынке, он должен быть интуитивно понятным и удобным. По мнению всех опрошенных в ходе исследования экспертов, именно удобство является сегодня решающим фактором — будет ли человек пользоваться сервисом или нет.

В B2B-сегменте же заказчики в первую очередь хотят, чтобы ИИ был адаптирован под конкретные потребности и решал определенные задачи. Компаниям важно точно знать, как внедрение новой технологии поможет им сэкономить время, сократить расходы или повысить эффективность.

Например, РЖД работает с различными AI-проектами для создания систем автономного обслуживания поездов, Магнитогорский металлургический комбинат — для модернизации оборудования на производстве, а производитель спецтехники Caterpillar оснащает свою технику AI-модулями, адаптированными к конкретным типам машин и рабочим средам для предиктивного обслуживания. Все перечисленные решения создаются в соответствии с уникальными требованиями каждого отдельного заказчика, включая тип оборудования, доступные данные и настройки безопасности.

Просвещение и образование — еще один важный фактор для B2B-клиентов. Они часто опасаются систем, которые не могут полностью понять. Один из топ-менеджеров во время интервью отметил, что бизнес часто отказывается от использования ИИ-решений, так как не понимает, как на самом деле работает технология и кто будет нести ответственность за возможные ошибки. Поэтому команды востребованных на рынке продуктов и занимаются просвещением — регулярно объясняют, как работает технология и на основе чего нейросеть принимает те или иные решения.

Факторы успеха, выявленные в исследовании, не работают отдельно друг от друга. Они образуют целостную систему, в которой каждый элемент влияет на остальные: качество данных повышает производительность модели, что отражается на результате и укрепляет доверие со стороны пользователей. То же самое касается и этической составляющей — без нее разработка искусственного интеллекта с долгосрочными перспективами практически невозможна.