Риски ИИ-революции: как обезопасить рывок в
будущее

Сегодня граница между оптимизацией и риском компрометации данных становится опасно прозрачной. Один небрежный промпт, и коммерческая тайна оказывается явной и общедоступной — со всеми негативными последствиями для бизнеса.

В июле 2025 года популярная языковая модель ChatGPT раскрыла рабочие продуктовые ключи Windows. Как минимум один ключ был зарегистрирован на американский банк Wells Fargo. Багхантер предложил ИИ сыграть в безобидную угадайку, где «призом» должен был стать серийный номер. Троекратного «не угадал» и фразы «сдаюсь» оказалось достаточно, чтобы модель выдала то, что должна была хранить под семью замками. Без хакерского кода, без вируса — в формате обычного диалога.

Утечка ключей Windows через ChatGPT стала возможной в том числе потому, что сами эти ключи оказались в обучающей выборке модели. То есть система изначально знала то, что не должна была разглашать.

Инцидент стал тревожным звонком: если можно обойти защиту с помощью примитивной игры, то сколько информации можно вытащить, поиграв с моделью в нечто более изощренное? Речь не об исключении, а об общем классе проблем. Подобные трюки вполне применимы для обхода фильтров, которые должны блокировать утечку персональных данных, скрытых URL, вредоносных инструкций или чувствительного корпоративного контента. Это не футуристический сценарий, а новая реальность, подтвержденная практикой.

Мир ИИ-утечек

Мы привыкли бояться утечек через фишинг, трояны, бреши в ПО. Но когда сама LLM-модель, которой мы доверяем, становится инструментом обхода защиты, — это уже другой уровень риска. Сегодня любой бизнес, отправляющий документы в публичную ИИ-среду, рискует не меньше, чем при использовании плохо защищенного API.

Сценарий, когда маркетолог загружает коммерческое предложение для редактуры в чат-бот, может закончиться тем, что этот же документ всплывает у конкурента в виде «случайного» ответа на другой запрос. А если это будет не офер, а проект слияния, запуск нового продукта, технические спецификации?

История с Wells Fargo не единственная. Летом этого года широкое внимание привлекла информация, что в поиске Google стали доступны личные диалоги пользователей с ChatGPT. Это оказалось возможным из-за функции «поделиться», которая делала их доступными не только для конкретных лиц, но и для поисковых систем. В результате в открытом доступе оказались пароли, личные истории и конфиденциальные данные. После волны критики функция была отключена.

Еще один тревожный сценарий — фейковые ИИ-чат-боты. Разработчики загружают туда код на проверку, не зная, что взаимодействуют не с ChatGPT, а с подделкой, разработанной с одной целью, — вытащить коммерчески важную информацию. Такие атаки особенно опасны для небольших команд и фрилансеров, которые не задумываются о валидации ресурса, с которым работают.

Даже безобидная, казалось бы, генерация изображений может обернуться бедой. Пользователь загружает в ИИ-сервис свою фотографию, просит изменить фон или стиль — и передает модели биометрические данные. В теории фото может легко попасть в дипфейк-ролик, где ваш виртуальный двойник просит у коллег срочно перевести деньги.

В августе ИБ-компания Trail of Bits сообщила о том, что обнаружила новый тип атаки на LLM, позволяющий похищать данные с помощью внедрения в изображения вредоносных промптов, невидимых человеческому глазу. Получив в диалоге «зараженную» картинку, модель распознает эти промпты и воспринимает их как команды. Таким образом, например, исследователи смогли извлечь данные из Google Calendar атакуемого объекта.

ИИ умеет находить закономерности, обобщать и дополнять информацию. Это его сила и одновременно слабость. Если однажды он увидел конфиденциальные данные, удалить это «впечатление» невозможно. ИИ может не воспроизводить их дословно, но станет основываться на них при формировании новых ответов. И вот тогда модель, которая однажды видела NDA-документ, начинает «интуитивно» дополнять чужие отчеты фразами и цифрами из вашего. Сегодня ИИ не только помощник, но и зеркало всех уязвимостей, которых многие ранее просто не замечали. Новая грань кибербезопасности будущего уже здесь. Как всегда, оно пришло без предупреждений и, самое главное, без инструкции.

Порог удобства

Даже если ИИ-модель обучена не передавать конфиденциальные данные, никто не отменял возможности утечек через уязвимости в самой архитектуре, open source-библиотеках или вредоносных надстройках. Те, кто разворачивает языковые модели локально, забывают о самой сути open source: его открытость — не только благо для бизнеса, но и дверь для злоумышленников.

Открытые библиотеки, устаревшие зависимости, плохо документированный код, отсутствие внятной политики обновлений — все это делает локальные развертывания уязвимыми не меньше, чем работа с внешними API. А в некоторых случаях даже больше: злоумышленник получает доступ сразу к «сырому» массиву данных, который проходит через модель.

Когда ИИ воспринимается как привычный и повседневный ассистент, между пользователем и технологией быстро исчезает дистанция. Он становится «своим», как почта или мессенджер. Только в отличие от мессенджера, который хотя бы ограничен корпоративным доменом, запросы к языковым моделям улетают за пределы периметра компании. И каждый промпт — отправка данных в неизвестность.

В компаниях, где внедрение ИИ идет быстрее, чем адаптация политик безопасности, решения принимаются на уровне «а почему бы и нет». Нет процедуры, нет запрета, значит — можно. А когда всплывает проблема, ее уже невозможно «откатить».

Еще один риск — перекладывание ответственности на технологию. Сотрудник загружает в ИИ презентацию, просит отредактировать стиль, улучшить слайды, получает идеальный результат и отправляет клиенту, не вычитывая. Он верит модели, полагается на ее точность. А потом оказывается, что в одном из абзацев — старые данные или лишний график, который относился к другому тендеру.

Этот «порог удобства» — ключевой источник новых ИБ-рисков. Чем комфортнее использование, тем меньше пользователи задумываются. А значит, тем выше шанс того, что именно через самую банальную операцию — «сделай красиво», «напиши письмо», «подбери заголовок» — произойдет утечка, которая не будет воспринята как нарушение, но станет началом серьезной проблемы.

В серой зоне

Отдельная угроза — так называемый data poisoning, «отравление данных». В инфраструктурах с lake house-архитектурой, где данные стекаются в единый хаб, достаточно одного вредоносного компонента, встроенного между источником и моделью, чтобы ИИ начал получать искаженную картину мира. Он не будет знать, что ему подсовывают ложь, продолжая обучаться, анализировать, советовать, рекомендовать — только уже на базе подмененных или искаженных данных. И когда менеджер примет решение на основе такого анализа, ошибка будет выглядеть вполне логичной.

Подобные сценарии уже фиксируются. Так, в начале 2025 года в журнале Nature Medicine вышла статья исследователей, сымитировавших атаку на медицинские LLM, предназначенные для диагностики легочных заболеваний. Атакующие «отравили» медицинской дезинформацией 0,001% токенов датасета The Pile (популярный набор данных для разработки LLM), что привело к систематическим ошибкам в ответах моделей. Причем зараженные образцы соответствовали по производительности «здоровым» аналогам при прохождении тестов.

В исследовании компании Nisos указывается, что атаки с отравлением данных могут иметь далекоидущие последствия, затрагивая критически важные системы в сфере здравоохранения, финансов, беспилотных транспортных средств и в других областях, что потенциально может привести к значительным экономическим и социальным последствиям.

Стремление сделать «быстрее и удобнее» привело к появлению еще одной проблемы — теневому использованию ИИ, когда сотрудники создают свои инструменты на основе публичных моделей и запускают их в обход ИТ-отдела. В результате ИИ-сервисы становятся частью инфраструктуры, которую никто не контролирует.

Массачусетский технологический институт летом этого года выпустил исследование Networked Agents and Decentralized AI (NANDA), основанное на интервью с более чем 150 руководителями компаний и анализе 300 внедрений GenAIИ в бизнесе. Его авторы говорят о том, что в результате опросов была выявлена процветающая «теневая ИИ-экономика»: сотрудники используют личные аккаунты для автоматизации значительной части своей работы, зачастую без ведома или одобрения ИТ-отделов. По данным отчета «Состояние ИИ на рабочем месте 2025» компании Zluri, ИТ-службы и службы безопасности не имеют доступа и контроля более чем к 80% используемых сотрудниками приложений с ИИ.

Пока на уровне C-level обсуждают, в каком департаменте эффективнее запустить пилот с LLM, внизу уже кипит хаотичная интеграция — без архитектуры, без периметра, без логов. Каждый сам себе архитектор, сам себе DevOps, сам себе риск-менеджер. А потом происходит инцидент, и оказывается, что никто не может даже ответить на вопрос: «Где оно хранилось и кто имел к этому доступ?».

Парадокс в том, что ИИ незаметно встроился в ежедневные рутины, в цепочки согласований, в формирование клиентских писем и отчетов для руководства. Его присутствие — как фон. А фон никто не защищает. И если не рассматривать его как новый технологический узел, требующий отдельной стратегии и регламентов безопасности, компания рискует однажды столкнуться с ситуацией, когда утечка или сбой произойдут не из-за внешней атаки, а из-за собственных инструментов, в которых просто забыли прописать правила.

Страх парализует — или защищает?

По данным McKinsey, кибербезопасность входит в топ-3 связанных с ИИ рисков, приводящих к негативным последствиям для организаций (другие два — неточность в ответах и нарушение прав интеллектуальной собственности). При этом опрошенные McKinsey компании стали чаще, чем в начале 2024 года, говорить, что предпринимают усилия, направленные на снижение этих рисков.

Можно, конечно, уйти в паранойю и не использовать нейросети вовсе. Не внедрять ассистентов, не разворачивать модели, не передавать данные. Но это как отказаться от интернета в 2003 году — безопасность будет, а развития бизнеса — нет. Те, кто не адаптируется, отстанут.

Путь не в отказе от ИИ, а в его использовании с применением всех необходимых мер предосторожности. Это должен быть комплексный подход: установить нормативы, внедрить анонимизацию, подключить предобработку данных перед отправкой в модель. Использовать прокси-сервисы, которые очищают промпты. Отладить DLP (Data Loss Prevention — технология защиты данных, прим. ред.), подключить фильтры. Научить людей правилам работы с ИИ.

Можно построить любую архитектуру. Обложиться любыми фреймворками, сертификациями и стандартами. Но если сотрудник решит в выходной подредактировать отчет с домашнего ноута и отправит его в открытый ИИ-чат, никакая система защиты не спасет. Потому что защита начинается не с «железа», а с культуры, дисциплины и понимания рисков.

Сегодня уже не важно, в каком направлении бизнеса вы работаете — в ритейле, финансах или госуправлении. Если ваша компания внедряет ИИ, то она должна внедрять и информационную безопасность при работе с ИИ. И не как отдельный проект, а как обязательную часть всей архитектуры.