Эксперты рассказали об уязвимостях ИИ-агентов на форуме «Технологии доверенного ИИ 2025»

«По данным Национального центра искусственного интеллекта при Правительстве РФ, 43% российских компаний используют искусственный интеллект в своей работе, но только у 36% есть хотя бы минимальные политики безопасности в этой области. Злоумышленники справедливо полагают, что ИИ стал уязвимым местом, и активно этим пользуются», - отмечает Башарин.

Спектр уязвимостей ИИ-агентов и, как следствие, угроз очень широк. Чаще всего атакам подвергаются ИИ-ассистенты, которые для выполнения своих полезных функций имеют доступ к чувствительной корпоративной информации, в том числе и к персональным данным клиентов. При этом компания, допустившая утечку персональных данных, может быть оштрафована на сумму до 15 миллионов рублей, а в случае повторного нарушения быть подвергнута оборотному штрафу. Отметим, что многие чат-боты последнего поколения и сами активно собирают и хранят информацию о пользователях, а не только черпают ее из базы данных компании.

Искусственный интеллект применяется злоумышленниками для jailbreak, то есть фактического взлома устройств и программных продуктов.

Злоумышленники могут нанести вред и с помощью «перегруза» ИИ-агента специально модифицированными запросами, что ведет к быстрому исчерпанию вычислительных мощностей компании и может парализовать ее работу, либо вынудить инвестировать дополнительные средства в покупку новых мощностей.

«К ИИ-агентам и моделям нужен такой же подход, как к микро-сервисам. То есть нужны политики безопасности, а также инструментальные проверки. И в целом, подход MLSecOps, то есть изначально безопасной разработки моделей, а не латания дыр по мере их обнаружения, тем более что бывает уже слишком поздно», - резюмирует Антон Башарин.