Злоумышленники усиливают атаки на корпоративные LLM-модели

Внедрение больших языковых моделей (LLM) в корпоративные системы становится все более распространенным – более 90% российских компаний заявляют об их использовании. При этом ИИ остается уязвимым, чем активно пользуются хакеры – около 70% организаций столкнулись с атаками через LLM. Эксперты «Информзащиты» указывают, что бизнес зачастую откладывает на потом проверку безопасности ИИ-инструментов, чем активно пользуются злоумышленники.

Специалисты «Информзащиты» указывают, что инъекция запросов особо опасна из-за низкого уровня проверки на безопасность (67% компаний не проверяют ее до внедрения) и подготовки корпоративных LLM-моделей к использованию, что оставляет окно для использования Prompt Injection. Другая опасность заключается в том, что злоумышленнику не нужно обладать специальными техническими навыками для реализации такой атаки, а можно вводить вредоносные запросы обычным языком. Это увеличивает количество потенциальных злоумышленников, которые могут использовать уязвимости ИИ.

На фоне стремительного роста использования ИИ бизнес не всегда успевает адаптировать процессы безопасности. В большинстве компаний модели запускаются без полноценной валидации и настройки, остаются подключёнными к внутренним базам или чувствительным источникам. Чуть больше 65% организаций не проводят предварительную проверку таких решений на устойчивость к атакам.

Эксперты «Информзащиты» рекомендуют принимать проактивные шаги для защиты от атак через ИИ. Прежде всего, необходимо проводить аудит безопасности, выявлять риски и предпринимать превентивные меры. Также компаниям необходим регулярный пентест, который установит уязвимости в том числе в ИИ-инструментах, а подключение услуги мониторинга и реагирования на инциденты (SOC) позволяет выявлять нетипичную активность, отслеживать попытки атак на LLM и своевременно принимать меры. Обязательным является процесс настройки LLM-моделей, ограничение их доступа к чувствительным базам данных, настройками форм запросов и валидация вводных данных.