Пособие по реагированию на инциденты с искусственным интеллектом
Step-by-step procedures for responding to AI security incidents including LLM breaches, agent compromise, and prompt injection - Updated July 2026
$4.2M
Средняя стоимость инцидента безопасности ИИ
(IBM Cost of Data Breach 2025)
29 min
Среднее время раскрытия eCrime
(CrowdStrike 2026)
47 days
Среднее время исправления уязвимостей ИИ
(Институт Ponemon)
🚨
Критично: действуйте быстро
AI incidents can spread rapidly. Average eCrime breakout time is 29 minutes. Have this playbook ready BEFORE incidents occur.
Классификация инцидентов
КРИТИЧЕСКИЙ – P0
- Подтвержденная утечка данных через систему искусственного интеллекта
- Удаленное выполнение кода в инфраструктуре искусственного интеллекта
- Полная кража или извлечение модели
- Несанкционированный доступ к производственным системам ИИ
- Активное внедрение подсказок с воздействием на данные
Время ответа: Немедленно — активируйте группу инцидентов в течение 15 минут
HIGH - P1
- Предполагаемая атака с быстрым внедрением
- Необычные шаблоны вызовов API
- Попытки обхода аутентификации
- Вмешательство в базу данных векторов
- Агент, действующий вне определенных параметров
Время ответа: В течение 1 часа
СРЕДНИЙ - P2
- Потенциально конфиденциальные данные в подсказках
- Необычное поведение модели или галлюцинации
- Неудачные попытки атаки (заблокированы)
- Нарушение политики с помощью выходных данных ИИ
Время ответа: В течение 4 часов
НИЗКИЙ – P3
- Незначительные нарушения политики
- Подозрительная, но безрезультатная деятельность
- Отчеты о тестировании/ложноположительных срабатываниях
Время ответа: В течение 24 часов
Фаза 1: идентификация и Сортировка (0–30 минут)
Триггеры обнаружения
Автоматические оповещения
- Аномальные скачки использования API
- Необычные шаблоны ответов
- Неудачные попытки аутентификации
- Нарушения лимита скорости
- Триггеры обнаружения токсичности
Ручные отчеты
- Сообщения пользователей о подозрительных выходных данных
- Жалобы клиентов
- Проблемы безопасности сотрудников
- Уведомления третьих сторон
Контрольный список для немедленной сортировки
- Подтвердите инцидент: Это реальное событие безопасности или ложное срабатывание?
- Классификация серьезности: P0-P3 в зависимости от воздействия
- Сохранение доказательств: Начните немедленно регистрировать все данные
- Уведомить команду: Оповещение руководителя реагирования на инциденты
- Хронология документа: Запишите, когда появились первые индикаторы
Фаза 2: Сдерживание (30 минут – 2 часа)
Сдерживание LLM API
- Ротируйте ключи API: Немедленно меняйте любые потенциально скомпрометированные учетные данные
- Ограничение скорости: Применить агрессивные ограничения скорости к затронутым конечным точкам
- Блокировка IP: Блокировка IP-адресов вредоносных источников на шлюзе API
- Флаги функций: Отключение рискованных функций (загрузка файлов, выполнение кода)
- Режим только для чтения: Рассмотреть режим только для чтения для затронутых систем
Сдерживание агентов
- Завершить процессы агента: Немедленно остановить скомпрометированные агенты
- Отменить доступ к инструменту: Отключить доступ агентов к конфиденциальным инструментам
- Изолируйте серверы MCP: Отключение подозрительных соединений с сервером MCP
- Аннулирование сеанса: Принудительный выход из всех активных сеансов
- Сегментация сети: Изолировать системы искусственного интеллекта от критических сетей
Сохранение данных
- Журналы аудита: Сохранение всех журналов доступа для судебно-медицинской экспертизы
- Снимки базы данных: Создание моментальных снимков
- Векторная база данных: Изолировать и изучить базу данных векторов
- Целостность резервной копии: Убедитесь, что последние резервные копии не были скомпрометированы
Фаза 3: Исследование (2–24 часа)
Анализ журналов
Сбор и анализ:
- Журналы запросов/ответов API: Все вызовы API LLM с метками времени
- Журналы аутентификации: Попытки входа в систему, использование токена
- Журналы приложений: Журналы сервера из служб обработки ИИ
- Сетевые журналы: Шаблоны трафика, исходные IP-адреса
- Журналы активности пользователей: Кто, к чему и когда имел доступ
Анализ векторов атак
Быстрое внедрение
- Выявляйте шаблоны внедрения
- Источник внедрения трассировки
- Оценка воздействия манипуляций
- Техника атаки документирования
Эксфильтрация данных
- Определите доступ к данным
- Определить метод эксфильтрации
- Оценка конфиденциальности данных
- Подсчет количества записей
Компрометация агента
- Определять скомпрометированные действия
- Отслеживание неправильного использования инструментов
- Оценить несанкционированный доступ
- Документировать горизонтальное движение
Сохранение доказательств
- Создание копий для экспертизы: Побитовые копии затронутых систем
- Проверка хэша: Расчет и документирование хэшей файлов
- Цепочка поставок: Документируйте, кто имел доступ к каким доказательствам
- Безопасное хранилище: Храните доказательства в безопасном месте с контролируемым доступом
- Создание временной шкалы: Составить подробный график инцидентов
Этап 4: Исправление (24–72 часа)
Немедленные исправления
LLM Уязвимости
- Устраните пробелы в проверке ввода
- Обновление фильтрации контента
- Усилить очистку выходных данных
- Добавить обнаружение внедрения
Проблемы с агентами
- Сокращение разрешений агента
- Добавить рабочие процессы утверждения
- Внедрение более строгих границ
- Обновите средства управления доступом к инструментам
Исправление инфраструктуры
- Сброс учетных данных: Принудительный сброс пароля, ротация всех ключей API
- Просмотр доступа: Аудит и очистка разрешений
- Укрепление сети: Обновить правила межсетевого экрана, сегментировать сети
- Отслеживание обновлений: Улучшение мониторинга с помощью новых правил обнаружения
- Проверка резервных копий: Проверьте чистоту резервных копий, протестируйте восстановление
Фаза 5: Уведомление и отчетность
Внутренняя отчетность
- Краткое описание: 1-страничный обзор инцидентов для руководства
- Технический отчет: Подробные технические данные для группы безопасности
- Сроки: Полная хронология инцидентов с ключевыми событиями
- Извлеченные уроки: Что прошло хорошо, что нуждается в улучшении
- Действия: Конкретные задачи с владельцами и сроками выполнения
Внешние уведомления
Регулирующие органы
- GDPR: 72-часовое уведомление DPA
- Закон ЕС об искусственном интеллекте: сообщить компетентному органу
- Регулирующие органы сектора (финансы, здравоохранение)
- Государственные законы об уведомлении о нарушениях
Затронутые стороны
- Уведомление клиента (если данные затронуты)
- Уведомление делового партнера
- Раскрытие CVE (если применимо)
- Публичное раскрытие (если требуется)
Фаза 6: Действия после инцидента
Анализ первопричин
- 5 Анализ причин: Углубление до первопричины
- Картирование путей атак: Как злоумышленнику удалось добиться успеха?
- Сбои управления: Какие элементы управления не сработали?
- Обнаружение пробелы: Почему это не было обнаружено раньше?
- Проблемы процесса: Где произошел сбой в процессах реагирования?
Действия по улучшению
Технические
- Внедрение недостающих элементов управления безопасностью
- Правила обнаружения обновлений
- Исправьте уязвимости
- Улучшение мониторинга
Процесс
- Обновите процедуры реагирования на инциденты
- Улучшение протоколов связи
- Улучшить программы обучения
- Документирование новых сценариев
Превентивный
- Тестирование красной командой
- Кабинетные упражнения
- Обучение по вопросам безопасности
- Анализ архитектуры
Краткий справочник по чрезвычайным ситуациям
Действия при критических инцидентах
- Немедленная смена ключей API
- Отключить затронутые конечные точки
- Сохранение всех журналов
- Уведомите директора по информационной безопасности в течение 15 минут
- Начать сбор доказательств
Контакты для эскалации
- Команда безопасности: [внутренний номер Slack]
- Инженер по вызову: [pagerduty]
- CISO: [прямая линия]
- Юридические вопросы: [legal@company]
- PR/коммуникации: [pr@company]
Контрольный список подготовки к инцидентам
- Пособия: Документированные процедуры реагирования на инциденты для обычного ИИ инциденты
- Команда: Обученная группа реагирования на инциденты с определенными ролями
- Инструменты: Готовые инструменты для ведения журнала, мониторинга и криминалистической экспертизы
- Общение: Списки контактов и пути эскалации задокументированы
- Практика: Регулярные настольные учения и моделирование
- Сохранение: Достаточное хранение журналов (рекомендуется более 90 дней)
- Резервные копии: Проверенные резервные копии с проверенными процедурами восстановления