Безопасность ИИ

• Данные

  Что попадает в ИИ и куда это уходит. Кто может это увидеть, где хранятся запросы и ответы.

• Доступы и действия

  К каким системам подключён ИИ и что он может делать сам: отправлять письма, менять данные, создавать заказы, оплачивать.

• Устойчивость к манипуляциям

  Можно ли текстом в чате, письме, на сайте или в документе заставить ИИ поступить иначе, чем вы задумали. Это называют инъекцией промптов.

• Правила и ответственность

  Кто отвечает за ответы ИИ, какие сервисы разрешены сотрудникам и какие данные туда нельзя вводить.

1. 01

   Инвентаризация ИИ-систем и агентов

   Что это такое

   Инвентаризация и проверка всех систем искусственного интеллекта, ботов и ассистентов, которые используются в компании, в том числе тех, о которых не знает руководство.

   Что делаем

   Выясняем, какие ИИ-системы и боты у вас есть, какие данные они получают, к чему подключены и что могут делать.

   Результат

   Узнайте точно, где работает ИИ в вашем бизнесе.

   Получите полную карту ИИ-систем и список скрытых рисков безопасности по приоритету.

2. 02

   Границы контекста и уровни прав

   Что это такое

   Настройка границ доступа и полномочий для ИИ-систем, чтобы у них не было избыточных прав.

   Что делаем

   Определяем, что ИИ видит (контекст), что может делать сам, а что только после подтверждения человека. Настраиваем границы доступа для ИИ-систем, агентов и приложений.

   Результат

   Держите ИИ под контролем.

   Снизьте риск ситуаций, когда бот совершает действия или принимает решения без вашего ведома.

3. 03

   Защита данных при работе с ИИ

   Что это такое

   Контроль того, какие корпоративные и клиентские данные уходят во внешние языковые модели и где хранятся диалоги.

   Что делаем

   Решаем, какие данные можно отправлять в какие сервисы, как скрывать лишнее и где хранятся запросы и ответы.

   Результат

   Берегите данные клиентов и коммерческие секреты.

   Снизьте риск утечек через публичные ИИ-сервисы.

4. 04

   Правила и политика использования ИИ для сотрудников

   Что это такое

   Внутренний регламент безопасного использования искусственного интеллекта в повседневной работе команды.

   Что делаем

   Готовим понятные правила: какие сервисы разрешены, какие данные нельзя вводить, кто отвечает за результат. При необходимости проведём обучение команды.

   Результат

   Дайте команде чёткие ориентиры.

   Сотрудники будут знать, какими инструментами пользоваться безопасно, а что грозит утечкой.

5. 05

   Защита от промпт-инъекций и джейлбрейков

   Что это такое

   Проверка устойчивости ИИ-ботов и агентов к манипуляциям через текстовые инструкции (так называемые промпт-инъекции).

   Что делаем

   Проверяем, можно ли через текст в чате, письме или документе заставить ваш бот или агент раскрыть лишнее или выполнить чужую команду.

   Результат

   Защитите ботов от злоумышленников.

   Узнайте, можно ли обмануть ваш ИИ и заставить его выдать скидки, конфиденциальные данные или обойти бизнес-логику, и закройте эти слабые места.

Мы оцениваем настройки, доступы и процессы вокруг ИИ. Мы не создаём и не обучаем модели ИИ и не проверяем их внутреннее устройство.

• Чат-бот на сайте или в мессенджереОтвечает вашим клиентам.Риск: Раскрыть лишнее или пообещать то, чего вы не обещали.
• Внутренний ИИ-ассистент по документам (RAG)Отвечает сотрудникам по базе документов компании.Риск: Показать документ тому, кто не должен его видеть.
• Автономный ИИ-агент, который действует через APIСам отправляет письма, оформляет возвраты, меняет данные в базе.Риск: Сделать лишнее без вашего ведома или по чужой команде.
• Голосовой бот и обработка звонковПринимает и распознаёт звонки клиентов.Риск: Записи разговоров и данные клиентов хранятся и передаются без защиты.
• ИИ внутри вашего продуктаФункции на языковых моделях в приложении или сервисе.Риск: Утечка данных пользователей и манипуляция через то, что пользователь вводит.
• Автоматизации и сценарии с ИИСвязки сервисов, которые вызывают ИИ по расписанию или событию.Риск: Ключи доступа внутри сценариев и слишком широкие права.
• ИИ-помощники для разработчиковПодсказывают и пишут код.Риск: Код и пароли уходят во внешний сервис, в код попадают небезопасные решения.
• Сотрудники в публичных ИИ-чатах с данными компанииСотрудники пользуются ИИ сами, без ведома компании.Риск: Договоры и данные клиентов оказываются во внешних сервисах.

1. Шаг 1Быстрая консультация

   Узнаём, где и как вы используете ИИ, и согласуем объём работ.

2. Шаг 2Карта ИИ в компании

   Составляем список ИИ-систем, ботов и агентов, их данные и доступы.

3. Шаг 3Оценка рисков

   Проверяем настройки и доступы, смотрим, что может пойти не так.

4. Шаг 4Настройка границ

   Задаём контексты, уровни управления и правила, что ИИ делает сам, а что только после подтверждения.

5. Шаг 5Отчёт и правила

   Передаём отчёт, рекомендации и правила для сотрудников.

• Внутренний ассистент имеет доступ ко всем документам компании

  Ограничить доступ ИИ нужными данными и разделить права по ролям.

• Сотрудник загрузил договор клиента в публичный ИИ-чат

  Ввести правила, определить, какие данные можно отправлять и в какие сервисы, и предложить безопасную альтернативу.

• Бот на сайте пообещал клиенту скидку, которой нет

  Ограничить, что бот может обещать, и добавить передачу сложных вопросов человеку.

• ИИ-агент может отправлять письма от имени компании

  Оставить подтверждение человеком для действий, которые нельзя отменить.

Обобщённые примеры типичных ситуаций, а не истории конкретных клиентов.

Другие услуги

• Технический аудит безопасностиУзнайте, где вы уязвимы, до того как случится инцидент.
• Безопасность для разработчиковПроверки в CI/CD, поиск секретов в коде и изоляция сред.
• Снижение рисков при проверкахНезависимая предпроверка, ISO 27001, PCI DSS и ответы на опросники клиентов.