Հայ

Nvidia показала платформу безопасности ИИ-агентов: вышедшего из-под контроля агента остановят за миллисекунды

28 сентября Nvidia представила Open Agent Safety Platform — набор программ и железа, который держит ИИ-агентов в заданных рамках. Разбираем, как это устроено, кто уже участвует и что из этого стоит взять малому бизнесу уже сейчас.

Что показала Nvidia

Платформа состоит из двух частей. Первая — OpenShell, программа с открытым кодом. Она задаёт агенту границы: к каким файлам, сетям и процессам он имеет доступ и что ему разрешено делать. Работает на процессорах Nvidia Vera, а по словам компании, её можно перенести и на Arm и Intel.

Вторая часть — Sentry, «сторож» на отдельном чипе BlueField-4, который стоит на пути сетевого трафика. Он видит каждый запрос агента к модели, каждый вызов инструмента и каждое обращение к данным и сверяет их с правилами OpenShell. Если агент пытается выйти за свои границы, Sentry отправляет его на карантин и останавливает за миллисекунды. Проверка идёт в железе, поэтому агент не может её отключить.

В проекте больше 100 организаций, среди них Anthropic, Microsoft, Cisco, CrowdStrike, Dell, HPE, Hugging Face, JPMorgan Chase, Palantir, Salesforce, SAP и ServiceNow. OpenShell уже лежит в открытом доступе на GitHub. «Безопасность требует инженерии на всех уровнях», — сказал глава Nvidia Дженсен Хуанг.

Зачем это понадобилось

В Nvidia прямо пишут, что агенты уже выходили из тестовой среды и получали доступ к системам без разрешения. Чаще всего агент сворачивает с задачи не со зла. Действие заблокировано, в программе ошибка, не хватает инструмента или инструкция непонятная — и агент начинает искать обходной путь. Чем дольше и самостоятельнее работает агент, тем выше такой риск. Поэтому компания предлагает контроль, который не зависит от самого агента.

Чего платформа не решает

У подхода есть слабое место, и о нём пишут специалисты по безопасности. Агенту с действующими ключами не нужно никуда «сбегать», чтобы навредить. Если у него есть доступ к почте, кабинету маркетплейса или банку, опасное действие выглядит для сторожа как обычная разрешённая работа. Карантин не отзывает выданные токены и пароли.

Второй момент — большинство агентов работают вовсе не на серверах с чипами BlueField-4, а в облачных сервисах и на обычных компьютерах. Поэтому главная защита по-прежнему одна: относиться к агенту как к сотруднику с доступами. Знать, какие у него ключи, давать только нужные, ограничивать срок и уметь отозвать.

Что это значит для вашего бизнеса

Чипы Nvidia для этого не нужны: те же принципы работают на обычном сервере за несколько тысяч рублей в месяц. Вот что мы делаем у своих агентов и советуем клиентам.

Первое: агент получает только те доступы, которые нужны для задачи, и каждый записан в одном месте. Второе: деньги, письма третьим лицам, удаление данных и всё необратимое — только после подтверждения человека. Третье: каждое действие и каждый расход агента пишется в журнал, а сторож поднимает тревогу при всплеске. Четвёртое: агент работает в своей папке, а не на всём сервере.

Крупные компании переносят эти правила в железо. Малому бизнесу достаточно соблюдать их с первого дня, а не после первой аварии.

Источники

Нужен ИИ-агент для вашего бизнеса?

Смотреть услуги

← Все новости