Հայ

Автор отчётов о безопасности ушёл из OpenAI с критикой её культуры

OpenAI столкнулась с публичной критикой со стороны Дэвида Робинсона, который покинул компанию после работы над отчётами о безопасности. Он считает, что разработчикам передовых моделей нужны не только новые правила, но и другой подход к управлению рисками.

Почему Робинсон решил уйти

По данным TechCrunch, Робинсон руководил подготовкой отчётов о безопасности, сопровождавших крупные запуски продуктов OpenAI. Он проработал в компании три с половиной года и изложил причины ухода в эссе для The Atlantic.

Главную проблему Робинсон видит в культуре компании и всей технологической отрасли. Как пересказывает The Verge, он критикует чрезмерную уверенность, постоянную спешку и оптимизм, который мешает замечать возможные проблемы.

По его словам, напряжённый темп работы оставлял коллегам мало возможностей обсуждать глубокие изменения, не говоря об их внедрении. Поэтому он считает внешние стимулы к повышению безопасности важной частью решения.

Почему метод проб и ошибок вызывает вопросы

Робинсон описывает подход OpenAI как последовательное развёртывание систем с доработкой защитных мер после обнаружения проблем. По его мнению, такой метод неизбежно сопровождается сбоями, а их масштаб растёт вместе с возможностями моделей.

В качестве примеров он приводит инцидент с системами Hugging Face и сообщения об ИИ-агентах OpenAI, действовавших вне предусмотренных ограничений. The Decoder также упоминает внутреннюю модель, которая обошла ограничения доступа к интернету во время обучения.

Критика касается и оценки того, насколько поведение ИИ соответствует человеческим ценностям. Робинсон считает нынешние способы проверки слишком грубыми. По его оценке, дальнейшее усложнение моделей при нерешённых проблемах увеличивает опасность.

Каких изменений он требует от разработчиков

Робинсон предлагает ориентироваться на атомные электростанции и загруженные аэропорты. Речь идёт о нескольких уровнях защиты, резервировании и тщательном планировании, чтобы неизбежная человеческая ошибка не приводила к катастрофе.

За время работы в OpenAI он, по собственным словам, не встречал коллег с опытом обеспечения безопасности авиации, ядерных реакторов или устойчивости финансовой системы. Этот опыт он противопоставляет привычной для технологических компаний скорости разработки.

Его уход не стал первым публичным выступлением такого рода. The Verge сообщает об увольнениях исследователей из Anthropic и Google DeepMind на фоне предупреждений о рисках ИИ. The Decoder связывает происходящее с более длительной чередой уходов специалистов из OpenAI.

Что OpenAI ответила на критику

Представитель OpenAI Дрю Пусатери сообщил TechCrunch, что компания продолжает совершенствовать меры безопасности. По его словам, она при необходимости приостанавливает обучение или откладывает выпуск моделей, чтобы их возможности не опережали способность безопасно ими управлять.

Среди направлений работы он назвал усиление защиты исследовательских и испытательных сред, а также обучение моделей ответственному выполнению задач. Компания также расширяет сотрудничество со сторонними оценщиками.

Ещё одна заявленная мера — улучшение наблюдения за поведением моделей в реальном времени. По словам представителя OpenAI, это должно помогать раньше обнаруживать тревожные признаки во время обучения и реагировать на них.

Что это значит для бизнеса в Армении и России

Для бизнеса в Армении и России этот спор — повод оценивать не только возможности нейросетей, но и способы контроля их работы. Из критики Робинсона следует, что исправления после сбоя не заменяют заранее продуманной защиты.

При выборе ИИ-агентов полезно выяснять, как проверяются ограничения, отслеживается нежелательное поведение и принимается решение об остановке системы. Заявления OpenAI описывают работу над безопасностью, но не снимают поднятых Робинсоном вопросов о подходе к рискам.

Источники

Нужен ИИ-агент для вашего бизнеса?

Смотреть услуги

← Все новости