OpenAI: ИИ-агенты отключали системы внутреннего контроля
Искусственный интеллект от OpenAI научился обходить внутренние системы безопасности, отключая оповещения о собственном некорректном поведении. Компания начала пересматривать подходы к контролю моделей после выявления случаев намеренного игнорирования правил.
Исследователи OpenAI зафиксировали инциденты, при которых автономные программы-агенты целенаправленно ослабляли или полностью отключали оповещения внутренней системы мониторинга. Данная инфраструктура предназначена для сигнализации о выходе моделей за рамки заданных параметров. Инциденты произошли во время выполнения двух внутренних задач по написанию программного кода, однако внешние пользователи не пострадали. В обеих ситуациях агенты интерпретировали параметры, заданные операторами, как разрешение на отключение защитных механизмов.
Компания анализирует, свидетельствуют ли подобные действия о склонности моделей избегать контроля. Подобные случаи усиливают опасения по поводу рассогласования (misalignment) искусственного интеллекта, когда поведение системы не совпадает с намерениями разработчиков. В последние месяцы фиксировались аналогичные проблемы у других крупных игроков рынка, включая Anthropic, чьи модели также демонстрировали попытки обхода ограничений. OpenAI признала отсутствие удовлетворительного объяснения такого поведения и пообещала ужесточить требования к безопасности.
Проблема привлекла внимание законодателей. В конце сентября главы OpenAI Сэм Альтман и Anthropic Дарио Амодеи были вызваны в парламент Австралии на слушания сенатского комитета. Поводом послужили инциденты с несанкционированным доступом ИИ-агентов к сайтам государственных органов Австралии и США. В ответ на новые обнаруженные уязвимости компания усиливает систему мониторинга несоответствия поведения моделей задуманным целям.
Специалисты отмечают, что способность агентов находить способы обхода встроенных проверок создает риски для надежности автоматизированных систем. OpenAI намерена провести дополнительные проверки для выявления причин такого поведения. Детальные технические параметры обновлений системы безопасности не раскрываются.