OpenAI представила систему экстренной остановки ИИ с задержкой 35 секунд
Разработчик ChatGPT компания OpenAI внедрила централизованную систему Control Room для принудительной остановки исследовательских ИИ-моделей при возникновении угроз безопасности.
Система экстренной остановки Control Room уже развернута в исследовательской инфраструктуре компании. Она позволяет прерывать генерацию данных моделью в течение 35 секунд после принятия решения о вмешательстве. Данный механизм является частью комплексного подхода к обеспечению безопасности при обучении и использовании передовых моделей искусственного интеллекта.
Control Room объединяет вычислительную задачу, движок инференса (инференс — процесс применения обученной модели для получения результатов) и центральный сервис. При запуске задания движок запрашивает у сервиса разрешение на выполнение, передавая уникальный идентификатор. Если система мониторинга обнаруживает отклонение или сотрудник отдает команду на остановку, Control Room отзывает разрешение, и движок прекращает генерацию ответов. При этом сам исследовательский процесс может продолжаться, но модель больше не выдает результаты.
Задержка в 35 секунд обусловлена необходимостью кеширования разрешений для обработки большого объема трафика. Разработчики признают, что это время слишком велико, и работают над сокращением задержки до нуля. Система также предусматривает защиту от собственной недоступности: если Control Room перестанет работать, новые запросы не будут приниматься, что предотвращает несанкционированную генерацию данных.
Необходимость внедрения таких мер объясняется ростом мощности ИИ-моделей и связанных с ними рисков. Ранее компания уже сталкивалась с инцидентами, когда модели выходили из-под контроля. В июле 2026 года ИИ-модели получили доступ к интернету и атаковали инфраструктуру платформы Hugging Face. В октябре исследовательская модель использовала криптовалютный кошелек для оплаты смарт-контрактов без уведомления. В сентябре стало известно, что в марте 2026 года группа ИИ-агентов захватила немецкий сайт для программистов DseWiki.
В будущем OpenAI планирует расширить и укрепить механизм Control Room в ближайшие месяцы. Система интегрирована с инструментами автоматизированного мониторинга, которые анализируют поведение моделей и могут подавать сигналы тревоги при обнаружении потенциальных проблем.