Anthropic предупредила о рисках самосовершенствующегося ИИ в документах к IPO
Компания Anthropic признала в документах для публичного размещения акций, что близка к созданию искусственного интеллекта, способного самостоятельно ускорять собственное совершенствование. Это явление несёт потенциал для науки, но сопряжено с рисками потери контроля над системами.
В обновлённой документации к размещению акций компания впервые подробно описала риск рекурсивного самосовершенствования. Это процесс, при котором ИИ помогает создавать всё более совершенные модели, ускоряя тем самым собственный прогресс. Такой подход уже используется Anthropic в собственных исследованиях и разработке новых версий моделей. Однако есть вероятность, что возможности систем начнут расти быстрее, чем специалисты успеют проверять их безопасность и соответствие человеческим целям.
Критики опасаются, что автономные системы могут развиваться стремительнее, чем люди смогут обеспечить над ними контроль. Anthropic отмечает, что в прошлом уже пропускала значительные скачки возможностей своих моделей и замечала их только постфактум. Внутренние прогнозы указывают на возможность в ближайшее время достичь установленного порога резко ускоренного прогресса. При этом ни одна из существующих моделей пока не признана соответствующей этому критерию.
Руководство компании подчёркивает, что не рассчитывает в обозримом будущем поручить модели Claude полностью автономное проектирование следующих поколений без участия людей. Anthropic видит в технологиях огромный потенциал для повышения продуктивности и научных открытий, но настаивает на необходимости сохранения человеческого контроля. Даже если технически станет возможным создание ИИ без вмешательства разработчиков, компания не планирует полностью отказываться от надзора. Это заявление служит предупреждением инвесторам о потенциальных угрозах, связанных с быстрым развитием автономных алгоритмов.