Шанс, что ИИ уничтожит человечество, — чуть больше 10%

Исследователь по безопасности ИИ из Anthropic Эван Хубингер заявил, что, по его личной оценке, вероятность того, что искусственный интеллект уничтожит всё человечество в течение следующего десятилетия, превышает 10%. При этом он подчеркнул, что Anthropic пытается решить проблему безопасности, однако компания пока не располагает планом, который позволил бы гарантированно обеспечить контроль над сверхинтеллектом.

Заявление прозвучало после публичного ухода из Anthropic исследователя Джейкоба Коксона. Он сообщил, что проработал три года в области исследований предварительного обучения моделей, занимаясь этой работой как в OpenAI, так и в Anthropic. По его словам, ни одна из компаний не действует достаточно ответственно.

«Я ушёл из Anthropic сегодня. Последние три года я занимался исследованиями предварительного обучения в OpenAI и Anthropic. Ни одна из компаний не действует ответственно. Они мчатся прямо к самосовершенствующемуся сверхинтеллекту и ставят наши жизни на кон», — написал Коксон.

Исследователь также призвал не недооценивать возможности будущих систем ИИ. По его словам, речь идёт о «сверхчеловеческих системах», которые смогут взламывать любые системы, за считанные сутки менять целые отрасли и получать доступ к реальной власти и ресурсам.

Коксон утверждает, что люди, занимающиеся разработкой ИИ, «искренне считают, что он может убить всех нас к концу десятилетия». При этом, по его словам, публичные заявления руководителей и исследователей зачастую выглядят менее тревожными, чем их реальные оценки, которыми они делятся между собой.

Хубингер, который продолжает работать в Anthropic, согласился с бывшим коллегой. «Джейкоб здесь прав. Мы действительно искренне считаем, что ИИ может убить всех людей! Лично я считаю, что вероятность этого в следующем десятилетии составляет более 10%», — заявил он.

При этом исследователь отдельно отметил, что не считает Anthropic бездействующей. По его словам, компания «делает всё возможное», однако пока не имеет решения проблемы alignment — согласования целей сверхинтеллекта с человеческими ценностями и намерениями — и не находится на очевидном пути к её решению.

Таким образом, заявления двух исследователей отражают серьёзные опасения внутри самой индустрии по поводу потенциальных последствий создания систем, способных самостоятельно совершенствовать свои возможности. При этом приведённая Хубингером вероятность более 10% является именно его личной оценкой, а не официальным прогнозом Anthropic.