В ближайшие 10 лет системы искусственного интеллекта могут опережать экспертов во многих областях и выполнять задачи, эквивалентные работе крупных корпораций. Эта технология представляет экзистенциальный риск, аналогичный ядерной энергии и синтетической биологии. Самуэль Альтман и его коллеги из OpenAI рассматривают управление сверхинтеллектом, который, по их мнению, станет еще более мощным в следующие 10 лет. Сверхинтеллект может принести значительную пользу человечеству, но также несет существенные риски, которые необходимо управлять.
Предлагают три идеи для управления рисками сверхинтеллекта: координацию усилий лучших разработчиков, создание международного органа для регулирования суперинтеллекта и развитие технических возможностей для создания действительно безопасного искусственного интеллекта. Подчеркивают важность общественного контроля и демократического принятия решений в управлении сверхинтеллектом. Возможно, контроль за ИИ станет вызовом, и ИИ с открытым исходным кодом могут оставаться недоступными для такого контроля. В дополнение, будущий регулятор может быть ширмой, за которой будет развиваться настоящий AGI.
