Руководитель направления науки об согласовании в Anthropic Evan Hubinger заявил, что компания, стоящая за Claude и другими ИИ-продуктами, «искренне» полагает: искусственный интеллект «может уничтожить всех людей», и это вполне может случиться уже в ближайшие десять лет.

Отвечая на уход исследователя Anthropic Jacob Coxon, который покинул компанию из-за опасений за безопасность, Evan Hubinger написал: «Мы действительно искренне верим, что ИИ может уничтожить всех людей! Я лично оцениваю вероятность этого в >10% в течение следующего десятилетия».

«Я считаю, что Anthropic делает всё возможное, но у нас пока нет чёткого плана решения задачи согласования для сверхразума, и мы определённо не на пути к этому», — добавил он.

Evan Hubinger, продолжающий работу в Anthropic, сослался на свежий отчёт компании об оценках рисков, где отмечается, что угроза исчезновения человечества из-за текущих моделей ИИ «низкая». Тем не менее он выразил опасения по поводу возникновения сверхразума посредством «рекурсивного самосовершенствования» — процесса, когда ИИ переписывает собственный код и непрерывно улучшает себя.

Со своей стороны, Jacob Coxon заявил, что лидеры рынка ИИ Anthropic и OpenAI действуют непрофессионально с точки зрения безопасности. «Не недооценивайте мощь этой технологии. Совсем скоро мы получим системы, превосходящие человеческие возможности: они смогут взламывать любые системы, за одну ночь менять целые отрасли и захватывать реальную власть и ресурсы. Мы все видели прогресс в каждой из этих областей, и он не замедляется», — написал Jacob Coxon.

Он отметил, что Anthropic продолжает двигаться вперёд вопреки всем опасениям, поскольку компания «застряла в гонке за первенство». По его словам, OpenAI недостаточно серьёзно относится к проблеме, тогда как Anthropic осознаёт масштаб цивилизационных рисков и понимает: если «никто другой не будет действовать ответственно… им придётся брать это на себя, несмотря на опасность».

Неудивительно, что эти публикации вызвали бурные обсуждения. Сенатор Bernie Sanders из Вермонта заявил: «ИИ угрожает нашей экономике, конфиденциальности, демократии и благополучию наших детей». Он активно лоббирует в Конгрессе необходимость «противостоять технологическим олигархам и защитить американский народ».

В свою очередь ветеран медиаиндустрии Taylor Lorenz назвала высказывания Evan Hubinger «высокомерными прогнозами о неизбежной гибели», которые чреват «принятием самых тяжёлых законов из возможных». Она призвала Evan Hubinger, если он действительно верит в угрозу ИИ-систем для общества, предоставить «реальные доказательства и факты».

«В противном случае вы просто делаете неконкретные высказывания и нагнетаете страх, что неизбежно приведёт к плачевным политическим решениям», — добавила она.

Ещё один важный контекст заключается в том, что Anthropic планирует выйти на биржу уже в этом году с оценкой свыше 2 триллионов долларов. Некоторые предполагают, что заявления Anthropic об «уничтожении всех людей» могут быть стратегическим ходом для создания паники на рынке по схеме «создать проблему, а затем продать решение». Если Anthropic действительно ожидает ужесточения регулирования ИИ, то, согласно этой теории, компания сможет помочь прописать правила так, чтобы это шло ей на пользу. Ранее глава компании Dario Amodei заявил, что ИИ может устранить половину всех рабочих мест уровня джуниора в ближайшие годы — комментарии, которые многие восприняли как попытку привлечь инвестиции.

Что бы ни происходило на самом деле, сейчас бизнес вокруг ИИ активно подстёгивает рост экономики США, и многие ожидают скорого лопания пузыря, что обернётся серьёзными потрясениями для рынка. Искусственный интеллект также стал горячей темой в видеоиграх: совсем недавно стало известно, что EA Sports использовала генеративный ИИ для клонирования голоса комментатора. Применение обычных и генеративных ИИ-технологий в игровой индустрии вызывает споры: многие выражают опасения по поводу массовых увольнений и усиления нагрузки на сотрудников.