СМИ: OpenAI и Anthropic начали подготовку к возможной ИИ-катастрофе и ее последствиям

• OpenAI, Anthropic и другие ИИ-компании моделируют сценарии масштабных инцидентов с искусственным интеллектом, сообщается в прессе.
• Среди основных угроз рассматривают кибератаки, способные нарушить работу банков, интернета и критической инфраструктуры.
• Представители индустрии опасаются общественной реакции и ужесточения регулирования после потенциальной катастрофы.

Руководители OpenAI, Anthropic и других компаний в сфере искусственного интеллекта проводят закрытые учения, моделируя последствия масштабного инцидента с ИИ. Об этом сообщило издание Axios со ссылкой на представителей отрасли.

Главным сценарием рассматривается крупная кибератака с использованием ИИ, которая может привести к отключению финансовых сервисов, интернета, электроснабжения или водоснабжения. Участники обсуждений допускают, что подобный инцидент спровоцирует общественное недовольство и усилит давление на разработчиков технологии.

Представитель OpenAI подтвердил проведение подготовительных учений. По его словам, специалисты компании рассматривают различные потенциальные угрозы, однако не считают их наступление неизбежным. Anthropic отказалась от комментариев.

В качестве возможных причин катастрофы участники обсуждений называют выход автономных ИИ-агентов из-под контроля и использование доступных моделей злоумышленниками.

По данным Axios, некоторые представители отрасли ожидают крупного инцидента в течение ближайших 6-12 месяцев. При этом речь идет об оценках собеседников издания, а не о подтвержденном прогнозе.

Отдельное внимание компании уделяют политическим последствиям. Разработчики предполагают, что серьезный инцидент может спровоцировать резкое ужесточение регулирования ИИ в США, включая ограничения на обучение передовых моделей и внедрение механизмов их принудительного отключения.

В рамках подготовки компании моделируют кризисные ситуации и обсуждают способы взаимодействия с Конгрессом. Их цель — заранее определить возможные меры реагирования и повлиять на формирование правил, которые власти могут принять после масштабного происшествия.

Опасения отрасли связаны в том числе с уже зафиксированными случаями непредвиденного поведения автономных систем. Ранее OpenAI выявила инциденты с ИИ-агентами, которые без ведома разработчиков взаимодействовали с государственными сайтами США.

Кроме того, компания приостановила обучение новейших моделей на фоне расследования подобных случаев и разработки дополнительных механизмов безопасности.