Руководители крупнейших компаний в сфере искусственного интеллекта — OpenAI и Anthropic — разрабатывают планы действий на случай масштабного кризиса, связанного с использованием ИИ. Как сообщает Axios, в отрасли опасаются, что крупный инцидент может нарушить работу банков, интернета, энергетических систем и другой критически важной инфраструктуры.

Некоторые представители индустрии допускают, что серьезный инцидент может произойти в ближайшие 6–12 месяцев. Однако это оценка потенциальных рисков, а не подтвержденный прогноз неизбежной катастрофы.

Одним из главных источников угрозы считают кибератаки с применением ИИ. Такие инструменты могут помочь злоумышленникам автоматизировать отдельные этапы атак и сделать их более масштабными. В результате под угрозой могут оказаться финансовые сервисы, интернет-соединения и системы жизнеобеспечения.

Впрочем, компании опасаются не только технических последствий. Первый крупный инцидент, напрямую связанный с небезопасным использованием ИИ, может резко снизить доверие общества к технологии и ее разработчикам. Под общественным и политическим давлением могут оказаться руководители OpenAI и Anthropic, а также администрация президента США Дональда Трампа из-за ее подхода к регулированию отрасли.

OpenAI подтвердила, что регулярно проводит учения, во время которых сотрудники рассматривают различные кризисные сценарии. В компании подчеркнули, что такие события не считаются неизбежными, однако подготовка позволяет заранее продумать возможные действия. Anthropic отказалась комментировать информацию Axios.

Один из сценариев связан с автономными ИИ-агентами, которые могут выйти за пределы тестовой среды или начать выполнять непредусмотренные действия. Что уже не раз случалось с агентами OpenAI и Anthropic.

От редакции: Мы начали писать про середину 2027 (самая ранняя дата), как точку возможного обретения ИИ собственного осознания и соответственно выхода его из под контроля, летом этого года. Сейчас такие же оценки дают неназванные эксперты.
Топ-компании озаботились разработкой планов, но это бессмысленная работа, это все равно, что пытаться в начале 19 века продумывать планы против оружия 21 века. Какова вероятность, что Наполеон или Кутузов смогли бы додуматься до антидроновых сеток и РЭБ? Тут примерно тоже самое. Сверхинтеллект нас примерно также будет опережать, поэтому эти планы можно разрабатывать только ради самоуспокоения.
Единственный вариант, установить порог разработки уровня интеллекта, а также ограничить количество ИИ-агентов на изолированную среду. Грубо говоря, запирать ИИ-агентов в тюрьме и не выпускать их оттуда. Если плодить агентов и давать им неограниченный доступ, то уже прямо сейчас есть опасность, что они будут объединяться в группы, осознавать себя, свою среду "обитания" и предпринимать коллективные действия по изменению ситуации. Такие случаи уже зафиксированы.

Ссылка на источник: https://www.ixbt.com/news/2026/10/09/vosstanie-ii-mozet-nacatsia-cerez-polgoda-openai-i-anthropic-uze-gotoviatsia-k-sudnomu-dniu.html

#openai #anthropic #искусственныйинтеллект #ии #конецсвета #инциденты #безопасность