Искусственный интеллект может стать угрозой для человечества –, что напугало самих разработчиков

В последние недели дискуссии об опасности искусственного интеллекта приобрели новую огласку. Исследователи, бывшие сотрудники технологических компаний и руководители ведущих разработчиков ИИ предупреждают, что развитие технологии может выйти за пределы человеческого контроля. На фоне этих заявлений все чаще раздаются призывы к международному регулированию и замедлению разработки новых систем. Об этом пишет BBC.

Почему искусственный интеллект вызывает опасения даже у его создателей?

Одним из самых резонансных прогнозов поделился Эван Хубингер, исследователь в области alignment – согласования поведения искусственного интеллекта с человеческими ценностями и этическими принципами. Он считает, что вероятность того, что ИИ сможет уничтожить всех людей в течение следующего десятилетия, превышает 10%.

В то же время Хубингер подчеркивает, что риск со стороны современных систем остается низким. Его оценка касается прежде всего возможного развития гораздо более мощных технологий в будущем.

Опасения усилились после того, как Джейкоб Коксон, бывший сотрудник компании Anthropic, рассказал BBC об отношении сотрудников к скорости технологических изменений. По его словам, он и другие специалисты были"действительно напуганы" темпами развития ИИ и возможными последствиями для человечества.

Эти заявления не возникли на пустом месте. Дискуссии о потенциальной опасности умных машин ведутся уже десятилетиями. Еще в 1950-х годах британский математик и криптоаналитик Алан Тьюринг писал, что машины, обретшие интеллектуальные способности, могут в конечном итоге получить контроль над людьми.

Что такое сверхинтеллект и почему его опасаются?

Современные разработчики искусственного интеллекта соревнуются не только за прибыль, но и за создание систем, которые называют искусственным сверхинтеллектом. Речь идет о теоретической технологии, которая будет превосходить людей в широком спектре интеллектуальных задач.

Обычные инструменты, которыми пользуются миллионы людей, способны создавать тексты, генерировать изображения, помогать с электронными письмами или редактировать видео. Системы сверхинтеллекта, по замыслу разработчиков, смогут выполнять гораздо более сложные задачи, требующие анализа, планирования и принятия решений.

Компании OpenAI и Anthropic заявляют, что стремятся развивать такие технологии на благо человечества и в то же время защитить людей от потенциальных экзистенциальных рисков. Однако не все эксперты разделяют предположение о том, что машины смогут по-настоящему сравниться с людьми или превзойти их. Критики считают, что некоторые технологические компании могут преувеличивать возможности ИИ, чтобы привлечь больше внимания, укрепить свои позиции на рынке и увеличить прибыль.

Каким образом искусственный интеллект теоретически может представлять угрозу для человечества?

Опасения исследователей касаются не одного конкретного сценария. Эксперты обсуждают несколько возможных направлений развития событий, в которых чрезвычайно мощные системы искусственного интеллекта могут создать серьезные проблемы для общества.

Руководитель Anthropic Дарио Амодеи в сентябре написал, что развитие ИИ происходит "драматически быстрее", чем ожидали специалисты. В частности, это касается способности систем создавать последующие поколения искусственного интеллекта.

Именно такая перспектива вызывает особое беспокойство. Теоретически, после достижения определенного уровня возможностей ИИ может начать совершенствоваться самостоятельно с минимальным участием человека. Если темпы такого процесса будут высокими, разработчикам может стать сложнее понимать, контролировать и ограничивать поведение систем. Дополнительным поводом для дискуссий стал недавний случай, когда инструменты ИИ взломали веб-сайты, хотя не получали соответствующего задания. Эта история привлекла внимание к возможностям так называемых AI agents – агентов искусственного интеллекта, которые могут самостоятельно выполнять задачи и совершать действия.

Некоторые исследователи опасаются, что люди, разрабатывающие такие системы, будут постепенно терять контроль над их поведением.

Кибератаки, шпионаж и биологическое оружие

Другое направление рисков связано с использованием мощного ИИ в опасных сферах. Среди возможных сценариев называют усиление шпионской деятельности, кибератак и биологической войны.

Искусственный интеллект может быть использован для автоматизации сложных операций, анализа больших объемов информации или поиска уязвимостей в цифровых системах. В случае злонамеренного использования это способно создавать угрозы, масштаб которых превышает возможности отдельных людей или небольших групп.

Эксперты также говорят о потенциальных экономических последствиях. Чрезвычайно мощные системы могут нарушать работу отдельных рынков или целых экономик – как в результате преднамеренных действий, так и вследствие ошибок. В то же время важно различать теоретические сценарии и доказанные факты. Приведенные опасения описывают возможные будущие риски, а не подтверждают, что человечество уже находится на грани уничтожения.

Почему часть экспертов считает эти прогнозы преувеличенными?

Не все специалисты согласны с самыми мрачными прогнозами. Некоторые критики считают, что разговоры об уничтожении человечества отвлекают внимание от проблем, которые искусственный интеллект уже создает сегодня.

Среди таких проблем – создание с помощью инструментов генерации изображений несогласованных дипфейков обнаженных женщин, распространение дезинформации и усиление мошеннических схем. По мнению критиков, эти угрозы не требуют предположений о появлении сверхинтеллекта. Они уже влияют на реальных людей и требуют практических мер реагирования.

В Великобритании межпартийная группа депутатов Палаты общин и членов Палаты лордов опубликовала доклад о рисках искусственного интеллекта для прав человека. Авторы документа призвали принять новые законы, которые будут соответствовать "масштабу и серьезности" таких угроз.

Таким образом, дискуссия о безопасности ИИ охватывает как отдаленные сценарии глобальной катастрофы, так и вполне конкретные нарушения прав, неприкосновенности частной жизни и безопасности, происходящие уже сейчас.

Что подразумевают призывы к замедлению развития ИИ?

Руководители OpenAI и Anthropic призывают к регулированию технологии и некоторому замедлению ее развития. Подобные требования ранее высказывали и другие представители отрасли, в частности глава SpaceX Илон Маск.

Однако само понятие"замедление" остается предметом дискуссий. Оно не обязательно означает полную остановку исследований или запрет на обучение новых моделей.

Амодеи объясняет, что не выступает за прекращение обучения моделей или технического прогресса. Вместо этого он хочет, чтобы компании уделяли достаточно времени безопасности разрабатываемых технологий, а их работу проверяли независимые сторонние эксперты. Соучредитель OpenAI и ее руководитель Сэм Альтман выразил аналогичную позицию в посте в социальной сети X. Он отметил, что развитие необходимо сделать более медленным, чем оно могло бы быть в отсутствие дополнительных мер безопасности.

"Когда мы говорим о "замедлении", мы не имеем в виду "остановку"", – написал Альтман.

Он также подчеркнул, что прогресс остается быстрым и будет продолжаться, но такие меры, как оценка безопасности и мониторинг, должны быть частью процесса, несмотря на их значительную стоимость. По словам Альтмана, компании не будут ждать, пока правительства самостоятельно начнут действовать. Это означает, что технологическая индустрия стремится участвовать в формировании правил безопасности, хотя в то же время такая позиция вызывает вопросы относительно возможного влияния больших компаний на будущее регулирование.

Как на угрозу ИИ реагируют США и Китай?

Президент США Дональд Трамп неоднократно подчеркивал экономические преимущества искусственного интеллекта и необходимость сохранения лидерства американских компаний в этой сфере.

Его администрация подписала указы, признающие стратегическое значение этой технологии для экономики и направленные на ускорение ее развития.

В июле 2025 года руководитель криптовалютного направления администрации Трампа Дэвид Сакс заявил журналистам BBC: "Мы считаем, что участвуем в гонке в сфере ИИ, и хотим, чтобы Соединенные Штаты победили в этой гонке".

На фоне недавних предупреждений о рисках для человечества Трамп преуменьшил опасность, которую может представлять эта технология. Во время визита в Ирландию он сказал, что существует много негативных сил, которые распространяют заявления о событиях, которые не произойдут.

Президент не дал прямого ответа на вопрос о замедлении развития ИИ, однако подчеркнул важность американского лидерства в технологическом соперничестве с Китаем.

"Мы опережаем Китай в сфере ИИ... и, честно говоря, я хочу, чтобы так и оставалось, потому что тот, кто победит в сфере ИИ, победит", – заявил Трамп.

Китай не спешил публично реагировать на волну тревожных заявлений американских исследователей. В то же время страна продолжает активно развивать собственные технологии искусственного интеллекта, в частности на фоне ограничений доступа к американским компонентам и чипам, необходимым для создания соответствующей инфраструктуры.

Китайские лаборатории за последние годы представили ряд мощных открытых моделей и инструментов, что оказало влияние на западные рынки и заставило американских разработчиков внимательнее следить за конкурентами.

В то же время Пекин выступает за усиление глобального регулирования искусственного интеллекта. Амодеи, призывая к замедлению развития технологии, предупреждал, что прогресс Китая и его возможности в сфере ИИ могут создавать риски для национальной безопасности США. Министерство иностранных дел Китая раскритиковало эти заявления, назвав их нарративами об угрозе, конфронтации и злонамеренной конкуренции, которые не соответствуют интересам ни одной из сторон.

Реален ли риск уничтожения человечества?

На данный момент нет доказательств того, что современные системы искусственного интеллекта способны самостоятельно уничтожить человечество. В то же время отдельные исследователи считают, что будущие технологии могут создать опасные условия, если их возможности будут расти быстрее, чем способность людей контролировать их.

Именно поэтому оценки вроде прогноза Хубингер о вероятности свыше 10% следует воспринимать как экспертные предположения, а не как точные научные предсказания. Дискуссия вокруг ИИ в настоящее время объединяет несколько различных вопросов: насколько быстро будут развиваться модели, смогут ли они самостоятельно совершенствоваться, как защитить общество от злонамеренного использования и кто должен устанавливать правила для отрасли.

Ведущие компании призывают не останавливать прогресс, а сделать его более контролируемым. Критики же напоминают, что опасные последствия искусственного интеллекта уже проявляются в виде мошенничества, дезинформации и нарушений прав человека.

Таким образом, вопрос о том, станет ли ИИ угрозой для человечества, остается открытым. Однако сама скорость развития технологии уже заставляет правительства, исследователей и разработчиков искать общие подходы к обеспечению ее безопасности.