5 реальных сценариев того, как искусственный интеллект может уничтожить человечество

Откуда возникли опасения относительно катастрофы

Увольнение исследователя Джейкоба Коксона из компании Anthropic всего через четыре месяца работы вызвало новую волну дискуссий о безопасности технологий. В своем посте в социальной сети X он заявил о высоких рисках для цивилизации.

Люди, которые создают ИИ, искренне верят, что он может убить нас всех до конца десятилетия,
– сказал Джейкоб Коксон.

С его мнением согласился старший сотрудник Anthropic Эван Губингер, который отметил, что вероятность такого апокалиптического сценария в течение следующего десятилетия составляет более 10 процентов. На фоне этих заявлений профессор ИИ из Университета Нового Южного Уэльса Тоби Уолш в статье для The Guardian рассмотрел 5 самых известных сценариев гипотетического конца света от наименее до наиболее вероятного.

Сценарий 1: Мы никогда этого не поймем

Первая гипотеза основана на парадоксе: человеческий ум не способен предсказать действия суперинтеллекта, превосходящего нас во всем. Это похоже на попытку домашней собаки представить себе термоядерную войну.

Пока что суперагенты еще не созданы, ведь современные модели ИИ решают лишь конкретные задачи. Впрочем, недавно искусственный интеллект решил одну из семи самых сложных математических задач в мире, что немного тревожит научное сообщество.

Сценарий 2: Скрепки Ника Бострома

Философ из Оксфорда Ник Бостром описал воображаемый суперинтеллект, настроенный на оптимизацию производства канцелярских скрепок. Чтобы выполнить эту задачу, система просто превратит любую материю, в том числе людей, планеты и звезды, в новые скрепки.

При таком развитии событий алгоритм не испытывает ненависти к людям – он просто видит в нас атомы, которые можно использовать более эффективно. Однако эксперты успокаивают: наличие ума не означает наличия абсолютной власти. Строительству миллионов фабрик помешают бюрократия, судебные иски и экологические активисты. Общество уже сейчас сопротивляется массовому строительству дата-центров.

Сценарий 3: Смертоносное биологическое оружие

Более реальный риск заключается в использовании ИИ для разработки биооружия. Исследователи из Стэнфордского университета с помощью генетической ИИ-модели синтезировали 16 новых вирусов, потратив на это не более пары сотен тысяч долларов. Они просто отправили генетические последовательности в обычную лабораторию и получили готовые образцы в пробирках.

Однако уничтожить все человечество с помощью нового вируса чрезвычайно сложно. Вирусы, которые легко распространяются, обычно менее смертоносны, тогда как смертоносные штаммы убивают носителя быстрее, чем тот успевает кого-то заразить. Например, COVID-19 унес жизни менее 1 процента населения планеты, а во время самой страшной чумы в XIV веке погибла треть населения Европы. Стремительное развитие современной медицины значительно снижает подобные угрозы.

Сценарий 4: Ядерный армагеддон и системные ошибки

Применение алгоритмов в системе управления ядерным оружием создает опасность фатальных ошибок. Хотя военные изолировали системы ядерного командования от интернета, случай 2010 года с червем Stuxnet на ядерных центрифугах в Иране доказал, что ущерб можно нанести даже через обычную USB-флешку. ИИ также может предоставить командованию дезинформацию, что приведет к непоправимым действиям.

Впрочем, мировые запасы ядерного оружия сейчас существенно сократились, хотя их все еще хватит для уничтожения примерно половины человечества. Главной причиной смертей станет не сам взрыв, а голод во время ядерной зимы.

Сценарий 5: Самоуничтожение руками самих людей

Наиболее вероятным является сценарий, в котором люди уничтожат себя сами из-за хаоса, вызванного алгоритмами. Технологии уже приводят к массовой потере рабочих мест, загрязняют информационное пространство фейками, разрушают политику и заменяют живые отношения искусственным общением.

В случае постепенного разрушения социальных институтов общество просто утратит способность поддерживать собственную жизнь. Главная угроза заключается не в восстании машин, а в том, как именно человечество распорядится новыми инструментами.