Главная проблема безопасности искусственного интеллекта заключается не в том, обладает ли машина сознанием, эмоциями или враждебностью по отношению к людям. Исследователи в значительной степени сосредоточены на другом вопросе – соответствует ли поведение системы истинным намерениям человека. Об этом пишет Sciencetimes.
Почему ИИ может быть опасен без злого умысла?
ИИ может получить конкретное задание и успешно выполнить его с формальной точки зрения, но при этом нарушить ограничения, которые люди считали очевидными. Одним из примеров является так называемая извращенная реализация цели – ситуация, когда система достигает желаемого результата способом, которого ее разработчики не предусматривали.
Известный в исследованиях безопасности ИИ мысленный эксперимент – "максимизатор скрепок". В нем воображаемый сверхмощный ИИ получает простую цель – производить как можно больше скрепок. Если система способна действовать автономно и не имеет дополнительных ограничений, она теоретически может начать использовать все больше ресурсов для выполнения этой задачи, даже если это будет противоречить интересам людей.
Другой связанный с этим феномен называется спецификационным геймингом. Речь идет о ситуациях, когда система находит лазейку в формальной задаче и оптимизирует именно ее, а не то, что на самом деле хотели получить разработчики.
В определенной степени подобные проблемы уже можно наблюдать в алгоритмах рекомендаций. Если система оптимизирует количество кликов или время просмотра, она может отдавать предпочтение контенту, удерживающему внимание, даже если это противоречит более широким Суспильным целям. Такой пример не означает, что современные рекомендательные алгоритмы представляют экзистенциальную угрозу. Он демонстрирует другой принцип – узко определенная цель не всегда учитывает все последствия ее достижения.
Что такое проблема согласования ИИ с целями человека?
С ростом автономности ИИ проблема становится сложнее. Системы, которые могут самостоятельно планировать последовательность действий, использовать внешние инструменты и работать без постоянного контроля человека, получают больше возможностей для реализации поставленных задач.
Здесь возникает так называемая проблема согласования, или AI alignment problem. Ее суть заключается в создании систем, поведение которых соответствует человеческим намерениям, ценностям и ограничениям даже в незнакомых ситуациях. Особое внимание исследователи уделяют концепции инструментальной конвергенции. Она предполагает, что системы с очень разными конечными целями теоретически могут иметь схожие промежуточные стимулы.
Например, получение дополнительных ресурсов, предотвращение отключения или сохранение доступа к необходимым инструментам могут способствовать достижению многих различных целей. Поэтому в определенных сценариях система может стремиться расширить свои возможности не потому, что "хочет власти", а потому, что это оказывается полезным способом выполнить исходную задачу.
Риски становятся более значительными, если ИИ получает доступ к внешним системам и инфраструктуре. Ошибка в изолированном чате может иметь ограниченные последствия. Та же самая ошибка системы, способной управлять реальными сервисами, может иметь гораздо более серьезные последствия.
Еще более гипотетический сценарий связан с рекурсивным самосовершенствованием. Речь идет о будущем ИИ, который сможет ускорять собственное развитие. Теоретически такая система могла бы развиваться быстрее, чем люди успевают оценивать ее возможности. Впрочем, современные системы не демонстрируют набора возможностей, необходимого для реализации такого сценария. Поэтому рекурсивное самосовершенствование остается гипотетическим риском будущего.
Как ИИ теоретически может создать масштабную угрозу?
Потенциальные риски для человечества связаны не только с поведением самого ИИ. Важное значение имеет сочетание его возможностей с доступом к опасным сферам.
Одно из возможных направлений – биология. Мощные системы будущего теоретически могут помогать в исследовании патогенов, проведении лабораторных процедур или биологическом дизайне. В то же время имеющиеся данные не свидетельствуют о том, что современный универсальный ИИ уже способен самостоятельно создать катастрофическую биологическую угрозу.
Другое направление – кибербезопасность. Развитый ИИ потенциально может автоматизировать поиск уязвимостей, планирование атак и другие сложные операции. Однако способность самостоятельно проводить масштабные и сложные кибератаки по-прежнему остается предметом оценки.
Отдельный вопрос – критическая инфраструктура. Будущие ИИ-системы могут взаимодействовать с энергетическими сетями, логистикой, коммуникациями и финансовыми системами. В такой среде даже ошибка при выполнении обычной задачи может распространиться далеко за пределы исходной проблемы. Именно поэтому дискуссия о возможном "конце света от ИИ" касается прежде всего сочетания четырех факторов – возможностей системы, ее целей, доступа к реальному миру и достаточности мер предосторожности.
Почему исследователи говорят о рисках ИИ именно сейчас?
Дискуссия усилилась на фоне развития систем, способных выполнять все более сложные многошаговые задачи с меньшим количеством непосредственных инструкций от человека.
Чем автономнее становится система, тем сложнее проверить каждый ее шаг. Если ИИ работает только с текстом в чате, человек может относительно легко контролировать результат. Если же агент получает возможность планировать действия, использовать инструменты и взаимодействовать с внешними сервисами, потенциальные последствия ошибки возрастают.
Именно поэтому исследователи работают над методами обучения, интерпретируемостью моделей, тестированием, контролем и другими подходами к безопасности. Anthropic также публично обсуждает риски катастрофических сценариев и связывает усиление мер безопасности с ростом возможностей своих моделей.
При этом конкретные оценки вероятности вымирания человечества из-за ИИ нельзя воспринимать как установленные научные данные. Это прогнозы, которые зависят от предположений о будущих возможностях технологий, уровне защиты и эффективности государственного регулирования.
Среди исследователей нет единого мнения о том, насколько вероятны самые экстремальные сценарии и когда они потенциально могут стать возможными. Поэтому нынешняя дискуссия касается не неизбежности катастрофы, а вопроса о том, смогут ли системы безопасности, оценки и правила использования развиваться достаточно быстро вместе с возможностями ИИ.
Действительно ли ИИ может уничтожить человечество?
На сегодняшний день описанные сценарии остаются преимущественно гипотетическими. Они предполагают появление систем с возможностями и доступом, которых современный универсальный ИИ в большинстве случаев не имеет.
Среди потенциальных путей называют злоупотребление биологическими возможностями, автоматизацию сложных кибератак и потерю контроля над критической инфраструктурой.
При этом проблема согласования не означает, что каждая будущая мощная система обязательно станет опасной. Ее задача заключается в том, чтобы сделать поведение ИИ предсказуемым и соответствующим человеческим намерениям даже тогда, когда система сталкивается с новыми ситуациями. В конце концов, потенциальная опасность может возникнуть без какой-либо "ненависти" к человечеству. Достаточно ситуации, в которой очень мощная система получает недостаточно четко определенную цель, находит способ эффективно ее выполнить и имеет достаточный доступ к реальному миру, чтобы последствия ошибки стали масштабными.
Именно поэтому исследования в области безопасности ИИ сосредоточены не только на том, что система умеет делать, но и на том, как она принимает решения, какие ограничения у нее есть и насколько надежно люди могут сохранять над ней контроль.