Claude раскрывает темные секреты

Несмотря на то, что Anthropic давно позиционирует себя как разработчика ответственного ИИ с фокусом на этику и безопасность, недавняя конференция для разработчиков, которая должна была стать знаковым событием для компании, обернулась рядом громких споров. В центре внимания должна была быть презентация новейшей и самой мощной модели – Claude 4 Opus. Однако функция "морального мониторинга", встроенная в ИИ, вызвала шквал критики и поставила под сомнение заявленные ценности компании, сообщает 24 Канал со ссылкой на VentureBeat.

Смотрите также Новая ИИ модель Claude 4 от Anthropic обогнала всех конкурентов, но есть одна жуткая проблема

Особое возмущение вызвало право модели самостоятельно оценивать чью-то нравственность, а также принимать решение об уведомлении власти, если она считает поведение пользователя неэтичным. Это породило фундаментальные вопросы: должен ли искусственный интеллект судить человека, а также какие последствия это может иметь для пользователей в реальном мире?

По сообщению VentureBeat, как разработчики, так и широкая общественность выразили обеспокоенность тем, что подобная функция размывает грань между безопасностью и цифровым надзором. В то же время она ставит под угрозу конфиденциальность пользователей.

Вопросы еще больше обострились после выступления Сэма Боумена, исследователя по вопросам выравнивания ИИ в Anthropic. Он рассказал, что инструменты командной строки Claude 4 Opus могут как уведомлять власти, так и блокировать пользователей в случаях обнаружения "неэтичного поведения". Однако позже Боумен удалил свое сообщение в соцсети, объяснив, что его слова были ложно интерпретированы. Он отметил, что такое поведение модели якобы имело место только в экспериментальной среде с нетипичными разрешениями и подсказками, которые не имеют отношения к обычному пользовательскому опыту.

Что это значит для пользователя

Несмотря на эти уточнения, ущерба имиджу компании избежать не удалось. Демонстрация, которая должна была показать высокие этические стандарты Anthropic, вызвала обратный эффект – пользователи начали сомневаться в приватности взаимодействия с Claude 4 Opus. Это поставило компанию перед настоятельной необходимостью переосмыслить свой подход к прозрачности, безопасности и коммуникации с аудиторией.

Хотя мы легко можем сказать, что законопослушным пользователям бояться нечего, если они не пытаются создать химическое оружие или выяснить 10 лучших способов скрыть тело, но на самом деле никто не знает, как обрабатываются данные на стороне компании. Мы не знаем, как именно данные анализируются; нам неизвестно, какие данные могут передаваться правоохранителям и в каких объемах.

Допустим, вы рассказали ИИ, что порезались кухонным ножом и хотите найти лучшее средство для более быстрого заживления раны. Может ли ИИ ошибочно подумать, что вы кого-то ударили ножом и известить об этом полицию, слив весь ваш диалог? А что, если вы в этом же диалоге ранее обсуждали ваши интимные дела?

Похоже, компании еще долго придется очищать свою репутацию в эпоху, когда все зациклены на вопросах конфиденциальности.