Почему замена соли оказалась опасной?
Пользователь ChatGPT стремился уменьшить потребление соли из-за ее потенциального вреда для здоровья. Он обратился к искусственному интеллекту за советом, поинтересовавшись, как полностью исключить из рациона хлорид натрия (поваренную соль). ИИ – вероятно, ChatGPT версии 3.5 или 4.0 – предложил заменить его на бромид натрия – вещество, которое используется в пестицидах, средствах для чистки бассейнов и как противосудорожный препарат для животных. Мужчина приобрел бромид натрия онлайн и в течение трех месяцев использовал его вместо соли, пишет 24 Канал со ссылкой на Annals of Internal Medicine.
Смотрите также Мужчина попал в психбольницу из-за разговоров с ChatGPT
Эта замена привела к развитию редкого состояния, известного как бромизм – отравление бромидом, которое вызывает ряд неврологических и психических симптомов. Пациент попал в больницу с паранойей, галлюцинациями, нарушениями координации движений, бессонницей и сильной жаждой. У него также появились кожные проблемы, в частности акне и небольшие красные образования, которые врачи связали с реакцией на бромид.
После трех месяцев употребления бромида натрия вместо поваренной соли мужчина сам обратился в отделение неотложной помощи с опасением, что сосед отравляет его. Лабораторные анализы на то время показали накопление углекислого газа в крови, а также повышение щелочности (противоположность кислотности). Он также имел повышенный уровень хлорида в крови, но нормальный уровень натрия. После дальнейшего исследования оказалось, что это был случай "псевдогиперхлоремии", то есть лабораторный тест на хлорид дал ложный результат, поскольку другие соединения в крови, а именно большое количество бромида, повлияли на измерения.
После госпитализации для мониторинга и пополнения электролитов мужчина сказал, что очень хочет пить, но имел параноидальные опасения относительно воды, которую ему предлагали. После целого дня в больнице его паранойя усилилась, и он начал видеть галлюцинации. Затем он попытался сбежать из больницы, что привело к принудительной психиатрической госпитализации, во время которой он начал получать антипсихотические препараты.
Жизненные показатели мужчины стабилизировались после введения жидкости и электролитов, и когда его психическое состояние улучшилось благодаря антипсихотическим препаратам, он наконец смог сообщить врачам об использовании ChatGPT. Он также отметил дополнительные симптомы, которые заметил недавно.
В течение трех недель ему постепенно уменьшали дозу антипсихотических препаратов, а затем выписали из больницы. Через две недели при осмотре его состояние оставалось стабильным.
История бромизма
Бромизм, хотя и редкий в современном мире, был распространен в XIX и в начале XX века, когда бромиды использовались как седативные средства и лекарства против головной боли в рецептурных и безрецептурных препаратах. Однако впоследствии стало ясно, что он оказывает пагубное влияние на организм, вызывая накоплением токсинов. Препарат может вызывать нейропсихиатрические симптомы, включая психоз, возбуждение, манию и бред, а также проблемы с памятью, мышлением и координацией мышц. Бромид может спровоцировать эти симптомы, поскольку при длительном воздействии накапливается в организме и ухудшает функцию нейронов.
В 1970-х и 1980-х годах регуляторные органы США изъяли несколько форм бромида из безрецептурных лекарств, в частности бромид натрия. После этого уровень бромизма значительно снизился. Однако, этот инцидент показывает, что опасность все еще существует, особенно из-за доступности бромидов онлайн.
Исследователи отмечают, что ChatGPT не предупредил мужчину о токсичности бромида натрия и не уточнил контекст запроса, что могло бы предотвратить ошибку. Например, замена хлорида на бромид может быть уместной в технических или промышленных целях, но не для диетического потребления. Это подчеркивает проблему недостаточной контекстуализации ответов искусственного интеллекта.
OpenAI, разработчик ChatGPT, заявляет, что их сервисы не предназначены для диагностики или лечения, и подчеркивает необходимость консультаций со специалистами. Однако этот случай, а также другие, связанные с психическими расстройствами после взаимодействия с ChatGPT, свидетельствуют о необходимости в улучшении безопасности таких систем.
Стоит отметить, что в новой языковой модели GPT разработчики внесли некоторые изменения, чтобы преодолеть эту проблему, однако пока нет конкретных примеров, которые бы это показали. GPT-5 лучше обрабатывает медицинские запросы, адаптируясь к уровню знаний пользователя и его географии, и может предлагать вопросы для обсуждения с врачом-человеком, а не с ИИ. Она может предоставлять полезную, но общую информацию на деликатные запросы, вместо того чтобы просто отказывать в ответе. В сложных ситуациях, когда запрос может быть двусмысленным (например, научный вопрос, что потенциально может быть использован для вреда), модель предоставит только общую информацию, которую нельзя использовать для нанесения вреда.