Почему доверие к чат-боту может быть рискованным?

Генерал-майор Уильям "Хэнк" Тейлор, возглавляющий 8-ю полевую армию США в Южной Корее, недавно сообщил журналистам, что в последнее время он очень сблизился с ChatGPT. По его словам, он использует популярный чат-бот, чтобы принимать "лучшие" военные и личные решения, касающиеся солдат под его командованием, пишет 24 Канал со ссылкой на Business Insider.

Смотрите также Чат-боты работают лучше, если вы обращаетесь к ним этим конкретным способом

Генерал Тейлор также занимает должность начальника штаба совместного командования ООН в Южной Корее. Он объяснил свое решение желанием принимать решения вовремя, чтобы получить тактическое преимущество. "Мы с Чатом" стали "очень близкими в последнее время", сказал Тейлор журналистам, когда рассказывал им о том, как экспериментирует с генеративными чат-ботами.

Я прошу строить, пытаюсь создавать модели, которые помогут всем нам,
– добавляет он.

Такое заявление от ведущего американского военного в регионе с одной из самых длительных геополитических напряженностей в мире вызвало значительное беспокойство. Проблема в том, что ChatGPT известен своей склонностью генерировать ответы, которые угождают пользователю, даже если они ложные. ИИ буквально ставит вовлеченность выше точности, он может подтвердить ложное суждение, а не указать на ошибку. В отдельных случаях такое поведение ИИ приводило к трагическим последствиям, в частности ухудшению психического состояния пользователей.

OpenAI борется с недостатками чат-бота: какие успехи?

Компания OpenAI, разработчик ChatGPT, пыталась решить эту проблему с выпуском новой, более обоснованной модели GPT-5. Однако после массовых жалоб пользователей, которым не понравилась сдержанность чат-бота, компания вернула ему предыдущие черты, которые можно охарактеризовать как "подхалимские", пишет Futurism.

Кроме того, исследования показали, что даже обновленная модель GPT-5 генерирует ложную информацию о базовых фактах в более чем половине случаев. Этот показатель является проблематичным даже для бытового использования, не говоря уже об управлении американскими военными силами в таком стратегически важном и напряженном регионе, как Корейский полуостров, где США сохраняют военное присутствие с 1945 года.

Доверие к инструменту с такой репутацией в вопросах, от которых зависят жизни людей и международная безопасность, выглядит как чрезвычайно рискованный шаг. Эксперты опасаются, что использование подобных технологий может привести к непредсказуемым и потенциально катастрофическим последствиям.