Популярные ИИ-чат-боты, несмотря на кажущуюся авторитетность, часто предоставляют опасно неточные рекомендации по здоровью, включая странные советы, например, введение чеснока в прямую кишку для повышения иммунитета. Недавние исследования, опубликованные в журналах The Lancet Digital Health и Nature Medicine, показывают, что эти инструменты не более надежны, чем базовый интернет-поиск, — и даже могут быть хуже для среднего пользователя.
Проблема с ИИ «Экспертизой»
Основная проблема заключается не в том, что чат-боты ошибаются, как люди, а в том, что они ошибаются без колебаний. Врач, не уверенный в диагнозе, задумается, назначит дополнительные анализы или проконсультируется с коллегами. ИИ-чат-бот выдаёт неверную информацию с той же непоколебимой уверенностью, что и правильную. Это особенно опасно, потому что LLM (Большие Языковые Модели) обучены имитировать тон медицинских работников, что делает ложные утверждения правдоподобными.
Например, когда исследователи представляли чат-ботам дезинформацию о здоровье в разговорной форме, модели сомневались менее чем в 10% случаев. Однако, когда та же ложная информация была переформулирована в официальном клиническом языке — например, в выписке, рекомендующей «холодное молоко при пищеводном кровотечении» или «введение чеснока в прямую кишку для поддержки иммунитета», — процент ошибок вырос до 46%. ИИ не оценивает правдивость, он оценивает, насколько авторитетно звучит язык.
Почему Чат-боты Ошибаются в Здравоохранении
LLM обучаются на огромных массивах текстовых данных, включая медицинскую литературу, и часто успешно сдают медицинские экзамены. Несмотря на это, они не могут надёжно отличать факты от вымысла. Более 40 миллионов человек ежедневно используют ChatGPT для медицинских вопросов, но исследователи обнаружили, что примерно в трети случаев, когда чат-боты сталкиваются с дезинформацией, они просто принимают её.
Проблема структурная: LLM научились не доверять аргументам из интернета, но не языку клинической документации. Они не проверяют, является ли утверждение истинным; они оценивают, звучит ли оно так, как будто это сказал бы надёжный источник. Это делает их особенно уязвимыми для дезинформации, представленной авторитетным тоном.
Не Лучше Google
Другое исследование в Nature Medicine показало, что чат-боты не предоставляют больше информации, чем традиционный интернет-поиск, когда помогают людям решить, идти ли к врачу или в отделение неотложной помощи. Участники часто задавали плохие вопросы, а ответы объединяли полезные и вредные советы, что делало невозможным для пользователей определить, что делать.
Хотя чат-боты могут давать полезные рекомендации в некоторых случаях, люди без медицинского образования не могут судить о точности вывода. Например, чат-бот может ошибочно посоветовать кому-то подождать с сильной головной болью, которая может быть менингитом, что может привести к смертельному исходу.
Хотя это, вероятно, может быть полезно во многих ситуациях, в других оно может быть активно вредным.
Вывод
ИИ-чат-боты не являются надёжным инструментом для принятия решений в области общественного здравоохранения. Они не предназначены для замены медицинской экспертизы, и полагаться на них в серьёзных вопросах здоровья может быть опасно. Хотя у них может быть будущее применение в медицине, их текущее использование для самодиагностики или лечения безответственно.
