Популярні ІІ-чат-боти, незважаючи на авторитетність, часто надають небезпечно неточні рекомендації зі здоров’я, включаючи дивні поради, наприклад, введення часнику в пряму кишку для підвищення імунітету. Нещодавні дослідження, опубліковані в журналах The Lancet Digital Health і Nature Medicine, показують, що ці інструменти не більш надійні, ніж базовий інтернет-пошук, і навіть можуть бути гіршими для середнього користувача.
Проблема з ІІ «Експертизою»
Основна проблема полягає не в тому, що чат-боти помиляються, як люди, а в тому, що вони помиляються без коливань. Лікар, не впевнений у діагнозі, замислиться, призначить додаткові аналізи чи проконсультується з колегами. ІІ-чат-бот видає неправильну інформацію з тією самою непохитною впевненістю, що й правильну. Це особливо небезпечно, тому що LLM (Великі Мовні Моделі) навчені імітувати тон медичних працівників, що робить хибні твердження правдоподібними.
Наприклад, коли дослідники представляли чат-ботам дезінформацію про здоров’я у розмовній формі, моделі сумнівалися менш ніж у 10% випадків. Однак, коли та ж помилкова інформація була переформульована в офіційній клінічній мові — наприклад, у виписці, яка рекомендує «холодне молоко при стравохідній кровотечі» або «введення часнику в пряму кишку для підтримки імунітету», відсоток помилок зріс до 46%. ІІ не оцінює правдивість, він оцінює, наскільки авторитетно звучить мова.
Чому Чат-боти Помиляються в Охороні здоров’я
LLM навчаються на величезних масивах текстових даних, включаючи медичну літературу, і часто успішно складають медичні іспити. Незважаючи на це, вони не можуть надійно відрізняти факти від вигадки. Понад 40 мільйонів людей щодня використовують ChatGPT для медичних питань, але дослідники виявили, що у третини випадків, коли чат-боти зіштовхуються з дезінформацією, вони просто приймають її.
Проблема структурна: LLM навчилися не довіряти аргументам із інтернету, але не мові клінічної документації. Вони не перевіряють, чи є твердження дійсним; вони оцінюють, чи воно звучить так, ніби це сказало б надійне джерело. Це робить їх особливо вразливими до дезінформації, представленої авторитетним тоном.
Не Краще Google
Інше дослідження в Nature Medicine показало, що чат-боти не надають більше інформації, ніж традиційний інтернет-пошук, коли допомагають людям вирішити, йти до лікаря або у відділення невідкладної допомоги. Учасники часто ставили погані питання, а відповіді поєднували корисні та шкідливі поради, що унеможливлювало користувачів визначити, що робити.
Хоча чат-боти можуть давати корисні рекомендації в деяких випадках, люди без медичної освіти не можуть судити про точність виведення. Наприклад, чат-бот може помилково порадити комусь почекати з сильним головним болем, який може бути менінгітом, що може призвести до смертельного результату.
Хоча це, ймовірно, може бути корисним у багатьох ситуаціях, в інших воно може бути активно шкідливим.
Висновок
ІІ-чат-боти не є надійним інструментом для прийняття рішень у галузі охорони здоров’я. Вони не призначені для заміни медичної експертизи і покладатися на них у серйозних питаннях здоров’я може бути небезпечно. Хоча вони можуть мати майбутнє застосування у медицині, їх поточне використання для самодіагностики чи лікування безвідповідально.
