Popularne chatboty AI, mimo że wyglądają na wiarygodne, często udzielają niebezpiecznie niedokładnych porad zdrowotnych, w tym dziwnych porad, takich jak wkładanie czosnku do odbytnicy w celu zwiększenia odporności. Niedawne badania opublikowane w The Lancet Digital Health i Nature Medicine pokazują, że narzędzia te nie są bardziej niezawodne niż podstawowe wyszukiwanie w Internecie, a dla przeciętnego użytkownika mogą być nawet gorsze.
Problem z „ekspertyzą” AI
Głównym problemem nie jest to, że chatboty popełniają błędy jak ludzie, ale to, że popełniają je bez wahania. Lekarz, który nie jest pewien diagnozy, zastanowi się nad tym, przepisze dodatkowe badania lub skonsultuje się ze współpracownikami. Chatbot AI dostarcza nieprawidłowe informacje z taką samą niezachwianą pewnością, jak informacje prawidłowe. Jest to szczególnie niebezpieczne, ponieważ LLM (modele wielkojęzykowe) są szkoleni w zakresie naśladowania tonu lekarzy, dzięki czemu fałszywe stwierdzenia wydają się wiarygodne.
Na przykład, gdy badacze przedstawiali chatbotom błędne informacje na temat zdrowia w sposób konwersacyjny, modele budziły wątpliwości w mniej niż 10% przypadków. Kiedy jednak tę samą dezinformację przeformułowano w formalny język kliniczny – na przykład w oświadczeniu zalecającym „zimne mleko na krwawienie z przełyku” lub „wstrzykiwanie czosnku do odbytnicy w celu wsparcia odporności” – wskaźnik błędów wzrósł do 46%. Sztuczna inteligencja nie ocenia prawdomówności, ocenia, jak autorytatywnie brzmi język.
Dlaczego chatboty nie sprawdzają się w służbie zdrowia
LLM są szkoleni w oparciu o ogromne ilości danych tekstowych, w tym literaturę medyczną, i często dobrze wypadają na egzaminach lekarskich. Mimo to nie potrafią wiarygodnie odróżnić faktu od fikcji. Ponad 40 milionów ludzi codziennie korzysta z ChatGPT w przypadku pytań medycznych, ale badacze odkryli, że w około jednej trzeciej przypadków, gdy chatboty napotykają dezinformację, po prostu ją akceptują.
Problem ma charakter strukturalny: studenci LLM nauczyli się nie ufać argumentom płynącym z Internetu, ale nie językowi dokumentacji klinicznej. Nie sprawdzają, czy zdanie jest prawdziwe; oceniają, czy brzmi to jak coś, co powiedziałoby wiarygodne źródło. To czyni ich szczególnie podatnymi na dezinformację przedstawioną w autorytatywnym tonie.
Nie lepiej niż Google
Inne badanie opublikowane w Nature Medicine wykazało, że chatboty nie dostarczały więcej informacji niż tradycyjne wyszukiwania w Internecie, pomagając ludziom zdecydować, czy udać się do lekarza, czy na pogotowie. Uczestnicy często zadawali złe pytania, a odpowiedzi łączyły w sobie pomocne i szkodliwe porady, uniemożliwiając użytkownikom podjęcie decyzji, co zrobić.
Chociaż chatboty mogą w niektórych przypadkach dostarczać przydatnych rekomendacji, osoby niemedyczne nie są w stanie ocenić dokładności wyników. Na przykład chatbot może błędnie doradzić komuś, aby poczekał z silnym bólem głowy, który może oznaczać zapalenie opon mózgowo-rdzeniowych, które może zakończyć się śmiercią.
Chociaż może to być prawdopodobnie przydatne w wielu sytuacjach, w innych może być aktywnie szkodliwe.
Wniosek
Chatboty AI nie są niezawodnymi narzędziami do podejmowania decyzji dotyczących zdrowia publicznego. Nie mają one na celu zastąpienia wiedzy lekarskiej, a poleganie na nich w poważnych kwestiach zdrowotnych może być niebezpieczne. Chociaż mogą mieć w przyszłości zastosowania w medycynie, ich obecne wykorzystanie do autodiagnostyki lub leczenia jest nieodpowiedzialne.
