Populární chatboti s umělou inteligencí, přestože se zdají být autoritativní, často poskytují nebezpečně nepřesné zdravotní rady, včetně podivných rad, jako je vkládání česneku do konečníku pro posílení imunity. Nedávný výzkum publikovaný v The Lancet Digital Health a Nature Medicine ukazuje, že tyto nástroje nejsou spolehlivější než základní vyhledávání na internetu – a pro běžného uživatele mohou být dokonce horší.
Problém s AI “Odbornost”
Hlavním problémem není to, že chatboti dělají chyby jako lidé, ale že chybují bez váhání. Lékař, který si není jistý diagnózou, se zamyslí, předepíše další testy nebo se poradí s kolegy. AI chatbot dodává nesprávné informace se stejnou neotřesitelnou jistotou jako správné informace. To je obzvláště nebezpečné, protože LLM (Large Language Models) jsou vyškoleni k napodobování tónu lékařských profesionálů, což způsobuje, že nepravdivá prohlášení vypadají věrohodně.
Když například výzkumníci prezentovali chatbotům dezinformace o zdraví konverzačním způsobem, modely byly pochybné v méně než 10 % případů. Když však byly stejné dezinformace přeformulovány do formálního klinického jazyka – například v prohlášení doporučujícím „studené mléko na krvácení z jícnu“ nebo „vstřikování česneku do konečníku na podporu imunity“ – chybovost vzrostla na 46 %. AI nehodnotí pravdivost, ale jak autoritativně jazyk zní.
Proč se chatboti ve zdravotnictví mýlí
LLM jsou vyškoleni na obrovském množství textových dat, včetně lékařské literatury, a často si vedou dobře při lékařských prohlídkách. Přesto nedokážou spolehlivě odlišit skutečnost od fikce. Více než 40 milionů lidí používá ChatGPT denně k lékařským otázkám, ale vědci zjistili, že zhruba ve třetině případů, kdy se chatboti setkají s dezinformacemi, je prostě přijmou.
Problém je strukturální: LLM se naučili nedůvěřovat argumentům z internetu, ale ne jazyku klinické dokumentace. Nekontrolují, zda je tvrzení pravdivé; hodnotí, zda to zní jako něco, co by řekl spolehlivý zdroj. Díky tomu jsou obzvláště zranitelní vůči dezinformacím prezentovaným autoritativním tónem.
Není lepší než Google
Jiná studie v Nature Medicine zjistila, že chatboti neposkytují více informací než tradiční internetové vyhledávání, když lidem pomáhají rozhodnout se, zda jít k lékaři nebo na pohotovost. Účastníci často kladli špatné otázky a odpovědi kombinovaly užitečné a škodlivé rady, takže uživatelé nemohli určit, co mají dělat.
Zatímco chatboti mohou poskytnout užitečná doporučení v některých případech, nelékaři nemohou posoudit přesnost výstupu. Chatbot by například mohl někomu nesprávně poradit, aby počkal se silnou bolestí hlavy, která by mohla být meningitidou, která může být smrtelná.
I když to může být v mnoha situacích pravděpodobně užitečné, v jiných může být aktivně škodlivé.
Závěr
AI chatboti nejsou spolehlivými nástroji pro rozhodování v oblasti veřejného zdraví. Nejsou určeny k tomu, aby nahradily lékařské znalosti, a spoléhat se na ně ve vážných zdravotních záležitostech může být nebezpečné. Ačkoli mohou mít budoucí využití v medicíně, jejich současné použití pro vlastní diagnostiku nebo léčbu je nezodpovědné.
