Os populares chatbots de IA, apesar de parecerem confiáveis, frequentemente fornecem conselhos de saúde perigosamente imprecisos, incluindo recomendações bizarras, como a inserção de alho por via retal para aumentar a imunidade. Estudos recentes da The Lancet Digital Health e da Nature Medicine revelam que estas ferramentas não são mais fiáveis ​​do que uma pesquisa básica na Internet – e podem até ser piores para o utilizador médio.

O problema com a “especialização” em IA

A questão central não é que os chatbots falhem como os humanos; é que eles falham sem hesitação. Um médico humano, inseguro quanto ao diagnóstico, faria uma pausa, solicitaria mais exames ou consultaria colegas. Um chatbot de IA fornece informações incorretas com a mesma confiança inabalável de um conselho correto. Isto é especialmente perigoso porque os LLMs (Large Language Models) são treinados para imitar o tom dos profissionais médicos, fazendo com que afirmações falsas pareçam legítimas.

Por exemplo, quando os investigadores apresentaram aos chatbots informações médicas erradas em linguagem casual, os modelos mostraram-se céticos menos de 10% das vezes. No entanto, quando a mesma alegação falsa foi reembalada em linguagem clínica formal – como uma nota de alta recomendando “leite frio para sangramento esofágico” ou “inserção de alho retal para suporte imunológico” – a taxa de falha saltou para 46%. A IA não está avaliando a verdade, está avaliando o quão autorizada a linguagem soa.

Por que os chatbots falham na área da saúde

Os LLMs são treinados em grandes conjuntos de dados de texto, incluindo literatura médica, e muitas vezes passam em exames de licenciamento médico com pontuações altas. Apesar disso, eles não conseguem distinguir com segurança entre fato e ficção. Mais de 40 milhões de pessoas usam o ChatGPT diariamente para perguntas médicas, mas os pesquisadores descobriram que aproximadamente uma em cada três vezes que os chatbots encontram informações erradas, eles simplesmente as aceitam.

A questão é estrutural: os LLMs aprenderam a desconfiar dos argumentos da Internet, mas não da linguagem da documentação clínica. Eles não testam se uma afirmação é verdadeira; eles avaliam se parece algo que uma fonte confiável diria. Isto torna-os particularmente vulneráveis ​​à desinformação apresentada em tom autoritário.

Não é melhor que o Google

Um estudo separado na Nature Medicine descobriu que os chatbots não oferecem mais informações do que uma pesquisa tradicional na Internet ao ajudar as pessoas a decidir se devem consultar um médico ou ir ao pronto-socorro. Os participantes muitas vezes faziam perguntas ruins e as respostas combinavam conselhos bons e ruins, impossibilitando que os usuários determinassem o que fazer.

Embora os chatbots possam fornecer recomendações úteis em alguns casos, pessoas sem conhecimento médico não têm como avaliar a precisão do resultado. Por exemplo, um chatbot pode aconselhar incorretamente alguém a esperar para ver uma forte dor de cabeça que pode ser meningite, um erro potencialmente fatal.

Embora provavelmente possa ser útil em muitas situações, pode ser ativamente prejudicial em outras.

O resultado final

Os chatbots de IA não são uma ferramenta confiável para decisões de saúde pública. Eles não se destinam a substituir os conhecimentos médicos, e confiar neles para questões graves de saúde pode ser perigoso. Embora possam ter aplicações futuras na medicina, a sua utilização atual para autodiagnóstico ou tratamento é irresponsável.

попередня статтяA gravidez precoce pode reduzir o risco de câncer de mama: estranhezas celulares fornecem pistas
наступна статтяA parceria esquecida: por que os humanos devem se reconectar com o mundo natural