ChatGPT recomienda tratamientos de cáncer incorrectos, según dicen investigadores
jueves, 24 de agosto de 2023
Alrededor de 12% de las respuestas contenían “alucinaciones”, es decir, recomendaciones que no aparecen en ninguna parte de las directrices
Bloomberg
Por cercanos y tentadores que parezcan, los regímenes de tratamiento del cáncer diseñados por herramientas de inteligencia artificial están plagados de errores y es probable que aún les falten años.
Los investigadores del Brigham and Women's Hospital descubrieron que los planes de tratamiento del cáncer diseñados por ordenador y generados por ChatGPT de OpenAI Inc. adolecían de un problema familiar: Las recomendaciones de tratamiento inadecuadas se entremezclaban con las correctas, lo que las hacía especialmente difíciles de distinguir, según el estudio publicado el jueves en la revista.
ChatGPT “habla a menudo de una manera muy segura que parece tener sentido, y la forma en que puede mezclar información incorrecta y correcta es potencialmente peligrosa”, dijo Danielle Bitterman, oncóloga y coautora del estudio en el programa de Inteligencia Artificial en Medicina del sistema de salud Mass General Brigham. "Es difícil incluso para un experto identificar cuál es la recomendación incorrecta".
Aunque casi todas las respuestas de ChatGPT incluían al menos una recomendación acorde con las directrices de la National Comprehensive Cancer Network, los investigadores descubrieron que alrededor de un tercio también contenían sugerencias incorrectas.Alrededor de 12% de las respuestas contenían “alucinaciones”, es decir, recomendaciones que no aparecen en ninguna parte de las directrices, señalaron los investigadores.
Aunque las herramientas de IA generativa pueden no ser precisas como para depender de ellas para los planes de tratamiento del cáncer, se habla mucho más de las tecnologías que tienen el potencial de ayudar a detectar el cáncer precozmente, cuando es más probable que se trate con éxito. OpenAI ha subrayado que ChatGPT puede ser poco fiable, inventar información y requiere "mucho cuidado", especialmente para "contextos de alto riesgo".
Los médicos tienen la esperanza de que la inteligencia artificial pueda ayudar a aligerar sus cargas administrativas, dijo Bitterman, pero las preocupaciones sobre la precisión y la privacidad significan que los grandes modelos de lenguaje como ChatGPT están a años de distancia de ser ampliamente adoptados en los consultorios médicos y hospitales.
"Es impresionante que, en casi todos los casos, incluyera una recomendación de necesidad de pauta", afirma. Dada su amplia base de conocimientos, es casi como si ChatGPT hubiera asistido a la facultad de medicina "pero no a la residencia", la formación clínica avanzada que reciben los médicos después de licenciarse.