¿La IA ayuda o perjudica el desempeño de los radiólogos humanos? Depende del medico

Una de las promesas más promocionadas de las herramientas de inteligencia artificial médica es su capacidad para aumentar el desempeño de los médicos humanos ayudándolos a interpretar imágenes como rayos X y tomografías computarizadas con mayor precisión para realizar diagnósticos más precisos.

Pero los beneficios del uso de herramientas de inteligencia artificial en la interpretación de imágenes parecen variar de un médico a otro, según una nueva investigación dirigida por investigadores de la Facultad de Medicina de Harvard, en colaboración con colegas del MIT y Stanford.

Los hallazgos del estudio sugieren que las diferencias entre los médicos individuales dan forma a la interacción entre humanos y máquinas de maneras críticas que los investigadores aún no comprenden completamente. El analisis, publicado en Medicina de la naturalezase basa en datos de un estudio anterior hoja de trabajo por el mismo grupo de investigación, publicado por la Oficina Nacional de Investigaciones Económicas.

En algunos casos, según demostró la investigación, el uso de la IA puede interferir con una radiólogodel desempeño e interferir con la exactitud de su interpretación.

«Descubrimos que, de hecho, diferentes radiólogos reaccionan de manera diferente a la asistencia de la IA: algunos reciben ayuda mientras que otros resultan perjudicados», dijo el coautor principal Pranav Rajpurkar, profesor asistente de informática biomédica en el Instituto Blavatnik del HMS.

«Lo que esto significa es que no debemos considerar a los radiólogos como una población uniforme y considerar sólo el efecto ‘promedio’ de la IA en su desempeño», dijo. «Para maximizar los beneficios y minimizar los daños, necesitamos personalizar los sistemas de asistencia de IA».

Los hallazgos subrayan la importancia de una implementación cuidadosamente calibrada de la IA en Práctica clinicapero de ninguna manera deberían desalentar la adopción de la IA en los consultorios y clínicas de los radiólogos, dijeron los investigadores.

En cambio, los resultados deberían señalar la necesidad de comprender mejor cómo interactúan los humanos y la IA y diseñar enfoques cuidadosamente calibrados que mejoren el desempeño humano en lugar de perjudicarlo.

«Los médicos tienen diferentes niveles de conocimientos, experiencia y estilos de toma de decisiones, por lo que garantizar que la IA refleje esta diversidad es fundamental para una implementación específica», dijo Feiyang «Kathy» Yu, quien dirigió el trabajo mientras estaba en el laboratorio de Rajpurkar con el codirector autor del artículo con Alex Moehring en la MIT Sloan School of Management.

«Los factores individuales y la variación serían clave para garantizar que la IA avance en lugar de interferir con el desempeño y, en última instancia, con el diagnóstico», dijo Yu.

Las herramientas de IA afectaron a diferentes radiólogos de manera diferente

Si bien investigaciones anteriores han demostrado que los asistentes de IA pueden mejorar el rendimiento diagnóstico de los radiólogos, estos estudios han analizado a los radiólogos en su conjunto sin tener en cuenta la variabilidad de un radiólogo a otro.

Por el contrario, el nuevo estudio analiza cómo los factores médicos individuales (área de especialidad, años de práctica, uso previo de herramientas de IA) entran en juego en la colaboración entre humanos y IA.

Los investigadores examinaron cómo las herramientas de inteligencia artificial afectaron el desempeño de 140 radiólogos en 15 tareas de diagnóstico por rayos X: con qué confiabilidad los radiólogos pudieron detectar características reveladoras en una imagen y hacer un diagnóstico preciso. El análisis involucró 324 casos de pacientes con 15 patologías: condiciones anormales capturadas en radiografías del tórax.

Para determinar cómo la IA afectaba la capacidad de los médicos para detectar e identificar correctamente los problemas, los investigadores utilizaron métodos computacionales avanzados que capturaron la magnitud del cambio en el rendimiento cuando se usaba la IA y cuando no se usaba.

El efecto de la asistencia de la IA fue inconsistente y varió entre los radiólogos, y el desempeño de algunos radiólogos mejoró con la IA y empeoró en otros.

Las herramientas de inteligencia artificial influyeron en el desempeño humano de manera impredecible

Los efectos de la IA en el desempeño de los radiólogos humanos variaron de maneras a menudo sorprendentes.

Por ejemplo, contrariamente a lo que esperaban los investigadores, factores como cuántos años de experiencia tenía un radiólogo; si se especializaban en radiología torácica o de tórax; y si habían usado lectores de IA antes no predijo de manera confiable cómo una herramienta de IA afectaría el desempeño de un médico.

Otro hallazgo que desafió la sabiduría predominante: los médicos que tenían un rendimiento bajo al inicio no se beneficiaron consistentemente de la asistencia de la IA. Algunos se beneficiaron más, otros menos y otros ninguno en absoluto. Sin embargo, en general, los radiólogos de menor rendimiento al inicio del estudio tuvieron un rendimiento inferior con o sin IA. Lo mismo ocurrió entre los radiólogos que obtuvieron mejores resultados al inicio del estudio. Se desempeñaron consistentemente bien, en general, con o sin IA.

Luego vino un hallazgo no tan sorprendente: las herramientas de IA más precisas mejoraron el desempeño de los radiólogos, mientras que las herramientas de IA de bajo rendimiento disminuyeron la precisión del diagnóstico de los médicos humanos.

Si bien el análisis no se realizó de una manera que permitiera a los investigadores determinar por qué sucedió esto, el hallazgo apunta a la importancia de probar y validar el rendimiento de la herramienta de IA antes de su implementación clínica, dijeron los investigadores. Estas pruebas previas podrían garantizar que una IA inferior no interfiera con el desempeño de los médicos humanos y, por lo tanto, con la atención al paciente.

¿Qué significan estos hallazgos para el futuro de la IA en la clínica?

Los investigadores advirtieron que sus hallazgos no proporcionan una explicación de por qué y cómo las herramientas de IA parecen afectar el rendimiento de los médicos humanos de manera diferente, pero señalan que comprender por qué sería fundamental para garantizar que las herramientas de radiología de IA mejoren rendimiento humano en lugar de lastimarlo.

Para ello, señaló el equipo, los desarrolladores de IA deberían trabajar con los médicos que utilizan sus herramientas para comprender y definir los factores precisos que entran en juego en la interacción entre humanos y IA.

Los investigadores agregaron que la interacción radiólogo-IA debe probarse en entornos experimentales que imiten escenarios del mundo real y reflejen la población de pacientes real para la cual están diseñadas las herramientas.

Además de mejorar la precisión de las herramientas de IA, también es importante capacitar a los radiólogos para detectar predicciones de IA inexactas y cuestionar el diagnóstico de una herramienta de IA, afirmó el equipo de investigación. Para lograrlo, los desarrolladores de IA deben asegurarse de diseñar modelos de IA que puedan «explicar» sus decisiones.

«Nuestra investigación revela la naturaleza compleja y matizada de la interacción máquina-humano», dijo el coautor principal del estudio Nikhil Agarwal, profesor de economía en el MIT. «Destaca la necesidad de comprender la multitud de factores implicados en esta interacción y cómo influyen en el diagnóstico final y la atención de los pacientes».

Los autores adicionales incluyeron a Oishi Banerjee en HMS y Tobias Salz en MIT, quien fue coautor principal del artículo.