Epic anunció la semana pasada la disponibilidad de un nuevo software que podría ayudar a los hospitales y sistemas de salud a evaluar y validar modelos de inteligencia artificial.
Dirigida a organizaciones de atención médica que de otro modo carecerían de recursos para validar adecuadamente sus modelos de inteligencia artificial y aprendizaje automático, la herramienta:que es de código abierto y está disponible gratuitamente en GitHub– está diseñado para ayudar a los proveedores a tomar decisiones basadas en sus propios datos y flujos de trabajo locales.
Epic está trabajando con elAsociación de IA para la saludy científicos de datos de la Universidad de Duke, la Universidad de Wisconsin y otras organizaciones para probar el «sismómetro» y desarrollar un lenguaje estandarizado compartido.
El conjunto de herramientas podría validar modelos de IA que mejoran la atención al paciente, elevan la equidad en salud y previenen el sesgo del modelo, según Corey Miller, vicepresidente de investigación y desarrollo de Epic.
Hablamos recientemente con Miller, junto con Mark Sendak, líder de ciencia de datos y salud de la población en el Instituto Duke para la Innovación en Salud y líder de Health AI Partnership (HAIP), y Brian Patterson, director de informática médica de UW Health para análisis predictivo e IA. para obtener más información sobre el software y cómo las organizaciones sanitarias pueden utilizarlo.
Los tres describieron cómo la herramienta de código abierto puede ayudar con los flujos de trabajo de los proveedores y los casos de uso clínico, los planes para analizar usos, contribuciones y mejoras, y cómo la credibilidad del código abierto se presta para ampliar el uso de la IA en la atención médica.
Un ‘embudo’ que utiliza datos locales
Un beneficio potencial importante de la herramienta de validación, dijo Miller, es la capacidad de usarla para profundizar en los datos y descubrir por qué una «clase protegida no está obteniendo resultados tan buenos como otras personas» y aprender qué intervenciones pueden mejorar los resultados de los pacientes.
El sismómetro, la primera herramienta de código abierto de Epic, está diseñado para que cualquier organización de atención médica pueda usarlo para evaluar cualquier modelo de IA, incluidos los modelos locales, con datos de la población local, dijo. La suite utiliza criterios de evaluación estandarizados con cualquier fuente de datos: cualquier registro médico electrónico (EHR) o sistema de gestión de riesgos, dijo Miller.
«El esquema de datos y el embudo simplemente toman datos de cualquier fuente», explicó. «Pero al estandarizar la forma en que se extraen los datos del sistema, se los ingiere y se los guarda en este cuaderno, que es efectivamente los datos con los que se puede ejecutar el código».
Los paneles y visualizaciones resultantes son «herramientas estándar de oro» que ya se utilizan para evaluar modelos de IA en entornos de atención médica.
Epic no obtiene ningún dato del usuario, ya que la intención es ejecutar la validación localmente, pero los desarrolladores y el personal de control de calidad del proveedor de EHR revisarán cualquier código sugerido para agregarlo a través de GitHub.
Código abierto para construir una IA confiable
Si bien la herramienta se basa en la tecnología que Epic ha desarrollado durante muchos años, Miller dijo que tomó alrededor de dos meses abrir el código fuente y crear componentes adicionales, esquemas de datos y plantillas de cuadernos.
Durante ese tiempo, dijo, Epic trabajó con científicos de datos y médicos de varias organizaciones de atención médica para probar la suite según sus propias predicciones locales.
El objetivo es «ayudar con un problema del mundo real», dijo.
Una herramienta del conjunto de sismómetros, llamada Auditoría de Equidad, se basa en unkit de herramientas de auditoríadesarrollado por la Universidad de Chicago y Carnegie Mellon para calificar la equidad de un modelo en diferentes clases protegidas y grupos demográficos, dijo Miller.
«Hoy en día, la mayoría de las organizaciones de atención médica no tienen las capacidades ni el personal para probar y monitorear modelos locales», agregó Sendak.
En diciembre, en la Reunión Anual de ONC 2023, Sendak y Jenny Ma, asesora principal de la Oficina de Derechos Civiles de Servicios Humanos y de Salud, dijeron, en unsesión centrada en abordar los prejuicios raciales en la IA– que durante la pandemia de COVID-19 quedó claro que los recursos sanitarios se estaban asignando injustamente.
«Fue una experiencia muy sorprendente ver de primera mano lo mal equipado que estaba no sólo Duke sino muchos sistemas de salud del país para atender a las poblaciones marginadas y de bajos ingresos», dijo Sendak.
Si bien HAIP y muchas otras instituciones de salud han estado validando la IA, Sendak dijo que esta nueva herramienta de validación de IA ofrece un «conjunto estándar de análisis que ahora será mucho más accesible» para muchas otras organizaciones.
«Es una oportunidad para difundir realmente las mejores prácticas dándoles a la gente las herramientas», afirmó.
La Universidad de Wisconsin trabajará con HAIP, un grupo de múltiples partes interesadas que comprende 10 organizaciones de atención médica y cuatro socios del ecosistema que se unieron para el aprendizaje entre pares y la colaboración para crear orientación para el uso de la IA en la atención médica, y la comunidad de usuarios para probar el código abierto. herramientas y hacer comparaciones «de manzanas con manzanas».
«Aunque tenemos un equipo de científicos de datos y estamos en uno de estos lugares con buenos recursos, tener herramientas que lo hagan más fácil beneficia a todos», dijo Patterson.
Tener las herramientas para procesos estándar «nos facilitaría la vida», pero también la comunidad comprometida de usuarios que validan juntos la herramienta de código abierto de Epic «es una de las cosas que generará confianza entre los usuarios finales», agregó.
Comparar entre organizaciones
Patterson dijo que el equipo de la Universidad de Wisconsin no ha elegido casos de uso específicos para probar con el sismómetro, pero el plan es comenzar con los modelos de IA más simples que utilizan.
«Ninguno de los modelos es súper simple, pero tenemos una variedad de modelos que ejecutamos desde Epic y algunos de los que nuestros equipos de investigación han desarrollado», dijo.
Aquellos que «funcionan con menos entradas, y específicamente los modelos que generan un ‘sí, no’, si esta condición existe o no, son buenos modelos en los que podemos generar algunas estadísticas tempranas».
Sendak dijo que HAIP está considerando una lista corta de modelos para su primer estudio de evaluación, que busca mejorar la usabilidad de las herramientas en entornos comunitarios y rurales que forman parte de su programa de asistencia técnica.
«Todos los modelos que estamos analizando implican cierta cantidad de reentrenamiento localizado en los parámetros del modelo», explicó.
«Podremos ver cómo funciona el modelo disponible en Duke y la Universidad de Wisconsin. Luego, después de realizar la localización en la que entrenamos con datos locales para actualizar el modelo, «Podré decir: ‘Está bien, ¿cómo se compara esta versión localizada ahora en todos los sitios?'»
«Creo que estas herramientas van a ser más efectivas al final en modelos que son bastante complejos», añadió Patterson. «Y la capacidad de hacerlo con menos recursos de ciencia de datos a su disposición democratiza ese proceso y, con suerte, expande bastante esa comunidad».
Validación de IA para el cumplimiento
Sendak dijo que las herramientas podrían ayudar a las organizaciones proveedoras a garantizar la equidad y descubrir dónde deben mejorar, y señaló que tienen 300 días para cumplir con las nuevas reglas de no discriminación.
«Tienen que mitigar los riesgos para evitar la discriminación», afirmó. «Serán responsables de la discriminación que resulte del uso de algoritmos».
ElRegla de no discriminación de la sección 1557, finalizado el mes pasado por la OCR, se aplica a una variedad de operaciones de atención médica, desde la detección y la predicción de riesgos hasta el diagnóstico, la planificación del tratamiento y la asignación de recursos. La regla agrega telesalud y algunas herramientas de inteligencia artificial y protege más información que podría responsabilizar a los proveedores por discriminación en la atención médica.
El HHS dijo que hubo más de 85.000 comentarios públicos sobre la no discriminación en los programas y actividades de salud.
Sendak señaló que un nuevo programa gratuito de asistencia técnica de 12 meses a través de HAIP ayudará a cinco sitios a implementar modelos de IA.
«Sabemos que la magnitud del problema de 1.600 centros de salud calificados a nivel federal y 6.000 hospitales en Estados Unidos es una escala enorme en la que tenemos que difundir rápidamente la experiencia», explicó.
ElRed de práctica HAIPapoyará a organizaciones como FQHC y otras que carecen de capacidades de ciencia de datos. Las solicitudes deben presentarse el 30 de junio.
Los seleccionados adoptarán las mejores prácticas, contribuirán al desarrollo de las mejores prácticas de IA y ayudarán a evaluar el impacto de la IA en la prestación de atención médica.
«Ahí es donde vemos una enorme necesidad de herramientas y recursos para respaldar la validación local de los modelos de IA», afirmó Sendak.
Andrea Fox es editora senior de Healthcare IT News.
Correo electrónico:afox@himss.org
Healthcare IT News es una publicación de HIMSS Media.
