Regulando los Dispositivos Médicos de IA: Un Desafío Creciente

El crecimiento rápido de la inteligencia artificial (IA) en los últimos años no ha sido acompañado por el desarrollo de regulaciones seguras y efectivas. Esto es especialmente cierto para los dispositivos médicos que usan IA. Aunque la IA puede mejorar su rendimiento con el tiempo, actualizar estos modelos también puede plantear riesgos de seguridad. En Estados Unidos, la Administración de Alimentos y Medicamentos (FDA) ha tomado la delantera en supervisar los dispositivos médicos de IA y ha aprobado muchos de ellos. Para entender mejor cómo se actualizan estos dispositivos y las reglas en torno a esas actualizaciones, un estudio analizó los dispositivos médicos de IA aprobados por la FDA para ver con qué frecuencia se actualizan y qué tipo de actualizaciones se realizan.

#Hallazgos sobre las Actualizaciones de Dispositivos

El estudio encontró que menos del 2% de todos los dispositivos médicos de IA han sido actualizados a través de Reentrenamiento con nuevos datos. En contraste, casi una cuarta parte de los dispositivos reportan actualizaciones relacionadas con nuevas características o afirmaciones de marketing. Por ejemplo, al analizar más de cerca los modelos utilizados para detectar Neumotórax (una condición donde el aire se filtra en la cavidad torácica), se encontró que aunque el rendimiento de estos modelos podría caer significativamente al evaluarse en nuevos entornos de atención médica, el reentrenamiento con datos específicos nuevos podría ayudar a recuperar parte de ese rendimiento perdido. Sin embargo, también hubo una caída notable en el rendimiento cuando el reentrenamiento se realizó utilizando datos de nuevos lugares, lo que plantea preguntas sobre el enfoque actual de las regulaciones que asumen que un modelo sirve para todas las situaciones.

#Acceso a Datos y Código

Los datos utilizados para este estudio están disponibles al público a través del sitio web de la FDA. Además, el análisis y el código se compartirán en GitHub.

#Importancia de Actualizar Dispositivos Médicos de IA

A medida que la IA continúa aplicándose en varios sectores, incluidos los préstamos al consumo y la contratación, ha habido llamados para que los sistemas regulatorios sean más adaptables a la naturaleza cambiante de la IA. Incidentes recientes que involucran a empresas como Boeing y Tesla han destacado los riesgos asociados con las actualizaciones de software en IA. Estas situaciones enfatizan la necesidad de que los reguladores sean más conscientes de cómo cambian los productos de IA con el tiempo, especialmente ya que las actualizaciones son cruciales para mantener o mejorar el rendimiento de estos dispositivos.

#¿Con qué Frecuencia se Actualizan los Dispositivos?

En el conjunto de datos del estudio, que incluye 416 dispositivos médicos únicos de IA, se encontró que 101 habían sido actualizados al menos una vez. Sin embargo, la mayoría de estas actualizaciones no involucraron cambios reales en el modelo y en su lugar se centraron en nuevas afirmaciones de marketing. Solo seis dispositivos informaron que habían sido reentrenados con nuevos datos. Para los otros 95 dispositivos, se identificaron varios tipos de actualizaciones. Las actualizaciones más comunes añadieron nuevas características o tareas a los modelos existentes, mientras que otras implicaron cambios en el diseño del modelo, la señal de entrada o la población objetivo.

#Tiempo Entre Actualizaciones

La investigación mostró que los dispositivos se actualizan típicamente unos 17 meses después de su aprobación inicial, con algunas actualizaciones ocurriendo tan pronto como 3.5 meses después y otras demorando hasta seis años. En comparación, los dispositivos médicos no IA tienen un tiempo estimado de 31 meses desde la concepción hasta la aprobación de la FDA.

#Estudio de Caso sobre Modelos de Neumotórax

Para ilustrar mejor la importancia de actualizar modelos de IA, se realizó un estudio de caso sobre modelos de detección de neumotórax. Se encontró que cuando los modelos se entrenan con datos de sitios específicos, pueden no funcionar tan bien con datos de otros lugares. Después de ser reentrenados con nuevos datos externos, hubo un aumento en el rendimiento para el nuevo sitio, pero también hubo una caída significativa en el rendimiento para el sitio original. Esto indica que aunque el reentrenamiento para mejorar los modelos es valioso, puede tener un costo en el rendimiento de los conjuntos de datos previamente entrenados.

#Desafíos Regulatorios

Actualmente, una vez que un dispositivo médico de IA recibe la aprobación de la FDA, queda "bloqueado", lo que significa que las nuevas actualizaciones requieren una resubmisión completa para su aprobación. Este proceso puede ser pesado y desanima a los desarrolladores de hacer actualizaciones necesarias. Los factores económicos también juegan un papel en la frecuencia con la que se actualizan los dispositivos. Las empresas que tienen menos clientes pueden carecer de los recursos necesarios para dedicar a actualizaciones regulares de modelos, lo que conduce a una preferencia por comercializar nuevas características en lugar de mejorar el modelo en sí.

#Consideraciones Futuras

La FDA ha reconocido los desafíos de regular las actualizaciones de modelos. Nuevas pautas propuestas pueden permitir que los desarrolladores documenten actualizaciones en lugar de pasar por un proceso de resubmisión completo. Sin embargo, incluso bajo estas nuevas pautas, los desarrolladores todavía enfrentarían rigurosas verificaciones y costos asociados con la actualización de sus modelos. El informe sugiere que las futuras regulaciones deberían centrarse en permitir actualizaciones específicas del modelo mientras se asegura que se mantenga la seguridad y efectividad.

#Recomendaciones para Mejorar las Regulaciones

Para abordar los desafíos en la actualización de dispositivos médicos de IA, es esencial que las pautas regulatorias evolucionen. Las reglas actuales no permiten el reentrenamiento específico del sitio, lo que podría permitir a los desarrolladores crear modelos optimizados para diferentes poblaciones de pacientes sin sacrificar el rendimiento. Al permitir múltiples modelos bajo un dispositivo, los desarrolladores podrían asegurarse de que sus sistemas funcionen bien en diversos entornos.

Además, cómo se reentrena un modelo de IA también puede influir enormemente en su rendimiento. Factores como congelar ciertas capas del modelo o ajustar los datos de entrenamiento pueden marcar la diferencia en cuánto mejora un modelo tras el reentrenamiento. Sin embargo, el estudio encontró que muchos dispositivos carecían de información detallada sobre los datos utilizados en las actualizaciones, lo que dificulta a los usuarios tomar decisiones informadas.

#El Camino a Seguir para la IA en Medicina

A medida que el uso de IA en medicina crece, también debe hacerlo el marco regulatorio que lo guía. Armonizar las regulaciones con los avances tecnológicos de la IA será vital para maximizar sus beneficios mientras se minimizan los riesgos. Los conocimientos obtenidos de los desafíos enfrentados en el campo médico también pueden aplicarse a otros sectores donde la IA está transformando operaciones, como el transporte y los servicios legales.

Está claro que se necesita un enfoque equilibrado. Las regulaciones deben garantizar la seguridad del paciente y la eficacia del dispositivo, al mismo tiempo que fomentan que los desarrolladores innoven y mejoren sus productos. A medida que el campo continúa evolucionando, la conversación sobre la regulación de la IA también debe avanzar, permitiendo adaptabilidad en la supervisión sin comprometer la calidad de la atención.

En conclusión, el panorama de la IA en la atención médica está creciendo y cambiando rápidamente, y los reguladores deben mantener el ritmo con estos desarrollos para crear un marco que apoye la innovación al tiempo que salvaguarda la salud pública.