Capítulo 32 — Seguridad de la IA y del aprendizaje automático: interfaces interdisciplinarias
Mapa de la lección
Lección 32 publicada. Mapa, ejemplo, EX094.
flowchart TD
N0["Resultados de aprendizaje"]
N1["32.1 Derecho y regulación"]
N2["32.2 Sistemas de gestión y marcos"]
N3["32.3 Compras"]
N4["32.4 Expertos clínicos y del dominio"]
N5["32.5 Comunicar el riesgo"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX094"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["32.1 Derecho y regulación"]
N2["32.2 Sistemas de gestión y marcos"]
N3["32.3 Compras"]
N4["32.4 Expertos clínicos y del dominio"]
N5["32.5 Comunicar el riesgo"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX094"]
[Resultados de aprendizaje]
|
v
[32.1 Derecho y regulación]
|
v
[32.2 Sistemas de gestión y marcos]
|
v
[32.3 Compras]
|
v
[32.4 Expertos clínicos y del dominio]
|
v
[32.5 Comunicar el riesgo]
|
v
[Síntesis]
|
v
[Ejemplo resuelto] --> [Ejercicio EX094]
Resultados de aprendizaje
Usted podrá (1) trabajar en la seguridad de la IA con colegas de los ámbitos jurídico, clínico, de privacidad, de compras y de dirección; (2) interpretar a nivel orientativo los requisitos reglamentarios y de las normas; (3) traducir el riesgo técnico en decisiones de la organización; y (4) reconocer cuándo hace falta asesoramiento experto.
32.1 Derecho y regulación
El Reglamento de IA de la UE (Reglamento (UE) 2024/1689) establece obligaciones por categoría de riesgo, con fechas de aplicación escalonadas entre 2025 y 2027; los sistemas de alto riesgo necesitan gestión de riesgos, gobernanza de datos, documentación, registro, supervisión humana (artículo 14) y precisión, solidez y ciberseguridad (artículo 15). La legislación de protección de datos (como el RGPD) regula los datos personales en el entrenamiento, las instrucciones y los registros. Nota para el lector hispanohablante: en España, el RGPD se complementa con la Ley Orgánica 3/2018, de Protección de Datos Personales y garantía de los derechos digitales; en América Latina rige la ley de cada país, por ejemplo la Ley 25.326 en Argentina o la Ley 1581 de 2012 en Colombia. Las normas del sector sanitario pueden añadir requisitos. Los ingenieros de seguridad aportan evidencia; los juristas deciden la clasificación jurídica. El papel de Rina en la evaluación de LCH fue describir qué hace cada sistema y qué controles existen; el abogado decidió la clasificación.
32.2 Sistemas de gestión y marcos
La norma ISO/IEC 42001:2023 especifica un sistema de gestión de la IA: política, funciones, evaluación de riesgos, controles, seguimiento y mejora. El NIST AI RMF ofrece las funciones Govern, Map, Measure y Manage (gobernar, mapear, medir y gestionar). Estos marcos conectan el trabajo de seguridad con la rendición de cuentas de la organización. En LCH, la función Map del AI RMF corresponde a los modelos de sistema y al registro de amenazas de Rina, y Measure a sus informes de verificación. Usar esa estructura ayudó a la junta directiva a ver que el trabajo de seguridad de la IA formaba parte del proceso normal de riesgos de la clínica. Se habló de una certificación ISO/IEC 42001, pero se aplazó hasta que los procesos llevaran un año funcionando.
32.3 Compras
Al comprar productos de IA, pida a los proveedores: procedencia del modelo y de los datos, evidencia de pruebas de seguridad, compromisos de notificación de incidentes, condiciones de uso de los datos (¿se usan los datos del cliente para entrenar?), soporte de registro y auditoría, y la posibilidad de realizar pruebas en condiciones acordadas. La pregunta sobre el entrenamiento con datos del cliente importa especialmente en la atención sanitaria, donde las conversaciones contienen diagnósticos. La posibilidad de probar en condiciones acordadas importa porque, de otro modo, LCH no puede verificar lo que afirma el proveedor, como mostró la investigación sobre defensas vulneradas. Rina mantiene estas preguntas en una lista de comprobación estándar de compras para que se planteen en cada adquisición de IA.
32.4 Expertos clínicos y del dominio
Los expertos del dominio definen el daño: qué respuesta errónea es peligrosa, qué retraso importa. Las prioridades de seguridad dependen de su criterio. Cuando Rina valoró las amenazas de Ask Lumen, un clínico cambió su visión del impacto: un falso cierre de clínica le parecía menor, pero para los pacientes con un tratamiento urgente en el tiempo, como las revisiones de heridas, una cita perdida podía causar daño. La valoración del impacto subió, y la comprobación de fundamentación ascendió en la lista de prioridades. Ahora Rina pide a un clínico que revise las valoraciones de impacto de cada nueva amenaza.
32.5 Comunicar el riesgo
Traduzca los hallazgos a términos de negocio: impacto en los pacientes, exposición jurídica, coste, reputación y opciones con sus contrapartidas. Lleve una recomendación, no solo un problema. Para la compra de la herramienta de triaje, el resumen de Rina para la junta directiva tenía tres opciones: firmar tal como se ofrecía, firmar con condiciones o elegir otro proveedor. Recomendó firmar con condiciones y expuso en términos sencillos el riesgo residual, la escasa evidencia de pruebas del proveedor. La junta aceptó la recomendación porque las contrapartidas se presentaban con claridad en una sola página y en lenguaje llano.
32.6 Ejemplo resuelto (caso sintético de LCH)
LCH planeaba comprar una herramienta de triaje con IA. Rina se incorporó a la comisión de compras con el delegado de protección de datos, un clínico y un abogado. Sus preguntas revelaron que el proveedor usaba por defecto las conversaciones de los clientes para mejorar sus modelos y no podía aportar resultados de pruebas de seguridad. Antes de firmar, la comisión exigió una opción de exclusión, una cláusula de pruebas de seguridad y la notificación de incidentes en un plazo de 72 horas; el abogado evaluó por separado la clasificación según el Reglamento de IA. Sin un ingeniero de seguridad en la comisión, la cláusula de entrenamiento por defecto podría haber pasado inadvertida.
32.7 Errores y límites
- Dar conclusiones jurídicas como ingeniero.
- Compras sin preguntas de seguridad.
- Informes de riesgo sin opciones.
Un ingeniero que afirma que un sistema es o no es de alto riesgo según el Reglamento de IA se extralimita en su función y puede inducir a error a la organización. Comprar herramientas de IA sin preguntas de seguridad deja sin descubrir riesgos como la reutilización de datos por defecto hasta después de firmar. Los informes que enumeran problemas sin opciones dejan a los responsables sin capacidad de actuar, así que a menudo aplazan las decisiones. Los informes de Rina siempre terminan con opciones, sus costes y una recomendación, de modo que un responsable puede aprobar, rechazar o pedir cambios en una sola reunión.
Ejercicios
- EX094 — Preguntas al proveedor. Enumere cinco preguntas de seguridad para un proveedor de IA. Rúbrica: 3 = cinco pertinentes; 2 = cuatro; 1 = dos; 0 = nada.
- EX095 — Reglamento de IA. Indique los artículos sobre supervisión humana y sobre precisión, solidez y ciberseguridad. Rúbrica: 3 = artículos 14 y 15; 2 = uno; 1 = vago; 0 = incorrecto.
- EX096 — Traducción. Traduzca «2 % de divulgación entre pacientes en las pruebas de equipo rojo» a una declaración de riesgo para la dirección con opciones. Rúbrica: 3 = impacto, probabilidad, opciones, recomendación; 2 = tres; 1 = vago; 0 = nada.
Síntesis
La seguridad de la IA funciona a través de otras disciplinas: el derecho, la privacidad, las compras, los expertos del dominio y la dirección. Los ingenieros aportan evidencia y opciones; los demás aportan criterio y autoridad.
Siga estudiando — capítulo 32 de 40
← Capítulo 31 (borrador) · Índice de capítulos del curso · Capítulo 33 (borrador) →