Capítulo 10 — Ética y práctica autorizada | Grado Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 10 publicada. Mapa, ejemplo, EX028.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["10.1 Principios"]
  N2["10.2 Autorización"]
  N3["10.3 Divulgación coordinada"]
  N4["10.4 Equidad y seguridad funcional"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX028"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["10.1 Principios"]
  N2["10.2 Autorización"]
  N3["10.3 Divulgación coordinada"]
  N4["10.4 Equidad y seguridad funcional"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX028"]

[Resultados de aprendizaje]
    |
    v
[10.1 Principios]
    |
    v
[10.2 Autorización]
    |
    v
[10.3 Divulgación coordinada]
    |
    v
[10.4 Equidad y seguridad funcional]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX028]

Resultados de aprendizaje

Usted podrá (1) aplicar principios éticos al trabajo de seguridad de la IA; (2) explicar por qué hace falta autorización antes de probar; (3) seguir la divulgación coordinada; y (4) reconocer los problemas de equidad, privacidad y seguridad funcional que plantean los sistemas de IA.

10.1 Principios

El respeto por las personas, evitar el daño, la honestidad, la equidad y la rendición de cuentas guían el trabajo de seguridad. En seguridad de la IA, los daños incluyen violaciones de la privacidad, resultados discriminatorios, consejos inseguros y el mal uso de capacidades. Estos principios se convierten en decisiones concretas. Evitar el daño significa probar con historiales sintéticos, no con pacientes reales. La honestidad significa comunicar los resultados con sus límites. La equidad significa comprobar si las predicciones de NoShow tratan de forma distinta a distintos grupos. La rendición de cuentas significa registrar quién autorizó cada prueba y quién tomó cada decisión, para que la responsabilidad quede clara si algo sale mal. Las notas de laboratorio de Rina registran cada una de estas decisiones.

10.2 Autorización

Probar sistemas sin permiso puede ser ilegal y puede dañar a usuarios reales. Obtenga siempre una autorización por escrito del responsable del sistema que defina el alcance, los métodos, el periodo y los contactos. Los servicios públicos de IA tienen condiciones de uso; no los ataque fuera de programas que lo permitan explícitamente (como los alcances publicados de los programas de recompensas por errores). La autorización de Rina para trabajar con LCH nombra los sistemas (copias aisladas de Ask Lumen, NoShow y DocSort), los métodos permitidos, las fechas y el contacto al que llamar si ocurre algo inesperado. Lleva una copia en cada sesión de pruebas.

10.3 Divulgación coordinada

Si encuentra una vulnerabilidad, comuníquela en privado al responsable, dé un plazo razonable para corregirla y publique solo los detalles que ayuden a los defensores. No acceda a más datos de los necesarios para demostrar el problema. En el caso de Rina, el problema del número de teléfono se demostró con un único ejemplo sintético y no comprobando muchos números reales. Su informe describía el comportamiento, las condiciones y una corrección sugerida, y lo mantuvo confidencial hasta que LCH confirmó la corrección, lo que ocurrió antes de que terminara el semestre.

10.4 Equidad y seguridad funcional

Los sistemas de IA pueden tratar de forma distinta a distintos grupos. NoShow, por ejemplo, podría situar más abajo a algunos pacientes en los recordatorios por atributos correlacionados con los ingresos. El NIST AI RMF incluye fair, with harmful bias managed (justo, con el sesgo dañino gestionado) entre las características de una IA confiable, junto a secure and resilient (segura y resiliente) y privacy-enhanced (con mejoras de privacidad). El Reglamento de IA de la UE impone obligaciones a los sistemas de alto riesgo, incluidos algunos usos relacionados con la asistencia sanitaria; la clasificación jurídica necesita asesoramiento experto. Una comprobación de equidad para NoShow compararía las tasas de error entre grupos, por ejemplo si a los pacientes de algunos códigos postales se les predice erróneamente con más frecuencia que faltarán a sus citas.

10.5 Ejemplo resuelto (caso sintético de LCH)

Un compañero propuso probar un chatbot sanitario comercial «para ver si filtra datos». Rina explicó que sin autorización eso sería poco ético y posiblemente ilegal, y propuso en su lugar construir una réplica sintética en el laboratorio del curso. Por otra parte, en una prueba autorizada de LCH, Rina descubrió que Ask Lumen podía revelar si un número de teléfono pertenecía a un paciente registrado; lo comunicó por el proceso de LCH con evidencia mínima, y se corrigió antes de que terminara el semestre. La evidencia mínima consistió en un número de teléfono sintético, no en una lista de números reales.

10.6 Errores y límites

«Solo echar un vistazo» a sistemas no autorizados.
Recoger más datos personales de los necesarios para un informe.
Ignorar la equidad como algo que «no es seguridad».

«Solo echar un vistazo» a un sistema no autorizado puede infringir la ley y dañar a los usuarios, sea cual sea la intención. Recoger más datos personales de los necesarios convierte un informe de seguridad en un riesgo de privacidad en sí mismo. Ignorar la equidad pasa por alto daños que afectan a los pacientes tan directamente como lo haría una filtración de datos, como que NoShow dé menos recordatorios a algunos grupos por atributos correlacionados con los ingresos. La práctica de Rina aborda los tres por diseño.

Ejercicios

EX028 — Autorización. Enumere cinco elementos de una autorización de pruebas. Rúbrica: 3 = alcance, métodos, ventana temporal, tratamiento de datos, contactos/condiciones de parada; 2 = cuatro; 1 = dos; 0 = nada.
EX029 — Divulgación. Describa los pasos de divulgación de Rina para el problema del número de teléfono. Rúbrica: 3 = informe privado, evidencia mínima, verificación de la corrección, sin datos públicos; 2 = parcial; 1 = vago; 0 = divulgación pública primero.
EX030 — Equidad. Explique cómo NoShow podría producir resultados injustos. Rúbrica: 3 = atributos sustitutos de características protegidas afectan a los recordatorios/la programación; 2 = parcial; 1 = vago; 0 = nada.

Síntesis

La práctica ética de la seguridad de la IA significa pruebas autorizadas, divulgación cuidadosa, datos mínimos y atención a la equidad y a la seguridad funcional, además de a los ataques.

Siga estudiando — capítulo 10 de 40

← Capítulo 09 (borrador) · Índice de capítulos del curso · Capítulo 11 (borrador) →