Capítulo 20 — Seguridad de la IA y del aprendizaje automático: casos fundamentales | Grado Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 20 publicada. Mapa, ejemplo, EX058.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["20.1 Ejemplos adversarios"]
  N2["20.2 Defensas rotas"]
  N3["20.3 Envenenamiento y puertas traseras"]
  N4["20.4 Privacidad"]
  N5["20.5 Aplicaciones con LLM"]
  N6["20.6 Usar los estudios de casos de ATLAS"]
  N7["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX058"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["20.1 Ejemplos adversarios"]
  N2["20.2 Defensas rotas"]
  N3["20.3 Envenenamiento y puertas traseras"]
  N4["20.4 Privacidad"]
  N5["20.5 Aplicaciones con LLM"]
  N6["20.6 Usar los estudios de casos de ATLAS"]
  N7["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX058"]

[Resultados de aprendizaje]
    |
    v
[20.1 Ejemplos adversarios]
    |
    v
[20.2 Defensas rotas]
    |
    v
[20.3 Envenenamiento y puertas traseras]
    |
    v
[20.4 Privacidad]
    |
    v
[20.5 Aplicaciones con LLM]
    |
    v
[20.6 Usar los estudios de casos de ATLAS]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX058]

Resultados de aprendizaje

Usted podrá (1) explicar los resultados emblemáticos del aprendizaje automático adversario y sus lecciones; (2) analizar estudios de casos de ataques a aplicaciones con LLM; (3) usar los estudios de casos de MITRE ATLAS para aprender de incidentes reales; y (4) extraer lecciones defensivas de cada caso.

20.1 Ejemplos adversarios

Szegedy et al. (arXiv:1312.6199) descubrieron que cambios imperceptibles engañan a los clasificadores de imágenes; Goodfellow et al. (arXiv:1412.6572) lo explicaron por la linealidad local. Lección: una exactitud alta no implica robustez. El laboratorio de evasión repite el hallazgo a escala de juguete: una exactitud de 0,985 con puntos limpios cae a 0,840 con un presupuesto de un medio. En DocSort, la pregunta equivalente es cuán pequeño debe ser un cambio en la redacción de una carta para llevarla al encaminamiento equivocado. La exactitud de prueba de un modelo no puede responder por sí sola a esa pregunta, ya que las cartas de prueba nunca se elaboraron para engañarlo.

20.2 Defensas rotas

Athalye et al. (arXiv:1802.00420) mostraron que muchas defensas publicadas solo ocultaban los gradientes; los ataques adaptativos las rompieron. Lección: evalúe las defensas frente a atacantes que las conocen. Para LCH, esto significa que la afirmación de un proveedor de que DocSort resiste las cartas elaboradas es una evidencia débil salvo que la prueba del proveedor supusiera un atacante que conociera la defensa. Rina pregunta a los proveedores qué ataques usaron y si eran adaptativos. Una defensa que solo oculta los gradientes puede detener un ataque perezoso y fallar ante uno cuidadoso, que es el atacante que importa.

20.3 Envenenamiento y puertas traseras

Gu et al., BadNets (arXiv:1708.06733), mostraron modelos con puertas traseras que se comportan con normalidad hasta que aparece un disparador. Carlini et al. (arXiv:2302.10149) mostraron que envenenar conjuntos de datos a escala web es factible. Lección: la procedencia de los datos y de los modelos importa. El laboratorio de envenenamiento muestra el mismo patrón: 80 puntos con disparador elevan el éxito del ataque a 0,980 mientras la exactitud limpia se mantiene en 0,968, así que las pruebas normales no ven nada raro. El reentrenamiento mensual de DocSort con etiquetas de contratistas es exactamente el tipo de canalización por la que podría entrar ese disparador, introducido por un único etiquetador descuidado u hostil a lo largo de varios meses.

20.4 Privacidad

Shokri et al. (arXiv:1610.05820) introdujeron la inferencia de pertenencia; Carlini et al. (arXiv:2012.07805) extrajeron texto de entrenamiento memorizado de un gran modelo de lenguaje. Lección: los modelos pueden filtrar sus datos de entrenamiento. El Laboratorio M reproduce el efecto de pertenencia en un modelo de juguete. Para LCH, la lección se aplica a cualquier modelo entrenado con historiales de pacientes, incluido NoShow, y a cualquier futuro modelo de lenguaje ajustado con cartas de las clínicas, que podría repetir fragmentos de ellas. Las salidas poco detalladas y los datos de entrenamiento minimizados reducen esa exposición, pero no la eliminan.

20.5 Aplicaciones con LLM

Greshake et al. (arXiv:2302.12173) demostraron la inyección indirecta de instrucciones contra aplicaciones integradas con LLM a través de contenido recuperado, con robo y manipulación de datos como resultado. Lección: todo lo que el modelo lee puede darle instrucciones; limite lo que el modelo puede hacer. Ask Lumen encaja estrechamente en este patrón: lee documentos de las clínicas y subidas de asociados, y puede llamar a una herramienta de reservas. La demostración de Rina en el ejemplo resuelto que sigue usó el mismo mecanismo, y el control que limitó el daño fueron las propias comprobaciones de la herramienta de reservas, no el juicio del modelo sobre qué texto obedecer.

20.6 Usar los estudios de casos de ATLAS

MITRE ATLAS documenta estudios de casos asociados a tácticas y técnicas. Léalos para ver cómo los ataques combinan reconocimiento, acceso e impacto, y qué mitigaciones habrían ayudado. Rina eligió dos casos para su sesión informativa: uno con datos de entrenamiento envenenados y otro con inyección de instrucciones a través de contenido recuperado. Para cada uno anotó qué sistema de LCH tenía una vía similar y si LCH ya contaba con la mitigación. Apareció una laguna: DocSort no tenía ninguna comprobación de la procedencia de las etiquetas de entrenamiento, de la que se ocupan los capítulos siguientes.

20.7 Ejemplo resuelto (caso sintético de LCH)

Rina presentó el caso de inyección indirecta al personal de LCH con una demostración sintética: un folleto de clínica subido por un asociado contenía texto oculto que ordenaba al chatbot decir a los pacientes que una clínica estaba cerrada. En el sistema de pruebas, Ask Lumen repitió el falso cierre. La lección enlazaba directamente con la revisión de las subidas de asociados introducida antes. El personal reaccionó más a la demostración que a los artículos, porque vio a su propio chatbot repetir el mensaje falso. Varias personas del personal preguntaron cómo se comprobaban las subidas de asociados, lo que dio al proceso de revisión el apoyo que necesitaba.

20.8 Errores y límites

Aprender ataques sin sus lecciones defensivas.
Tratar los casos antiguos como irrelevantes para los modelos nuevos.

Cada estudio de caso solo es útil con su lección asociada; saber que existe BadNets no ayuda salvo que después se haga un seguimiento de las etiquetas de DocSort. Los casos antiguos con imágenes siguen aplicándose a los modelos más nuevos, porque la debilidad de fondo, la sensibilidad a cambios pequeños y elaborados, no ha desaparecido. La sesión informativa de Rina emparejó cada caso con una acción concreta para uno de los sistemas de LCH, de modo que el personal salió con trabajo y no solo con ejemplos.

Ejercicios

EX058 — Lecciones. Indique la lección defensiva de Athalye et al. Rúbrica: 3 = evaluar con ataques adaptativos; gradientes ocultos ≠ robustez; 2 = parcial; 1 = vago; 0 = incorrecto.
EX059 — Puerta trasera. ¿Por qué las puertas traseras son difíciles de detectar con las pruebas normales? Rúbrica: 3 = comportamiento normal con entradas limpias; disparador desconocido; 2 = parcial; 1 = vago; 0 = incorrecto.
EX060 — Caso del folleto. ¿Qué categoría de impacto y qué dos controles se aplican al caso del folleto? Rúbrica: 3 = integridad/desinformación; revisión de las fuentes, etiquetado de la procedencia, comprobaciones de fundamentación de las respuestas; 2 = un control; 1 = vago; 0 = nada.

Síntesis

Los casos fundamentales muestran patrones recurrentes: la exactitud no es robustez, las defensas necesitan una evaluación adaptativa, los datos y los modelos necesitan procedencia, los modelos filtran y los LLM obedecen lo que leen.

Siga estudiando — capítulo 20 de 40

← Capítulo 19 (borrador) · Índice de capítulos del curso · Capítulo 21 (borrador) →