Capítulo 22 — Seguridad de la IA y del aprendizaje automático: modelos de sistema y de datos
Mapa de la lección
Lección 22 publicada. Mapa, ejemplo, EX064.
flowchart TD
N0["Resultados de aprendizaje"]
N1["22.1 Diagramas de flujo de datos para la IA"]
N2["22.2 Procedencia y contaminación"]
N3["22.3 Activos, puntos de entrada, sumideros"]
N4["22.4 Modelos de datos"]
N5["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX064"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["22.1 Diagramas de flujo de datos para la IA"]
N2["22.2 Procedencia y contaminación"]
N3["22.3 Activos, puntos de entrada, sumideros"]
N4["22.4 Modelos de datos"]
N5["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX064"]
[Resultados de aprendizaje]
|
v
[22.1 Diagramas de flujo de datos para la IA]
|
v
[22.2 Procedencia y contaminación]
|
v
[22.3 Activos, puntos de entrada, sumideros]
|
v
[22.4 Modelos de datos]
|
v
[Síntesis del capítulo]
|
v
[Ejemplo resuelto] --> [Ejercicio EX064]
Resultados de aprendizaje
Usted será capaz de (1) construir diagramas de flujo de datos para sistemas de IA con niveles de confianza; (2) modelar la procedencia de los datos y su contaminación (taint); (3) identificar activos, puntos de entrada y sumideros privilegiados; y (4) usar los modelos como entradas del análisis de amenazas.
22.1 Diagramas de flujo de datos para la IA
Dibuje las entidades externas (usuarios, proveedores), los procesos (ingesta, modelo, políticas, herramientas), los almacenes de datos (conjunto de entrenamiento, almacén vectorial, registros) y los flujos. Anote en cada flujo el nivel de confianza y la clasificación de los datos. La IA añade elementos nuevos: canalizaciones de entrenamiento, registros de modelos, plantillas de instrucciones y almacenes de evaluación. Las anotaciones hacen el trabajo analítico. Un flujo etiquetado «boletín de proveedor, externo, sin clasificar» que entra en un proceso etiquetado «modelo, puede proponer órdenes de trabajo» es, a simple vista, una vía de baja confianza hacia alto impacto. Las plantillas de instrucciones van en el diagrama como almacenes, porque quien las edita cambia el comportamiento del sistema, y los registros de modelos también, ya que un modelo sustituido cambia todas las decisiones posteriores.
22.2 Procedencia y contaminación
El seguimiento de la contaminación marca los datos procedentes de fuentes no confiables y los sigue a lo largo del procesamiento. En los sistemas basados en LLM, cualquier texto derivado de una entrada no confiable —incluido el resumen que hace un modelo de un documento no confiable— sigue contaminado. Las llamadas a herramientas cuyos argumentos están contaminados merecen comprobaciones adicionales. Greshake et al. (arXiv:2302.12173) demostraron cómo el contenido inyectado viaja desde una fuente recuperada hasta las acciones. Los resúmenes parecen más limpios que su fuente, pero una instrucción puede sobrevivir al resumen, o el propio resumen puede quedar dirigido por el texto de origen. Por eso Wrench lleva una marca de contaminación desde cada fragmento recuperado hasta cualquier propuesta construida a partir de él, y el servicio de políticas exige confirmación, mostrando la fuente, siempre que un argumento de herramienta dependa de texto contaminado.
22.3 Activos, puntos de entrada, sumideros
Activos: datos, pesos, decisiones, credenciales, reputación. Puntos de entrada: cualquier lugar por donde entran datos (cargas de archivos, recuperación, sensores, retroalimentación). Sumideros privilegiados: acciones con impacto (enviar correo electrónico, escribir registros, accionar equipos). Las vías más importantes van de los puntos de entrada de baja confianza a los sumideros de alto impacto. Enumerar los tres por separado evita un punto ciego habitual: los puntos de entrada que no parecen entradas. Los botones de valoración, las lecturas de sensores y los documentos que suben los compañeros entran todos en el sistema. Los sumideros se enumeran por impacto, de modo que el análisis dedica más tiempo a las vías que terminan en consecuencias físicas o económicas. Para cada una de esas vías, el equipo nombra el control que se interpone entre el punto de entrada y el sumidero, o deja constancia de que todavía no existe ninguno.
22.4 Modelos de datos
Describa la composición de los datos de entrenamiento (fuentes, clases, condiciones), su proceso de actualización y quién puede modificarlos. Una ficha técnica (datasheet; Gebru et al., arXiv:1803.09010) es la forma documental; el modelo de datos es la forma de ingeniería. El modelo de datos enuncia hechos que los ingenieros pueden comprobar y sobre los que pueden actuar: qué proporción de las imágenes de TrackEye son recorridos al amanecer, qué proveedor aportó cada lote, cómo se aprueban los reetiquetados y quién tiene acceso de escritura al almacén. Cuando apareció la laguna del amanecer, el modelo de datos mostró de inmediato que las imágenes del amanecer eran escasas, lo que señalaba la corrección. También define el proceso de actualización, de modo que no puede añadirse una fuente nueva sin superar las comprobaciones de procedencia y de muestreo.
22.5 Ejemplo resuelto (caso sintético de NRS)
El DFD de Sam para Wrench marcaba los boletines de proveedores y las notas de los contratistas como de baja confianza, los manuales como de confianza media (proceden de los fabricantes, pero rara vez se alteran) y el chat de los técnicos como autenticado. La contaminación se propagaba a través de los resúmenes del modelo hasta los argumentos de create_work_order. Se encontraron tres sumideros privilegiados: la creación de órdenes de trabajo, el correo de piezas y una herramienta olvidada de «actualizar el estado del activo» que había habilitado un piloto. Sam retiró la tercera herramienta hasta que tuviera su propia revisión.
La herramienta olvidada muestra por qué los diagramas se construyen a partir de la configuración y no de la memoria.
22.6 Errores y límites
- Diagramas sin niveles de confianza.
- Tratar la salida del modelo como limpia porque el modelo la «procesó».
- Pasar por alto herramientas y almacenes de datos olvidados.
Un diagrama sin niveles de confianza muestra la fontanería, pero no el riesgo. Tratar la salida del modelo como limpia ignora que el modelo puede repetir o seguir lo que leyó. Las herramientas y los almacenes olvidados son las omisiones más peligrosas, porque nadie revisa los controles de componentes cuya existencia desconoce. Sam construye los diagramas a partir de la configuración desplegada y del registro de herramientas, y después los compara con el boceto del propio equipo; las diferencias suelen ser donde están los hallazgos.
Ejercicios — capítulo 22
- EX064 — Contaminación. ¿Por qué el resumen que hace un modelo de un documento no confiable sigue contaminado? Rúbrica: 3 = el resumen puede transportar instrucciones o contenido inyectados, o actuar según ellos; 2 = parcial; 1 = vago; 0 = incorrecto.
- EX065 — Sumideros. Enumere tres sumideros privilegiados de un asistente de correo electrónico basado en LLM. Rúbrica: 3 = enviar, borrar/mover, reenviar o cambiar el calendario o los contactos; 2 = dos; 1 = uno; 0 = ninguno.
- EX066 — DFD. Describa un DFD de la canalización de entrenamiento de TrackEye con niveles de confianza. Rúbrica: 3 = entidades, procesos, almacenes y flujos con anotaciones de confianza; 2 = falta la confianza; 1 = vago; 0 = nada.
Síntesis del capítulo
Los modelos de sistema y de datos muestran por dónde entran los datos no confiables y dónde pueden causar daño. Las anotaciones de contaminación y de confianza hacen visibles las vías críticas para el análisis de amenazas.
Siga estudiando — capítulo 22 de 50
← Capítulo 21 (borrador) · Índice de capítulos del curso · Capítulo 23 (borrador) →