Capítulo 20 — Seguridad de la IA y del aprendizaje automático: contexto de ingeniería | Ingeniería Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 20 publicada. Mapa, ejemplo, EX058.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["20.1 El ciclo de vida y su superficie de ataque"]
  N2["20.2 El AI RMF del NIST como marco organizador"]
  N3["20.3 Qué marco para qué pregunta"]
  N4["20.4 Delimitación del alcance"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX058"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["20.1 El ciclo de vida y su superficie de ataque"]
  N2["20.2 El AI RMF del NIST como marco organizador"]
  N3["20.3 Qué marco para qué pregunta"]
  N4["20.4 Delimitación del alcance"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX058"]

[Resultados de aprendizaje]
    |
    v
[20.1 El ciclo de vida y su superficie de ataque]
    |
    v
[20.2 El AI RMF del NIST como marco organizador]
    |
    v
[20.3 Qué marco para qué pregunta]
    |
    v
[20.4 Delimitación del alcance]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX058]

Resultados de aprendizaje

Usted será capaz de (1) describir el ciclo de vida de la IA (datos, entrenamiento, evaluación, despliegue, monitorización, retirada) y sus superficies de ataque; (2) usar las funciones del AI RMF del NIST para organizar el trabajo de ingeniería; (3) situar los marcos (NIST AI 100-2 E2025, OWASP LLM 2025, MITRE ATLAS, ISO/IEC 42001, Reglamento de IA de la UE) según su finalidad; y (4) definir el alcance de una tarea de ingeniería de seguridad de la IA.

20.1 El ciclo de vida y su superficie de ataque

La recogida de datos puede envenenarse; el etiquetado puede corromperse; las canalizaciones de entrenamiento y los modelos de terceros pueden llevar puertas traseras; la evaluación puede manipularse o filtrarse; los modelos desplegados se enfrentan a la evasión, la extracción, la inferencia de pertenencia y la inyección de prompts; la monitorización puede quedar cegada; los modelos retirados pueden dejar datos tras de sí. Cada etapa necesita responsables y controles. Exponer las etapas muestra que la mayoría de los ataques no necesitan ningún acceso al modelo desplegado: una etiqueta envenenada o un archivo de un tercero sustituido hacen su daño mucho antes del despliegue. Nombrar un responsable para cada etapa evita la laguna habitual en que los equipos de datos suponen que de eso se ocupa seguridad y los equipos de seguridad suponen que la calidad de los datos es trabajo de otros.

20.2 El AI RMF del NIST como marco organizador

NIST AI 100-1 define cuatro funciones. Gobernar (Govern): políticas, roles, rendición de cuentas. Mapear (Map): contexto, uso previsto, partes interesadas, riesgos. Medir (Measure): analizar, evaluar y seguir los riesgos con métodos adecuados. Gestionar (Manage): priorizar los riesgos y actuar sobre ellos. NIST AI 600-1 perfila estas funciones para la IA generativa y enumera riesgos como la seguridad de la información, la confabulación y la privacidad de los datos, con acciones sugeridas. Los ingenieros trabajan sobre todo en Mapear, Medir y Gestionar, dentro de las reglas de Gobernar. Las funciones se repiten en lugar de ejecutarse una sola vez: las mediciones alimentan las decisiones de gestión, que cambian el sistema y exigen nuevas mediciones.

20.3 Qué marco para qué pregunta

¿Qué ataques existen? NIST AI 100-2 E2025 (taxonomía y terminología) y MITRE ATLAS (tácticas, técnicas, estudios de casos).
¿Qué falla en las aplicaciones basadas en LLM? OWASP Top 10 for LLM Applications 2025.
¿Cómo gestionamos la IA en una organización? ISO/IEC 42001:2023 (sistema de gestión de la IA) y el AI RMF.
¿Qué exige la ley? El Reglamento de IA de la UE (Reglamento (UE) 2024/1689) para los sistemas que entran en su ámbito.

Los marcos aportan vocabulario y listas de comprobación; no son evidencia de que un sistema sea seguro. Usar el marco equivocado para una pregunta produce lagunas, como cuando una norma organizativa se lee como una lista de ataques.

20.4 Delimitación del alcance

Una tarea de ingeniería necesita un alcance: qué sistema, qué etapas del ciclo de vida, qué amenazas, qué activos y qué queda fuera del alcance. Las exclusiones explícitas evitan una falsa garantía. Un alcance también fija expectativas. Si la extracción de modelos queda fuera del alcance, un informe posterior no puede leerse como si dijera que la extracción se probó y se halló imposible. Cada exclusión lleva un motivo y una fecha de revisión, para que no se vuelva permanente sin que nadie lo decida. Los alcances de Sam enumeran además los supuestos, como «no se expone ninguna API externa», porque una exclusión que se apoya en un supuesto debe revisarse en cuanto el supuesto cambia.

20.5 Ejemplo resuelto (caso sintético de NRS)

NRS pidió a Sam que «asegurara la IA». Sam lo convirtió en tres líneas de trabajo con alcance definido: integridad de TrackEye (envenenamiento a través del contratista de etiquetado; marcas físicas adversariales; cadena de suministro de las actualizaciones del modelo), agencia de Wrench (inyección de prompts; agencia excesiva; divulgación de información sensible) y resiliencia de Pulse (suplantación de sensores; deriva por lazos de realimentación). La extracción de modelos quedó explícitamente fuera del alcance de este trimestre, porque no se expone externamente ninguna API de IA.

Cada línea de trabajo sigue los activos y las amenazas de un sistema, de modo que los responsables y las medidas de éxito están claros. La exclusión de la extracción se apoya en un supuesto, la ausencia de una API externa, que Sam anota con un desencadenante: si NRS llega a exponer externamente un servicio de IA, la extracción vuelve al alcance.

20.6 Errores y límites

Usar la lista de comprobación de un marco como prueba de seguridad.
Alcances sin exclusiones.
Ignorar las primeras etapas del ciclo de vida (datos, etiquetado).

Una lista de comprobación completada muestra que se consideraron los temas, no que los controles funcionen; la evidencia procede de pruebas y mediciones. Un alcance sin exclusiones da a entender que se examinó todo, lo que rara vez es cierto. Las primeras etapas del ciclo de vida son fáciles de ignorar porque parecen gestión de datos más que seguridad, pero los ataques de envenenamiento y de etiquetado empiezan ahí y son los más difíciles de encontrar después, una vez que un modelo ha aprendido de los datos malos.

Ejercicios — capítulo 20

EX058 — Ciclo de vida. Para cada una de cinco etapas del ciclo de vida, nombre un ataque. Rúbrica: 3 = cinco pares correctos; 2 = cuatro; 1 = dos; 0 = nada.
EX059 — RMF. Asigne tres actividades de Sam a funciones del AI RMF. Rúbrica: 3 = tres correctas con razones; 2 = dos; 1 = una; 0 = nada.
EX060 — Elección del marco. ¿Qué marco responde a «qué riesgos de las aplicaciones basadas en LLM debe cubrir nuestra revisión de diseño», y por qué? Rúbrica: 3 = OWASP LLM 2025 (con ATLAS/600-1 como complementos), con razón; 2 = solo el nombre; 1 = desajustado; 0 = nada.

Síntesis del capítulo

La ingeniería de seguridad de la IA empieza por el ciclo de vida, un marco organizador y el marco adecuado para cada pregunta, y después un alcance que diga qué entra y qué queda fuera.

Siga estudiando — capítulo 20 de 50

← Capítulo 19 (borrador) · Índice de capítulos del curso · Capítulo 21 (borrador) →