Capítulo 15 — Fundamentos de seguridad | Ingeniería Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Capítulo 15 — Fundamentos de seguridad

Mapa de la lección

Lección 15 publicada. Mapa, ejemplo, EX043.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["15.1 CIA para la IA"]
  N2["15.2 Amenaza, vulnerabilidad, riesgo y control"]
  N3["15.3 Defensa en profundidad"]
  N4["15.4 Conocimiento y capacidades del atacante"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX043"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["15.1 CIA para la IA"]
  N2["15.2 Amenaza, vulnerabilidad, riesgo y control"]
  N3["15.3 Defensa en profundidad"]
  N4["15.4 Conocimiento y capacidades del atacante"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX043"]

[Resultados de aprendizaje]
    |
    v
[15.1 CIA para la IA]
    |
    v
[15.2 Amenaza, vulnerabilidad, riesgo y control]
    |
    v
[15.3 Defensa en profundidad]
    |
    v
[15.4 Conocimiento y capacidades del atacante]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX043]

Resultados de aprendizaje

Usted será capaz de (1) aplicar la confidencialidad, la integridad y la disponibilidad (CIA) a los activos de IA; (2) describir con precisión amenaza, vulnerabilidad, riesgo y control; (3) usar la defensa en profundidad y el mínimo privilegio; y (4) situar los ataques propios de la IA en la taxonomía de NIST AI 100-2 E2025.

15.1 CIA para la IA

Confidencialidad: datos de entrenamiento, prompts, pesos del modelo y salidas. Integridad: datos, pesos, contenido de recuperación, decisiones del modelo y acciones de las herramientas. Disponibilidad: capacidad de inferencia y procesos de negocio dependientes. NIST AI 100-2 E2025 organiza los ataques adversariales contra la IA predictiva según el objetivo del atacante (interrupción de la disponibilidad, violación de la integridad, compromiso de la privacidad) y añade, para la IA generativa, la habilitación del mal uso. Enumerar los activos de este modo saca a la luz elementos que las revisiones de seguridad ordinarias pasan por alto. Los prompts pueden contener lógica de negocio o secretos. Los pesos pueden valer la pena robarlos. Las acciones de las herramientas, como una orden de trabajo creada en nombre de Wrench, tienen requisitos de integridad porque cambian el mundo físico. La disponibilidad va más allá del modelo y abarca el trabajo que depende de él, como la inspección de la vía.

15.2 Amenaza, vulnerabilidad, riesgo y control

Una amenaza es una causa potencial de daño (un actor o un suceso). Una vulnerabilidad es una debilidad que puede explotar. El riesgo combina probabilidad e impacto. Un control reduce la probabilidad o el impacto. Para Wrench: amenaza, un proveedor malicioso; vulnerabilidad, el modelo sigue las instrucciones de los boletines; impacto, órdenes de trabajo falsas; control, confirmación humana de las órdenes de trabajo. Escribir el riesgo como una cadena muestra dónde actúa un control. La confirmación humana no impide que el modelo siga instrucciones; limita el impacto, porque una orden de trabajo falsa necesita la aprobación de una persona antes de surtir efecto. Un segundo control, como las etiquetas de procedencia, podría reducir la probabilidad.

15.3 Defensa en profundidad

Ningún control es perfecto, sobre todo en modelos cuyo comportamiento es estadístico. Superponga controles: etiquetado de la procedencia de las entradas, instrucciones a nivel del modelo, validación de las salidas, aplicación de la política fuera del modelo, herramientas con mínimo privilegio, monitorización y supervisión humana. Cada capa detecta algunos fallos de las demás. Las capas deben ser independientes para aportar valor. Si la validación de las salidas y la aplicación de la política dependen ambas del propio juicio del modelo, una sola manipulación exitosa las burla a las dos. El diseño de Wrench mantiene la política en código fuera del modelo y exige una confirmación humana que el modelo no puede aportar, de modo que cada capa falla por razones distintas. Sam lo comprueba preguntando, para cada capa, qué necesitaría un atacante para eludirla.

15.4 Conocimiento y capacidades del atacante

La taxonomía también clasifica a los atacantes por su conocimiento (caja blanca, caja gris, caja negra) y sus capacidades (control de los datos de entrenamiento, del modelo, de las consultas, del código fuente). Enunciarlos convierte temores vagos en modelos de amenazas comprobables. Para TrackEye, un atacante realista es de caja negra con acceso físico: cualquiera que camine por la vía puede colocar marcas, pero no puede leer el modelo. Un contratista de etiquetado tiene capacidad sobre los datos de entrenamiento. Cada perfil se convierte en una campaña de pruebas con sus propios métodos, y los resultados se comunican por perfil, ya que un modelo robusto frente a uno puede ser débil frente a otro.

15.5 Ejemplo resuelto (caso sintético de NRS)

Sam elaboró una tabla CIA para TrackEye. Confidencialidad: baja (las imágenes de los carriles no son secretas), aunque los pesos del modelo tienen valor comercial. Integridad: crítica, ya que un defecto no detectado es un riesgo para la seguridad; el envenenamiento a través del contratista de etiquetado y las marcas físicas eran las principales amenazas. Disponibilidad: moderada; si TrackEye no funciona, la inspección manual continúa con un coste mayor. La tabla orientó el esfuerzo hacia los controles de integridad. La integridad se califica de crítica porque su impacto es sobre la seguridad, no sobre el dinero. La disponibilidad es solo moderada porque existe una alternativa manual, aunque los ataques que obliguen a recurrir a ella con frecuencia aumentarían los costes.

15.6 Errores y límites

Tratar la «seguridad de la IA» como si fuera solo la inyección de prompts.
Diseños con un solo control.
Enunciados de riesgo sin impacto.

La inyección de prompts importa, pero tratarla como el campo entero ignora el envenenamiento, el robo de modelos, las filtraciones de privacidad y el abuso de recursos. Los diseños con un solo control fallan por completo cuando ese control se elude. Los enunciados de riesgo que nombran una amenaza sin su impacto no pueden priorizarse, porque una debilidad que filtra imágenes de carriles y otra que oculta un carril agrietado parecen igual de urgentes. Por eso el registro de riesgos de Sam exige probabilidad e impacto en cada entrada.

Ejercicios — capítulo 15

EX043 — Tabla CIA. Complete una tabla CIA para Pulse (modelo de anomalías de rodamientos). Rúbrica: 3 = calificaciones sensatas con razones para las tres; 2 = dos; 1 = una; 0 = nada.
EX044 — Términos. Para Wrench, enuncie una amenaza, una vulnerabilidad, un impacto y un control relativos a la extracción del modelo. Rúbrica: 3 = los cuatro coherentes; 2 = tres; 1 = vago; 0 = nada.
EX045 — Taxonomía. Clasifique «un competidor consulta la API de TrackEye para entrenar una copia» por objetivo y capacidad. Rúbrica: 3 = privacidad/confidencialidad (extracción del modelo) con acceso a consultas, caja negra; 2 = uno; 1 = vago; 0 = incorrecto.

Síntesis del capítulo

Los fundamentos de seguridad se aplican directamente a la IA: CIA para activos nuevos, un lenguaje de riesgo preciso, controles superpuestos y capacidades explícitas del atacante.

Siga estudiando — capítulo 15 de 50

← Capítulo 14 (borrador) · Índice de capítulos del curso · Capítulo 16 (borrador) →