Capítulo 10 — Seguridad de la IA y del aprendizaje automático: orientación | Tecnólogo Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 10 publicada. Mapa, ejemplo, EX028.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["10.1 Cómo se construyen los sistemas de aprendizaje"]
  N2["10.2 Clases de ataques"]
  N3["10.3 OWASP y ATLAS"]
  N4["10.4 El papel del tecnólogo"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX028"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["10.1 Cómo se construyen los sistemas de aprendizaje"]
  N2["10.2 Clases de ataques"]
  N3["10.3 OWASP y ATLAS"]
  N4["10.4 El papel del tecnólogo"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX028"]

[Resultados de aprendizaje]
    |
    v
[10.1 Cómo se construyen los sistemas de aprendizaje]
    |
    v
[10.2 Clases de ataques]
    |
    v
[10.3 OWASP y ATLAS]
    |
    v
[10.4 El papel del tecnólogo]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX028]

Resultados de aprendizaje

Usted podrá (1) explicar cómo se construyen y se usan los sistemas de aprendizaje automático; (2) enumerar las principales clases de ataques contra la IA; (3) relacionarlas con el OWASP LLM Top 10 2025 y con MITRE ATLAS; y (4) describir el papel del tecnólogo en la seguridad de la IA.

10.1 Cómo se construyen los sistemas de aprendizaje automático

Un sistema de aprendizaje automático aprende una función a partir de datos. El ciclo de vida es: recopilar y etiquetar datos, entrenar un modelo, evaluarlo, desplegarlo detrás de una aplicación, supervisarlo y volver a entrenarlo. Las aplicaciones basadas en modelos de lenguaje suelen partir de un modelo preentrenado de un proveedor y añaden después un prompt del sistema, documentos recuperados y herramientas. Los tres sistemas de Brightwell muestran ambos patrones. ReturnGuard sigue el ciclo de vida clásico, entrenado con devoluciones etiquetadas y reentrenado a medida que cambia el fraude, mientras que Ask Brightwell y CodePilot parten de modelos de proveedores o preentrenados y añaden prompts, documentos y herramientas. El trabajo de seguridad difiere en consecuencia: datos y etiquetas en el primero, prompts y herramientas en los demás.

10.2 Clases de ataques

NIST AI 100-2 E2025 agrupa los ataques en: evasión, es decir, entradas diseñadas para provocar salidas erróneas (Szegedy et al., arXiv:1312.6199; Goodfellow et al., arXiv:1412.6572); envenenamiento, es decir, la corrupción de los datos de entrenamiento, incluidas las puertas traseras (Gu et al., arXiv:1708.06733); privacidad, es decir, inferencia de pertenencia, extracción de datos y extracción del modelo (Shokri et al., arXiv:1610.05820; Tramèr et al., arXiv:1609.02943); y, en la IA generativa, la inyección de prompts directa e indirecta y el uso indebido. El mapa de Brightwell que elabora Jonas usa estas clases: ReturnGuard se enfrenta a la evasión por parte de defraudadores que dan forma a sus devoluciones, al envenenamiento mediante etiquetas erróneas y a la extracción mediante puntuaciones repetidas, mientras que Ask Brightwell se enfrenta a la inyección indirecta de prompts a través de reseñas y páginas. Nombrar la clase ayuda a elegir el laboratorio y el control.

10.3 OWASP y ATLAS

El OWASP Top 10 for LLM Applications 2025: LLM01 Prompt Injection, LLM02 Sensitive Information Disclosure, LLM03 Supply Chain, LLM04 Data and Model Poisoning, LLM05 Improper Output Handling, LLM06 Excessive Agency, LLM07 System Prompt Leakage, LLM08 Vector and Embedding Weaknesses, LLM09 Misinformation, LLM10 Unbounded Consumption. MITRE ATLAS describe las tácticas y técnicas de los adversarios contra la IA, con casos de estudio. En Brightwell, la lista de OWASP se ajusta a Ask Brightwell y a CodePilot, mientras que ATLAS cubre también ReturnGuard, que es un modelo predictivo que la lista OWASP LLM no aborda. Jonas usa ambas para que cada sistema tenga un nombre reconocido para cada riesgo.

10.4 El papel del tecnólogo

Los tecnólogos construyen y operan los sistemas que rodean a los modelos: pasarelas, orquestadores, recuperación, herramientas, pipelines y supervisión. La mayoría de los controles eficaces de seguridad de la IA residen ahí: control de acceso, validación, aislamiento, límites y registro. No hace falta entrenar modelos para protegerlos. En Brightwell, el equipo de Jonas no entrena ningún modelo de lenguaje y, sin embargo, casi todas las correcciones de este libro son suyas: el límite de frecuencia, la separación del índice, las comprobaciones de propiedad, el servicio de políticas, el entorno aislado y la supervisión. Los modelos siguen siendo los mismos; lo que cambia es hasta dónde se les permite llegar. Por eso el libro dedica la mayoría de los capítulos a los sistemas que rodean a los modelos y no al entrenamiento.

10.5 Ejemplo resuelto (caso sintético de Brightwell)

Jonas cartografía los tres sistemas de Brightwell. Ask Brightwell: LLM01, LLM02, LLM05, LLM06, LLM08, LLM10. ReturnGuard: evasión (defraudadores que dan forma a sus devoluciones), envenenamiento (etiquetas erróneas del personal) y extracción del modelo mediante puntuaciones repetidas. CodePilot: LLM03 (paquetes sugeridos), LLM05 (código generado que se ejecuta sin revisión). Anota que la mayoría de las correcciones están en el código de su equipo, no en los modelos. El mapa da a cada sistema una lista breve de pruebas que ejecutar. Su última observación es la que más importa al equipo de Jonas: como las correcciones están en su código, pueden aplicarlas sin esperar a un proveedor.

10.6 Errores y límites

Suponer que la seguridad de la IA consiste en entrenar modelos.
Tratar el OWASP LLM como si cubriera los modelos predictivos.
Olvidar el pipeline de datos.

El mapa de Jonas evita estos errores enumerando lo que hace realmente cada sistema. ReturnGuard es un modelo predictivo y exige pensar en evasión, envenenamiento y extracción, no solo en la lista LLM. Las etiquetas de ReturnGuard proceden del personal, así que el pipeline de datos forma parte de su superficie de ataque. Y los controles que propone están todos en código que su equipo controla, no en el entrenamiento de modelos. Cada error deja sin examinar una parte de la superficie de ataque de un sistema.

Ejercicios

EX028 — Ciclo de vida. Nombre un ataque en cada etapa del ciclo de vida. Rúbrica: 3 = cinco etapas con ataques adecuados; 2 = cuatro; 1 = dos; 0 = ninguno.
EX029 — Clasificar. Clasifique cuatro escenarios de Brightwell como evasión, envenenamiento, privacidad o inyección. Rúbrica: 3 = cuatro correctos; 2 = tres; 1 = uno o dos; 0 = ninguno.
EX030 — Papel. Enumere cinco controles de seguridad de la IA que dependen de un tecnólogo. Rúbrica: 3 = cinco adecuados; 2 = cuatro; 1 = dos; 0 = ninguno.

Síntesis

La seguridad de la IA abarca todo el ciclo de vida y muchas clases de ataques; los tecnólogos son responsables de la mayoría de los controles que hacen que los sistemas de IA sean seguros de operar.

Siga estudiando — capítulo 10 de 30

← Capítulo 09 (borrador) · Índice de capítulos del curso · Capítulo 11 (borrador) →