Capítulo 5 — Seguridad de la IA y del aprendizaje automático: alternativas de diseño
Mapa de la lección
Lección 05 publicada. Mapa, ejemplo, EX021.
flowchart TD
N0["Resultados de aprendizaje"]
N1["5.1 Generar antes de elegir"]
N2["5.2 Patrones"]
N3["5.3 Lado del modelo frente a lado del sistema"]
N4["5.4 Comparar diseños"]
N5["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX021"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["5.1 Generar antes de elegir"]
N2["5.2 Patrones"]
N3["5.3 Lado del modelo frente a lado del sistema"]
N4["5.4 Comparar diseños"]
N5["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX021"]
[Resultados de aprendizaje]
|
v
[5.1 Generar antes de elegir]
|
v
[5.2 Patrones]
|
v
[5.3 Lado del modelo frente a lado del sistema]
|
v
[5.4 Comparar diseños]
|
v
[Síntesis]
|
v
[Ejemplo resuelto] --> [Ejercicio EX021]
Resultados de aprendizaje
Usted podrá (1) generar varias arquitecturas para una funcionalidad de IA; (2) compararlas en seguridad, utilidad, coste y reversibilidad; (3) aplicar patrones como la separación de privilegios, planificar y luego ejecutar y las salidas estructuradas; (4) evaluar las defensas del lado del modelo frente a las del lado del sistema; y (5) presentar una disyuntiva de diseño.
5.1 Generar antes de elegir
Un fallo habitual es proteger el primer diseño propuesto. Genere al menos tres: el diseño mínimo (el modelo redacta, una persona actúa); el agente acotado (el modelo llama a herramientas específicas con comprobaciones externas); y el agente amplio (el modelo dispone de herramientas generales). Después compárelos. A menudo el diseño mínimo aporta la mayor parte del valor con poco riesgo. La comparación de Amira para la reprogramación en el ejemplo resuelto que sigue parte de tres diseños. Para la reprogramación en Corvane, el diseño mínimo mantiene un clic humano en cada cambio. Escriba cada diseño con su límite de daño antes de puntuar ninguno, para que la primera idea no condicione la comparación.
5.2 Patrones
Separación de privilegios: un componente lee el contenido no fiable sin acceso a herramientas y devuelve datos estructurados; otro, que nunca ve el texto no fiable en bruto, decide las acciones. Planificar y luego ejecutar: el modelo propone un plan con un esquema fijo; un comprobador determinista lo valida frente a la política antes de ejecutarlo. Salidas estructuradas: las acciones son campos tipados, no texto libre, de modo que la validación es exacta. Credenciales con alcance limitado: las llamadas a herramientas se ejecutan con los derechos del usuario final, nunca con una cuenta de servicio que pueda llegar a todos los registros.
El diseño de reprogramación de Amira usa la separación de privilegios y las salidas estructuradas.
5.3 Lado del modelo frente a lado del sistema
Las defensas del lado del modelo —el entrenamiento de seguridad, los clasificadores de inyección, las consultas estructuradas— reducen la tasa de salidas dañinas. Las defensas del lado del sistema —las comprobaciones de políticas, los límites, el aislamiento (sandboxing), la confirmación— acotan el daño cuando se producen salidas dañinas. Wei et al. (arXiv:2307.02483) analizan por qué el entrenamiento de seguridad falla frente a los jailbreaks, lo que respalda la idea de que las defensas del lado del modelo no deben ser la única capa. Use ambas, pero ponga las garantías en el sistema.
En Corvane, el clasificador de inyección está del lado del modelo y el servicio de políticas del lado del sistema; la evaluación mostró que solo el segundo alcanzaba un daño cercano a cero.
5.4 Comparar diseños
Puntúe cada diseño según: límite de daño (pérdida en el peor caso por incidente), tasa de fallo esperada, valor para el usuario, coste de operación, esfuerzo de implantación y reversibilidad. Presente una tabla y una recomendación, e indique qué puntuaciones son estimaciones. Para la reprogramación, la tabla de Amira mostraría el diseño C con un daño ilimitado, el diseño A con poco valor y el diseño B con un tope y mucho valor. Marque qué puntuaciones están medidas y cuáles son estimaciones. Presente la tabla al responsable del producto con la recomendación, y registre la decisión con su responsable y sus desencadenantes de revisión.
5.5 Ejemplo resuelto (caso sintético de Corvane)
Para la reprogramación, Amira compara: (A) Copilot redacta una reprogramación y un agente hace clic para confirmar —límite de daño: una reserva errónea por clic; valor moderado—; (B) Copilot propone una reprogramación estructurada que se comprueba frente al titular del envío y las reglas de fechas y se ejecuta automáticamente para envíos de menos de 2000 € —límite de daño acotado por el tope de valor; valor alto—; (C) Copilot dispone de una clave general de la API logística —límite de daño: toda la base de datos de envíos—. Recomienda B con separación de privilegios: un modelo lector analiza los correos de los transportistas y los convierte en campos; el planificador nunca ve el texto en bruto del correo.
5.6 Errores y límites
- Comparar un solo diseño con «no hacer nada».
- Confiar en las instrucciones del prompt como frontera.
- Credenciales de herramientas de una cuenta de servicio.
Cada error estrecha la elección de forma injusta. Comparar un diseño con no hacer nada oculta opciones seguras más baratas, como el diseño mínimo. Las instrucciones del prompt pueden quedar anuladas por texto inyectado, así que no pueden ser la frontera. Una credencial de cuenta de servicio permite que una sola instrucción inyectada llegue a todos los registros, como lo haría la clave general de la API del diseño C. Una revisión del diseño que caiga en una de estas trampas debe devolverse al equipo antes de su aprobación.
Ejercicios
- EX021 — Tres diseños. Proponga tres diseños para una funcionalidad con un LLM que responda preguntas sobre nóminas. Rúbrica: 3 = mínimo, acotado y amplio, con sus diferencias; 2 = dos; 1 = uno; 0 = ninguno.
- EX022 — Separación de privilegios. Explique cómo la separación de privilegios limita la inyección indirecta en el diseño B. Rúbrica: 3 = el texto no fiable no llega al planificador; solo pasan campos tipados; riesgo residual a través de los valores de los campos; 2 = sin el residual; 1 = vago; 0 = incorrecto.
- EX023 — Modelo o sistema. Clasifique seis defensas como del lado del modelo o del lado del sistema. Rúbrica: 3 = las seis; 2 = cinco; 1 = tres o cuatro; 0 = menos.
- EX024 — Tabla comparativa. Construya la tabla comparativa de los diseños A–C. Rúbrica: 3 = seis criterios, estimaciones marcadas, recomendación; 2 = cuatro criterios; 1 = vago; 0 = nada.
- EX025 — Credenciales. ¿Por qué deben las llamadas a herramientas usar los derechos del usuario final? Rúbrica: 3 = agente confundido, radio de impacto, auditoría; 2 = dos; 1 = uno; 0 = ninguno.
Síntesis
Un buen diseño de seguridad de la IA genera alternativas y las compara abiertamente, pone las garantías en los controles del lado del sistema y usa las defensas del lado del modelo para reducir las tasas de fallo.
Siga estudiando — capítulo 05 de 12
← Capítulo 04 (borrador) · Índice de capítulos del curso · Capítulo 06 (borrador) →