Capítulo 26 — Seguridad de la IA y del aprendizaje automático: alternativas de arquitectura
Mapa de la lección
Lección 26 publicada. Mapa, ejemplo, EX076.
flowchart TD
N0["Resultados de aprendizaje"]
N1["26.1 Patrones para aplicaciones con LLM"]
N2["26.2 Patrones para servicios predictivos de ML"]
N3["26.3 Alojado frente a autoalojado"]
N4["26.4 Análisis de compromisos"]
N5["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX076"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["26.1 Patrones para aplicaciones con LLM"]
N2["26.2 Patrones para servicios predictivos de ML"]
N3["26.3 Alojado frente a autoalojado"]
N4["26.4 Análisis de compromisos"]
N5["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX076"]
[Resultados de aprendizaje]
|
v
[26.1 Patrones para aplicaciones con LLM]
|
v
[26.2 Patrones para servicios predictivos de ML]
|
v
[26.3 Alojado frente a autoalojado]
|
v
[26.4 Análisis de compromisos]
|
v
[Síntesis del capítulo]
|
v
[Ejemplo resuelto] --> [Ejercicio EX076]
Resultados de aprendizaje
Usted será capaz de (1) comparar patrones arquitectónicos para aplicaciones con LLM y servicios de ML según sus propiedades de seguridad; (2) evaluar patrones como el de modelo dual (privilegiado/en cuarentena), planificar y luego ejecutar, aislamiento de la recuperación y persona en el bucle; (3) elegir entre modelos alojados por un proveedor y autoalojados con una perspectiva de amenazas; y (4) justificar una elección con una tabla de compromisos.
26.1 Patrones para aplicaciones con LLM
- Modelo único con herramientas: el más sencillo, con la mayor exposición a la inyección, porque el texto no confiable y la autoridad sobre las herramientas confluyen en un mismo contexto.
- Modelo dual: un modelo en cuarentena lee el contenido no confiable y devuelve solo salidas estructuradas y restringidas (por ejemplo, una etiqueta de categoría o cifras extraídas); un modelo privilegiado planifica las acciones usando esas salidas, pero nunca ve el texto no confiable en bruto.
- Planificar y luego ejecutar: el modelo se compromete con un plan a partir de la petición del usuario antes de leer datos no confiables; el contenido posterior puede completar parámetros, pero no añadir acciones.
- Aislamiento de la recuperación: los índices sensibles se separan y se filtran según la identidad del usuario antes de que el modelo vea nada.
- Persona en el bucle: las acciones de alto impacto requieren aprobación, con la procedencia a la vista.
Estos patrones reducen el impacto de la inyección limitando aquello en lo que puede influir el texto no confiable; ninguno lo elimina por completo.
26.2 Patrones para servicios predictivos de ML
Devuelva etiquetas en lugar de vectores de probabilidad completos cuando los clientes no necesiten las confianzas (reduce la señal para la extracción y la inferencia de pertenencia); añada validación de entradas y detección de entradas fuera de distribución; use conjuntos de modelos o aleatorización donde aumente el coste del ataque; aísle el entrenamiento del servicio. Cada medida eleva el coste de un ataque concreto. Devolver solo etiquetas elimina las puntuaciones detalladas en las que se apoyan la extracción y la inferencia de pertenencia, como mostró el laboratorio de pertenencia con salidas de confianza. La detección de entradas fuera de distribución señala las entradas distintas de los datos de entrenamiento, lo que incluye muchas adversariales. Aislar el entrenamiento del servicio significa que un servidor de servicio comprometido no puede alterar los datos de los que aprenderá el siguiente modelo.
26.3 Alojado frente a autoalojado
Los modelos alojados ofrecen una operación sólida y actualizaciones rápidas, pero cambian sin previo aviso, procesan los datos fuera de su perímetro y pueden restringir las pruebas. Los modelos autoalojados dan control y reproducibilidad, pero le hacen responsable de los parches, la capacidad y el ajuste de seguridad. La elección es una decisión de riesgo que implica la protección de datos, la autoridad para realizar pruebas y la confianza en la cadena de suministro. Para NRS, enviar documentos de mantenimiento ferroviario a un proveedor externo puede ser aceptable, mientras que enviar informes de RR. HH. puede no serlo; la clasificación de los datos decide tanto como la calidad del modelo. Un modelo alojado que se actualiza en silencio también puede invalidar de la noche a la mañana una evaluación de seguridad, así que los contratos deben indicar cómo se anuncian los cambios y si los clientes pueden realizar pruebas.
26.4 Análisis de compromisos
Puntúe cada alternativa según el impacto residual de la inyección, la exposición de los datos, la utilidad, la latencia, el coste y la carga operativa. Haga explícita la ponderación y consiga que las partes interesadas la acuerden antes de puntuar. Acordar primero las ponderaciones impide que el análisis se ajuste para justificar una opción favorita. Las puntuaciones necesitan motivos breves, como «modelo dual: el texto no confiable solo produce un registro fijo, de modo que las acciones inyectadas no pueden llegar al modelo planificador». Cuando un criterio como la latencia puede medirse, una medición sustituye a la estimación. El resultado es una recomendación con su fundamento a la vista, que las partes interesadas pueden cuestionar sobre los hechos y no sobre preferencias, y que puede volver a puntuarse si más adelante cambian las ponderaciones.
26.5 Ejemplo resuelto (caso sintético de NRS)
Para el asistente de los planificadores de depósito, Sam comparó el modelo único, el modelo dual y el de planificar y luego ejecutar. El modelo dual obtuvo la mejor puntuación en impacto de la inyección (los boletines no confiables solo producen un registro restringido de «ID de activos afectados y gravedad»), pero costaba un 30 % más de latencia. El de planificar y luego ejecutar no podía gestionar bien las preguntas iterativas de los planificadores. El equipo eligió el modelo dual para el procesamiento de boletines y el modelo único para la conversación libre sin herramientas.
La decisión dividida combina los puntos fuertes de ambos patrones. La conversación libre no tiene herramientas, así que una inyección en ella puede, como mucho, producir una respuesta engañosa, y los boletines solo llegan a la planificación como registros restringidos. El coste del 30 % de latencia recae solo en el procesamiento de boletines, que se ejecuta en segundo plano y no mientras un planificador espera una respuesta.
26.6 Errores y límites
- Elegir patrones por moda y no por el modelo de amenazas.
- Modelos en cuarentena cuya salida «estructurada» es texto libre.
- Ignorar las condiciones del modelo alojado que restringen las pruebas de seguridad.
Un patrón elegido porque otros lo usan puede defender contra amenazas a las que el sistema no se enfrenta y pasar por alto las que sí afronta. Un modelo en cuarentena que devuelve texto libre da a las instrucciones inyectadas una vía directa hacia el modelo privilegiado, lo que anula el propósito del patrón. Las condiciones de un modelo alojado que prohíben las pruebas dejan a un equipo sin poder verificar sus propias afirmaciones de seguridad, así que esas condiciones se revisan antes de tomar la decisión.
Ejercicios — capítulo 26
- EX076 — Modelo dual. Explique por qué la salida del modelo en cuarentena debe estar restringida. Rúbrica: 3 = el texto libre podría llevar instrucciones inyectadas al modelo privilegiado; un esquema restringido limita la influencia; 2 = parcial; 1 = vago; 0 = incorrecto.
- EX077 — Solo etiquetas. ¿Qué dos ataques se vuelven más difíciles cuando una API devuelve solo etiquetas? Rúbrica: 3 = extracción e inferencia de pertenencia (basada en la confianza); 2 = uno; 1 = vago; 0 = incorrecto.
- EX078 — Alojado frente a autoalojado. Dé dos motivos de seguridad para cada opción. Rúbrica: 3 = dos para cada una, correctos; 2 = tres en total; 1 = uno o dos; 0 = ninguno.
Síntesis del capítulo
Las decisiones de arquitectura determinan hasta dónde puede llegar una entrada no confiable. Los patrones de modelo dual, planificar y luego ejecutar, aislamiento y aprobación cambian latencia y flexibilidad por un impacto acotado.
Siga estudiando — capítulo 26 de 50
← Capítulo 25 (borrador) · Índice de capítulos del curso · Capítulo 27 (borrador) →