Capítulo 41 — Seguridad de la IA y del aprendizaje automático: optimización del sistema | Ingeniería Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 41 publicada. Mapa, ejemplo, EX121.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["41.2 Ajuste de umbrales"]
  N2["41.3 Ubicación de los controles"]
  N3["41.4 La ley de Goodhart"]
  N4["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX121"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["41.2 Ajuste de umbrales"]
  N2["41.3 Ubicación de los controles"]
  N3["41.4 La ley de Goodhart"]
  N4["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX121"]

[Resultados de aprendizaje]
    |
    v
[41.2 Ajuste de umbrales]
    |
    v
[41.3 Ubicación de los controles]
    |
    v
[41.4 La ley de Goodhart]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX121]

Resultados de aprendizaje

Usted será capaz de (1) optimizar un sistema de IA atendiendo a la vez a la seguridad, la seguridad funcional, la utilidad y el coste; (2) razonar con varios objetivos (frentes de Pareto) en lugar de con métricas únicas; (3) ajustar los umbrales y la ubicación de los controles con datos; y (4) evitar optimizar las métricas de seguridad hasta vaciarlas de sentido.

41.1 Optimización multiobjetivo

Las mejoras de seguridad suelen costar utilidad, latencia o dinero. Represente las alternativas en dos o más ejes (por ejemplo, éxito del ataque frente a éxito en la tarea) e identifique el frente de Pareto: las opciones para las que ninguna otra es mejor en todos los ejes. Después, quienes toman las decisiones eligen un punto del frente con prioridades explícitas. Una opción está dominada cuando otra es al menos igual de buena en todos los ejes y mejor en uno; las opciones dominadas pueden descartarse sin debate. El propio frente suele contener varias opciones, y cada una sacrifica algo distinto. La ingeniería puede mostrar el frente con claridad, pero elegir entre sus puntos es un juicio sobre prioridades, así que corresponde a los responsables que rinden cuentas.

41.2 Ajuste de umbrales

Los detectores y los modelos de anomalías tienen umbrales. Elíjalos con un modelo de costes: coste de un ataque no detectado × su probabilidad frente a coste de una falsa alarma × su probabilidad, con tasas base realistas. Ajústelos con datos de validación, nunca con el conjunto de prueba final, y revíselos cuando cambien las tasas base. Los datos de validación deben reflejar la tasa base esperada en la operación; de lo contrario, el umbral elegido será erróneo en servicio. Un umbral fijado cuando los ataques eran raros puede producir avalanchas de alertas durante una campaña, o dejar pasar demasiado si los atacantes se adaptan. Sam registra los supuestos de coste junto a cada umbral, de modo que un cambio posterior en la tasa base o en el coste de un ataque no detectado motive un reajuste deliberado.

41.3 Ubicación de los controles

El lugar donde se sitúa un control cambia su coste y su efecto. Ejecutar un clasificador de inyecciones solo sobre el contenido recuperado no confiable (en lugar de sobre cada mensaje) reduce el coste y mantiene la cobertura de la vía arriesgada. Exigir confirmación solo para las acciones de alto impacto reduce la fricción. Optimizar significa poner controles fuertes en las vías de alto riesgo y controles ligeros en las demás. El principio se deriva del análisis de flujo de datos: el riesgo se concentra donde la entrada no confiable se encuentra con la acción privilegiada. Aplicar controles pesados en todas partes malgasta el presupuesto y molesta a los usuarios sin añadir mucha protección, mientras que unos controles ligeros en la vía arriesgada la dejan abierta. El traslado del clasificador al contenido recuperado en el capítulo sobre rendimiento es un ejemplo: el coste bajó mucho mientras la cobertura de la vía no confiable seguía igual.

41.4 La ley de Goodhart

Cuando una medida se convierte en objetivo, deja de ser una buena medida. Los equipos que optimizan un banco de pruebas fijo de jailbreaks pueden sobreajustarse a él sin que mejore la robustez real. Mantenga conjuntos reservados y renovados, realice ejercicios de equipo rojo periódicos y haga un seguimiento de varias métricas. Un equipo al que se premia porque baja el éxito de los ataques en un único banco de pruebas puede añadir filtros para sus frases exactas, lo que mejora la puntuación sin hacer el sistema más difícil de atacar. Los conjuntos reservados y renovados rompen ese vínculo, ya que el equipo no puede ajustarse a pruebas que no ha visto. Hacer un seguimiento de varias métricas también ayuda, porque manipular una suele empeorar otra, como los rechazos indebidos o el éxito en la tarea.

41.5 Ejemplo resuelto (caso sintético de NRS)

Sam evaluó cinco configuraciones de Wrench según el éxito del ataque (conjunto de inyecciones) y el éxito en la tarea (conjunto de planificadores): A (sin controles) 31 %/95 %; B (bloqueo por clasificador) 9 %/86 %; C (política + confirmación) 0,0 % de ejecuciones/93 %; D (C + señalización por clasificador) 0,0 %/93 % con una mejor concentración de los revisores; E (modelo dual + C) 0,0 %/90 %. B está dominada por C. Se eligió D: el mismo éxito en la tarea que C, más unas señales que mejoraron las tasas de detección de los revisores. B bloquea algunos ataques, pero es la que más éxito en la tarea cuesta, lo que explica por qué C la domina: ninguna ejecución y un éxito en la tarea mayor. El modelo dual de E añade una protección que ya proporciona C, con un coste adicional de tres puntos. D añade señales sobre C sin coste en el éxito en la tarea, y por eso gana.

41.6 Errores y límites

Optimizar un único número.
Ajustar los umbrales con datos de prueba.
Bancos de pruebas que nunca cambian.

Optimizar un único número lo mejora a costa de todo lo que no se mide. Los umbrales ajustados con datos de prueba parecen perfectos en el informe y decepcionan en servicio. Los bancos de pruebas que nunca cambian acaban aprendidos por el sistema y sus desarrolladores, hasta que una puntuación alta muestra familiaridad y no robustez. Sam exige que cada informe de optimización muestre al menos una métrica de seguridad y una métrica de coste sobre un conjunto reservado. Ambas aparecen en un mismo gráfico.

Ejercicios — capítulo 41

EX121 — Pareto. Según 41.5, ¿qué configuraciones están en el frente de Pareto para (tasa de ejecuciones, éxito en la tarea)? Rúbrica: 3 = A (mayor éxito en la tarea) y C/D (cero ejecuciones con el mejor éxito en la tarea entre ellas); B y E dominadas; 2 = parcial; 1 = vago; 0 = incorrecto.
EX122 — Modelo de costes. Un ataque no detectado cuesta 50.000; una falsa alarma cuesta 20; tasa base 0,001; opciones de TPR/FPR (0,95/0,05) y (0,80/0,001). ¿Cuál tiene menor coste esperado por elemento? Rúbrica: 3 = cálculo: la primera 0,001×0,05×50.000 + 0,999×0,05×20 = 2,5 + 0,999 = 3,50; la segunda 0,001×0,2×50.000 + 0,999×0,001×20 = 10 + 0,02 = 10,02; la primera es menor; 2 = desliz; 1 = método; 0 = nada.
EX123 — Goodhart. Dé un ejemplo de la ley de Goodhart en la seguridad de la IA y una mitigación. Rúbrica: 3 = sobreajuste a un banco de pruebas + conjuntos reservados renovados/equipos rojos; 2 = parcial; 1 = vago; 0 = nada.

Síntesis del capítulo

En la seguridad de la IA, la optimización es multiobjetivo: encuentre el frente de Pareto, ajuste los umbrales con modelos de costes, ubique los controles según el riesgo y protéjase frente a la manipulación de sus propias métricas.

Siga estudiando — capítulo 41 de 50

← Capítulo 40 (borrador) · Índice de capítulos del curso · Capítulo 42 (borrador) →