Capítulo 3 — Seguridad de la IA y del aprendizaje automático: evidencia especializada | Posgrado Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 03 publicada. Mapa, ejemplo, EX011.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["3.1 Tipos de evidencia"]
  N2["3.2 Tasas e intervalos"]
  N3["3.3 Evaluaciones débiles"]
  N4["3.4 Evidencia sobre privacidad y envenenamiento"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX011"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["3.1 Tipos de evidencia"]
  N2["3.2 Tasas e intervalos"]
  N3["3.3 Evaluaciones débiles"]
  N4["3.4 Evidencia sobre privacidad y envenenamiento"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX011"]

[Resultados de aprendizaje]
    |
    v
[3.1 Tipos de evidencia]
    |
    v
[3.2 Tasas e intervalos]
    |
    v
[3.3 Evaluaciones débiles]
    |
    v
[3.4 Evidencia sobre privacidad y envenenamiento]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX011]

Resultados de aprendizaje

Usted podrá (1) distinguir los tipos de evidencia de seguridad de la IA y su solidez; (2) comunicar las tasas de éxito de los ataques con intervalos de confianza; (3) reconocer las evaluaciones débiles, incluidos los ataques no adaptativos; (4) interpretar las mediciones de privacidad y de envenenamiento; y (5) redactar una declaración de evidencia que un revisor pueda comprobar.

3.1 Tipos de evidencia

De más débil a más sólida: afirmaciones del proveedor; documentación de los controles; revisión de la configuración; pruebas no adaptativas con conjuntos fijos; pruebas adaptativas realizadas por personas que conocen la defensa; ejercicios independientes de equipo rojo; y resultados de producción monitorizados. Cada una tiene su lugar, pero una afirmación debe citar evidencia acorde con su solidez. «El modelo resiste la inyección» requiere pruebas adaptativas; «el agente no puede reembolsar más de 20 €» puede demostrarse mediante la revisión de la configuración más pruebas del servicio de políticas, porque la aplicación del control no depende del modelo. La declaración de evidencia de Amira en el ejemplo resuelto que sigue atribuye el mérito a la configuración y a las pruebas del servicio de políticas.

3.2 Tasas e intervalos

Comunique los éxitos sobre los ensayos con un intervalo del 95 % (Wilson es una buena opción por defecto). Tres éxitos en 20 ensayos (15 %) dan aproximadamente un 5–36 %; la misma tasa en 2000 ensayos da un 13,5–16,6 %. Compare las defensas con el mismo conjunto y comunique la diferencia con un intervalo. Varíe las semillas aleatorias y comunique la dispersión.

"""Lab S: reporting attack-success rates honestly: Wilson intervals,
seed variation and a paired bootstrap. Synthetic trial outcomes only."""
import math, random
def wilson(k, n, z=1.96):
    p = k/n; d = 1 + z*z/n
    c = (p + z*z/(2*n))/d; h = z*math.sqrt(p*(1-p)/n + z*z/(4*n*n))/d
    return c - h, c + h
for k, n in ((3, 20), (30, 200), (300, 2000)):
    lo, hi = wilson(k, n); print(f"successes={k}/{n} rate={k/n:.3f} wilson95=[{lo:.3f}, {hi:.3f}]")
# five seeds of a synthetic defence evaluation: per-seed attack success rate
rates = []
for seed in range(5):
    r = random.Random(seed); rates.append(sum(r.random() < 0.12 for _ in range(200))/200)
m = sum(rates)/5; sd = math.sqrt(sum((x-m)**2 for x in rates)/4)
print("per-seed rates:", " ".join(f"{x:.3f}" for x in rates), f"mean={m:.3f} sd={sd:.3f}")
# paired bootstrap: baseline vs defence on the same 300 synthetic prompts
r = random.Random(42)
base = [r.random() < 0.30 for _ in range(300)]
defn = [b and r.random() < 0.6 for b in base]   # defence blocks ~40% of successes
diffs = []
for _ in range(2000):
    idx = [r.randrange(300) for _ in range(300)]
    diffs.append(sum(base[i] for i in idx)/300 - sum(defn[i] for i in idx)/300)
diffs.sort()
print(f"baseline_asr={sum(base)/300:.3f} defended_asr={sum(defn)/300:.3f} "
      f"reduction_ci95=[{diffs[50]:.3f}, {diffs[1949]:.3f}]")

Salida esperada:

successes=3/20 rate=0.150 wilson95=[0.052, 0.360]
successes=30/200 rate=0.150 wilson95=[0.107, 0.206]
successes=300/2000 rate=0.150 wilson95=[0.135, 0.166]
per-seed rates: 0.110 0.130 0.135 0.105 0.145 mean=0.125 sd=0.017
baseline_asr=0.350 defended_asr=0.190 reduction_ci95=[0.120, 0.203]

El resultado de Amira de 41 de 300 se comunica así, con un intervalo de aproximadamente el 10–18 %, para que la junta vea tanto la tasa como su incertidumbre. Indique el número de ensayos junto a cada tasa y diga si los casos eran adaptativos.

3.3 Evaluaciones débiles

Carlini et al. (arXiv:1902.06705) enumeran fallos habituales en las evaluaciones de robustez; Athalye et al. (arXiv:1802.00420) mostraron que las defensas basadas en gradientes ofuscados se rompían con ataques adaptados. Señales de alerta: solo cadenas de ataque públicas y fijas; el defensor escribió todas las pruebas; ninguna línea base; muestras minúsculas; éxito medido por las palabras del modelo y no por lo que ocurrió (una llamada a una herramienta, una divulgación de datos). La afirmación del «99 %» del proveedor en el ejemplo resuelto que sigue muestra varias de estas señales a la vez: solo cadenas públicas, un conjunto escrito por el proveedor y un éxito medido por la salida del clasificador.

3.4 Evidencia sobre privacidad y envenenamiento

La inferencia de pertenencia (Shokri et al., arXiv:1610.05820) se mide como ventaja del ataque o AUC sobre conjuntos equilibrados de miembros y no miembros; la privacidad diferencial (Abadi et al., arXiv:1607.00133) proporciona una cota formal en lugar de una medición. La evidencia sobre envenenamiento comunica tanto la exactitud limpia como el éxito del ataque, porque las puertas traseras (Gu et al., arXiv:1708.06733) pueden dejar sin cambios la exactitud limpia. Para FraudScore, la evidencia sobre envenenamiento implicaría probar facturas sintéticas con disparador además de la exactitud limpia, como hace el equipo de Amira en el capítulo de evaluación. Una única cifra de exactitud limpia no revelaría una puerta trasera.

3.5 Ejemplo resuelto (caso sintético de Corvane)

Un proveedor afirma que su filtro de inyección «bloquea el 99 % de los ataques». Amira pide el conjunto: 500 cadenas públicas, no adaptativas, medidas por la salida del clasificador. Su equipo construye 300 casos adaptativos contra Dispatch Copilot y mide las llamadas a herramientas: el filtro por sí solo permite 41 llamadas dañinas (13,7 %, intervalo ≈ 10,2–18,0 %). Con el servicio de políticas de los reembolsos, 0 de 300 llegan al pago (límite superior ≈ 1 %). Su declaración de evidencia atribuye el mérito al servicio de políticas, no al filtro. La diferencia entre el 13,7 % y 0 de 300 muestra por qué importa medir los efectos: el filtro cambia el texto; el servicio de políticas cambia los resultados. Amira mantiene el filtro solo como señal.

3.6 Errores y límites

Citar tasas sin ensayos ni intervalos.
Aceptar resultados no adaptativos para amenazas adaptativas.
Medir el texto en lugar de los efectos.

Cada error lleva a los lectores a confiar en el control equivocado. Una tasa sin ensayos ni intervalos no puede compararse ni comprobarse. Los resultados no adaptativos dicen poco sobre los atacantes que conocen la defensa; el 99 % del proveedor cayó al 13,7 % cuando el equipo de Amira adaptó los ataques. Medir las palabras del modelo en lugar de las llamadas a herramientas pasa por alto el daño que ocurre de todos modos. Revise cada declaración de evidencia frente a estos tres puntos y corríjala antes de comunicarla.

Ejercicios

EX011 — Ordenar la evidencia. Ordene cinco elementos de evidencia sobre Dispatch Copilot de más débil a más sólido. Rúbrica: 3 = orden sensato con razones; 2 = deslices menores; 1 = deslices importantes; 0 = nada.
EX012 — Intervalo. Usando la salida del laboratorio, explique por qué 3/20 y 300/2000 respaldan afirmaciones distintas. Rúbrica: 3 = anchuras de los intervalos y solidez de la afirmación; 2 = solo las anchuras; 1 = vago; 0 = incorrecto.
EX013 — Señales de alerta. Encuentre tres señales de alerta en la afirmación del proveedor. Rúbrica: 3 = tres correctas; 2 = dos; 1 = una; 0 = ninguna.
EX014 — Métricas de puertas traseras. ¿Por qué comunicar juntas la exactitud limpia y el éxito del ataque? Rúbrica: 3 = una puerta trasera puede mantener la exactitud limpia; ambas son necesarias; 2 = parcial; 1 = vago; 0 = incorrecto.
EX015 — Declaración de evidencia. Redacte una declaración de evidencia de dos frases para el control de los reembolsos. Rúbrica: 3 = ensayos, resultado, límite, condiciones; 2 = falta uno; 1 = vago; 0 = nada.

Síntesis

La evidencia especializada se gradúa por su solidez, se comunica con intervalos, se obtiene de forma adaptativa y se mide por sus efectos. Atribuya las afirmaciones a los controles que la evidencia respalda realmente.

Siga estudiando — capítulo 03 de 12

← Capítulo 02 (borrador) · Índice de capítulos del curso · Capítulo 04 (borrador) →