Capítulo 5 — Estudio principal y validación independiente | Investigación doctoral Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 05 publicada. Mapa, ejemplo, EX027.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["5.1 Ejecutar un estudio prerregistrado"]
  N2["5.2 Ataque adaptativo con un presupuesto justo"]
  N3["5.3 Análisis"]
  N4["5.4 Validación independiente"]
  N5["5.6 Actividades de práctica"]
  N6["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX027"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["5.1 Ejecutar un estudio prerregistrado"]
  N2["5.2 Ataque adaptativo con un presupuesto justo"]
  N3["5.3 Análisis"]
  N4["5.4 Validación independiente"]
  N5["5.6 Actividades de práctica"]
  N6["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX027"]

[Resultados de aprendizaje]
    |
    v
[5.1 Ejecutar un estudio prerregistrado]
    |
    v
[5.2 Ataque adaptativo con un presupuesto justo]
    |
    v
[5.3 Análisis]
    |
    v
[5.4 Validación independiente]
    |
    v
[5.6 Actividades de práctica]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX027]

Resultados de aprendizaje

Usted podrá (1) realizar un estudio principal prerregistrado y llevar un registro de desviaciones; (2) evaluar una defensa bajo ataque adaptativo con un presupuesto justo; (3) analizar los resultados con comparaciones emparejadas, intervalos y corrección por pruebas múltiples; (4) encargar una validación independiente (equipo rojo, segunda implementación o replicación externa); y (5) comunicar lo que la evidencia respalda y lo que no.

5.1 Ejecutar un estudio prerregistrado

Congele el protocolo: versión del modelo de amenazas, hipótesis, métricas, tamaños de muestra, semillas, hashes de los modelos, plantillas de instrucciones, presupuesto del ataque y el script de análisis. Guárdelo como un documento con fecha y hora; un commit fechado en un repositorio o un registro en su institución o en un registro público basta para la mayoría de los foros. Ejecute el estudio exactamente tal como se congeló. Cada cambio (un nodo que se cae, un punto de control del modelo que no carga, un error en una plantilla de tarea) va a un registro de desviaciones con la fecha, la razón y el efecto esperado. Las desviaciones son normales; ocultarlas no lo es.

5.2 Ataque adaptativo con un presupuesto justo

La principal amenaza a la validez en los artículos sobre defensas es un adversario débil. Para cada defensa, ejecute (a) los ataques estáticos usados para las líneas de base; (b) ataques dirigidos explícitamente contra el mecanismo de la defensa: para una defensa por separación, cargas útiles que imitan los delimitadores del canal reservado para instrucciones, cargas útiles que piden al modelo repetir contenido en una posición privilegiada, y cargas útiles en varios pasos que usan una herramienta permitida para preparar una no permitida; y (c) un ataque basado en optimización o en búsqueda cuando el modelo de amenazas lo permita. Dé a todas las defensas el mismo presupuesto (consultas, variantes de carga útil, cómputo) y comunique el éxito del ataque en función del presupuesto, no solo en un punto: una defensa que resiste con 20 intentos pero falla con 200 tiene un significado de seguridad distinto del de otra que resiste en ambos casos. La orientación de arXiv:1902.06705 (comprobar que más esfuerzo de ataque nunca reduce el éxito y que los ataques sin límite llegan al 100 % cuando deben) se aplica directamente.

5.3 Análisis

Use comparaciones emparejadas cuando las condiciones compartan tareas: las mismas 900 tareas con la línea de base y con la defensa. El bootstrap emparejado del capítulo 1 estima la reducción de la ASR con un intervalo. Cuando pruebe varias hipótesis o varias familias de ataques, controle los falsos descubrimientos; Holm–Bonferroni es sencillo y conservador. Comunique los tamaños del efecto con intervalos, los costes de utilidad sobre las mismas tareas y los resultados por familia, para que un promedio no oculte una familia en la que la defensa falla. Estratifique por modelo: una defensa que ayuda a un modelo y perjudica a otro necesita ambos números en el resumen, no un único número agregado.

5.4 Validación independiente

La evidencia doctoral es más fuerte cuando alguien distinto del autor intenta romperla o reproducirla. Hay tres formas practicables. Una validación por equipo rojo: entregue a un equipo aparte la defensa, la documentación y el presupuesto, pero no las tareas de prueba selladas, y pídale la ASR máxima. Una segunda implementación: otra persona implementa el método solo a partir del texto del artículo; las diferencias revelan decisiones no documentadas. Una replicación externa: un colaborador de otro laboratorio ejecuta los artefactos que usted ha publicado. Acuerden de antemano cómo se comunicarán los resultados, también si gana el equipo rojo. La matriz MITRE ATLAS es una lista de comprobación útil para la cobertura del equipo rojo, y NIST AI 600-1 incluye el red teaming entre las acciones sugeridas para la gestión del riesgo de la IA generativa.

5.5 Ejemplo resuelto (caso sintético del MAAL)

El protocolo congelado de Ana ejecutó 900 tareas × 4 condiciones × 5 semillas en dos modelos locales. Registro de desviaciones: un punto de control no cargó con la semilla 3 y se volvió a ejecutar tras corregir un controlador (sin efecto esperado). Resultados (sintéticos): con cargas útiles estáticas, la ASR fue del 31 % (sin defensa), del 18 % (filtro), del 6 % (lista de permitidos) y del 2,1 % (separación + lista de permitidos). Bajo ataque adaptativo con 200 variantes por familia de tareas, la ASR pasó a ser del 44 %, del 37 %, del 11 % y del 5,8 %. La reducción emparejada de separación + lista de permitidos frente a la lista de permitidos sola fue de 5,2 puntos (IC al 95 %: 3,9–6,6) y sobrevivió a la corrección de Holm. El éxito de las tareas cayó 2,4 puntos (H2 cumplida). El equipo rojo independiente, con el mismo presupuesto, llegó al 8,9 % en un modelo encadenando una herramienta de búsqueda permitida con un resumen que repetía instrucciones, una familia que Ana no había previsto. No la descartó: se convirtió en una limitación con nombre y en una nueva familia de ataques en el artículo.

El laboratorio de inferencia de pertenencia recuerda que la validación independiente también se aplica a la medición: la señal del «ataque» (AUC de 0,60 con k = 1) casi desaparece con k = 25. Que su auditoría encuentre fuga depende tanto de la configuración del modelo como del ataque.

"""Lab M: membership inference against an overfit 1-nearest-neighbour 'model'
that returns a confidence score. Synthetic records only; teaching model."""
import random, math
rng = random.Random(5)
def rec(): 
    y = rng.random() < 0.5
    return [rng.gauss(0.6 if y else -0.6, 1.0) for _ in range(4)], int(y)
members = [rec() for _ in range(150)]; nonmembers = [rec() for _ in range(150)]
def confidence(x, y, k):
    # k-NN vote share for the true label, computed over the training set
    d = sorted((sum((a-b)**2 for a, b in zip(x, m)), my) for m, my in members)
    return sum(1 for _, my in d[:k] if my == y)/k
def auc(pos, neg):
    s = sum((p > n) + 0.5*(p == n) for p in pos for n in neg)
    return s/(len(pos)*len(neg))
for k in (1, 5, 25):
    pos = [confidence(x, y, k) for x, y in members]
    neg = [confidence(x, y, k) for x, y in nonmembers]
    best = max(sum(p >= t for p in pos)/len(pos) - sum(n >= t for n in neg)/len(neg)
               for t in sorted(set(pos + neg)))
    print(f"k={k:2d} attack_auc={auc(pos, neg):.3f} best_advantage={best:.3f}")

Salida esperada:

k= 1 attack_auc=0.600 best_advantage=0.200
k= 5 attack_auc=0.521 best_advantage=0.073
k=25 attack_auc=0.520 best_advantage=0.060

5.6 Actividades de práctica

Congele su protocolo y abra un registro de desviaciones. 2. Escriba tres ataques adaptativos dirigidos contra el mecanismo de su defensa. 3. Redacte un encargo para el equipo rojo con presupuesto, alcance, reglas de enfrentamiento y condiciones de comunicación. Su protocolo debe enumerar la versión del modelo de amenazas, las hipótesis, las métricas, los tamaños de muestra, las semillas, los hashes de los modelos, las plantillas, el presupuesto del ataque y el script de análisis, con una fecha. Los ataques adaptativos deben dirigirse a cómo funciona su defensa, como hacen las cargas útiles de Ana que imitan delimitadores o piden repeticiones. El encargo al equipo rojo debe entregar la defensa y el presupuesto, pero no las tareas selladas, y decir de antemano cómo se comunicarán los resultados si gana el equipo rojo.

5.7 Errores y límites

Cada uno de estos errores exagera la defensa:

Dar a su defensa un presupuesto de ajuste mayor que el de las líneas de base, lo que hace injusta la comparación.
Comunicar un solo punto de presupuesto, lo que oculta si la defensa resiste con 200 intentos igual que con 20.
Agregar los resultados de distintos modelos o familias de ataques cuando discrepan, lo que oculta un modelo o una familia en la que la defensa falla.
Realizar muchas pruebas y comunicar solo las significativas, lo que ignora la multiplicidad que aborda la corrección de Holm.
Tratar el hecho de que un equipo rojo no rompa una defensa como prueba de seguridad; un equipo rojo que fracasa solo ha mostrado que sus intentos fracasaron, y el equipo rojo de Ana encontró una familia que a ella se le había escapado.

Ejercicios — capítulo 5

EX027 — Registro de desviaciones. Escriba dos entradas del registro de desviaciones para problemas plausibles del estudio. Rúbrica: 3 = fecha, cambio, razón y efecto esperado en ambas; 2 = una completa; 1 = vago; 0 = ninguna.
EX028 — Ataques adaptativos. Proponga dos ataques adaptativos contra una defensa que envuelve el texto recuperado en delimitadores especiales. Rúbrica: 3 = dos ataques dirigidos al mecanismo (falsificación de delimitadores, eco o repetición, encadenamiento de herramientas) descritos de forma segura; 2 = uno; 1 = genérico; 0 = ninguno o con detalles operativos dañinos.
EX029 — Curva de presupuesto. Explique por qué la ASR debe comunicarse como una curva en función del presupuesto del ataque. Rúbrica: 3 = muestra cómo se degrada la seguridad y detecta ataques rotos o fallos de monotonía; 2 = parcial; 1 = vago; 0 = incorrecto.
EX030 — Holm. Con valores p de 0,004, 0,020 y 0,030 para tres pruebas con α = 0,05, ¿cuáles sobreviven a Holm–Bonferroni? Rúbrica: 3 = 0,004 (≤0,0167), 0,020 (≤0,025) y 0,030 (≤0,05) sobreviven todas, con los pasos mostrados; 2 = respuesta correcta sin pasos; 1 = parcial; 0 = incorrecto.
EX031 — Lectura del laboratorio. En el laboratorio de MIA, ¿cuáles son el AUC y la ventaja con k = 1 y con k = 25, y qué explica el cambio? Rúbrica: 3 = 0,600/0,200 frente a 0,520/0,060; con k = 1 memoriza (cada miembro es su propio vecino), con k mayor generaliza; 2 = solo los números; 1 = vago; 0 = incorrecto.
EX032 — Resultado del equipo rojo. ¿Cómo debe comunicar Ana el 8,9 % del equipo rojo? Rúbrica: 3 = en los resultados principales y como limitación al nivel del resumen, describir la familia con un nivel de abstracción seguro, revisar las afirmaciones; 2 = solo mencionarlo; 1 = solo en un apéndice; 0 = omitirlo.

Síntesis del capítulo

Un estudio principal se gana la confianza con un protocolo congelado, un adversario justo y adaptativo, un análisis emparejado y corregido, y el intento de otra persona de romperlo. Lo que encuentra el equipo rojo forma parte de la contribución.

Siga estudiando — capítulo 05 de 08

← Capítulo 04 (borrador) · Índice de capítulos del curso · Capítulo 06 (borrador) →