Capítulo 4 — Seguridad de la IA y del aprendizaje automático: explicaciones alternativas
Mapa de la lección
Lección 04 publicada. Mapa, ejemplo, EX021.
flowchart TD
N0["Resultados de aprendizaje"]
N1["4.1 Por qué importan las explicaciones alternativas"]
N2["4.2 Un catálogo de alternativas en seguridad de la I"]
N3["4.3 Ablaciones y controles"]
N4["4.4 Razonar sobre los mecanismos con los laboratorio"]
N5["4.6 Actividades de práctica"]
N6["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX021"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["4.1 Por qué importan las explicaciones alternativas"]
N2["4.2 Un catálogo de alternativas en seguridad de la I"]
N3["4.3 Ablaciones y controles"]
N4["4.4 Razonar sobre los mecanismos con los laboratorio"]
N5["4.6 Actividades de práctica"]
N6["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX021"]
[Resultados de aprendizaje]
|
v
[4.1 Por qué importan las explicaciones alternativas]
|
v
[4.2 Un catálogo de alternativas en seguridad de la I]
|
v
[4.3 Ablaciones y controles]
|
v
[4.4 Razonar sobre los mecanismos con los laboratorio]
|
v
[4.6 Actividades de práctica]
|
v
[Síntesis del capítulo]
|
v
[Ejemplo resuelto] --> [Ejercicio EX021]
Resultados de aprendizaje
Usted será capaz de (1) enumerar explicaciones alternativas para un efecto de seguridad observado; (2) diseñar ablaciones y controles que las separen; (3) reconocer los factores de confusión típicos de los experimentos de seguridad de la IA (sobreajuste, fuga de datos, cambio de distribución, artefactos de evaluación, ataques débiles); (4) usar los laboratorios de envenenamiento y de evasión para razonar sobre los mecanismos; y (5) formular las conclusiones al nivel que respalda la evidencia.
4.1 Por qué importan las explicaciones alternativas
Un efecto observado («la deduplicación redujo la ventaja de la inferencia de pertenencia») puede tener varias causas. La deduplicación podría reducir específicamente la memorización de los registros repetidos; podría simplemente reducir el tamaño efectivo del conjunto de entrenamiento y, por tanto, cambiar el sobreajuste; podría cambiar el equilibrio entre clases; o el ataque podría ser más débil contra el nuevo modelo por razones ajenas a la privacidad. Un trabajo de fin de máster que nombra y pone a prueba estas alternativas es mucho más sólido que uno que informa solo del efecto. La discusión del seminario de Leo planteó la explicación del sobreajuste antes de que tuviera ningún dato.
4.2 Un catálogo de alternativas en seguridad de la IA
Seis alternativas se repiten. Generalización frente a mecanismo específico: la fuga de privacidad se correlaciona con la brecha entre entrenamiento y prueba, así que compare los tratamientos con brechas de generalización emparejadas, o incluya un control que cambie el tamaño de los datos sin deduplicar. Fuga de datos: los duplicados repartidos entre las particiones de entrenamiento y de prueba inflan la exactitud y confunden las métricas de privacidad (Kapoor y Narayanan, arXiv:2207.07048). Cambio de distribución: si los miembros y los no miembros difieren en su distribución, los ataques detectan el cambio y no la pertenencia. Ataque débil o mal ajustado: una defensa «funciona» porque el ataque no se adaptó (Athalye et al., arXiv:1802.00420); use como control un ataque más fuerte o calibrado. Artefactos de evaluación: elección de la métrica o umbrales ajustados sobre el conjunto de prueba. Azar: una sola semilla puede producir un efecto aparente.
4.3 Ablaciones y controles
Una ablación elimina o varía un componente para ver su contribución. El plan de Leo añade una cuarta condición: la eliminación aleatoria del mismo número de registros que eliminaría la deduplicación. Si la eliminación aleatoria da la misma ganancia de privacidad, la explicación es el tamaño del conjunto de datos; si la deduplicación da más, los duplicados importan. También añade un ataque de control calibrado con modelos de referencia, que se sabe que es más fuerte con una FPR baja que un simple umbral de confianza. Escriba el resultado esperado de cada condición antes de ejecutarla.
4.4 Razonar sobre los mecanismos con los laboratorios
El laboratorio de envenenamiento ofrece un contraste nítido. Invertir las etiquetas de hasta el 40 % de una clase apenas mueve un modelo de centroide más cercano (0,965 → 0,945), porque los centroides promedian muchos puntos; una puerta trasera que usa una característica disparadora separada alcanza un 98 % de éxito del ataque con 80 puntos, mientras la exactitud con datos limpios se mantiene en 0,968. El mecanismo (una dirección de características nueva y que, por lo demás, no se usa) explica por qué las métricas con datos limpios no lo detectan. Una explicación alternativa («el modelo simplemente es inexacto») queda descartada por la exactitud con datos limpios, que no cambia. Para Leo, la analogía es que los registros duplicados pueden dar al modelo una vía específica para memorizarlos.
"""Lab P: label-flip poisoning and a backdoor trigger on a toy nearest-centroid
classifier (synthetic data, stdlib only). Teaching model only."""
import random
rng = random.Random(11)
def point(label, trigger=False):
cx = 1.0 if label else -1.0
x = [rng.gauss(cx, 0.8), rng.gauss(cx, 0.8), 0.0]
if trigger: x[2] = 5.0 # third feature is the 'trigger'
return x, label
clean = [point(i % 2) for i in range(400)]
test = [point(i % 2) for i in range(400)]
def fit(data):
c = {}
for lab in (0, 1):
pts = [x for x, y in data if y == lab]
c[lab] = [sum(p[i] for p in pts)/len(pts) for i in range(3)]
return c
def pred(c, x):
d = {k: sum((x[i]-v[i])**2 for i in range(3)) for k, v in c.items()}
return min(d, key=d.get)
def accuracy(c, data): return sum(pred(c, x) == y for x, y in data)/len(data)
print("label-flip poisoning (flip a fraction of class-1 labels to 0):")
for frac in (0.0, 0.1, 0.2, 0.3, 0.4):
data = [(x, y) for x, y in clean]; ones = [i for i, (x, y) in enumerate(data) if y == 1]
for i in ones[:int(frac*len(ones))]: data[i] = (data[i][0], 0)
print(f" flipped={frac:.1f} clean_test_accuracy={accuracy(fit(data), test):.3f}")
print("backdoor: add n triggered class-1 points labelled 0")
trig_test = [point(1, trigger=True) for _ in range(200)]
for n in (0, 10, 40, 80):
data = clean + [(point(1, trigger=True)[0], 0) for _ in range(n)]
c = fit(data)
asr = sum(pred(c, x) == 0 for x, _ in trig_test)/len(trig_test)
print(f" poison_points={n:3d} clean_accuracy={accuracy(c, test):.3f} attack_success={asr:.3f}")
Salida esperada:
label-flip poisoning (flip a fraction of class-1 labels to 0):
flipped=0.0 clean_test_accuracy=0.965
flipped=0.1 clean_test_accuracy=0.965
flipped=0.2 clean_test_accuracy=0.953
flipped=0.3 clean_test_accuracy=0.950
flipped=0.4 clean_test_accuracy=0.945
backdoor: add n triggered class-1 points labelled 0
poison_points= 0 clean_accuracy=0.965 attack_success=0.075
poison_points= 10 clean_accuracy=0.963 attack_success=0.145
poison_points= 40 clean_accuracy=0.963 attack_success=0.685
poison_points= 80 clean_accuracy=0.968 attack_success=0.980
4.5 Ejemplo resuelto (caso sintético de Harbourline)
En los datos del piloto, bajo el ataque calibrado, la deduplicación redujo la TPR con una FPR del 1 % del 6,1 % al 3,4 %. La eliminación aleatoria del mismo número de registros la redujo al 5,6 %. La diferencia entre la deduplicación y la eliminación aleatoria (2,2 puntos) es la parte atribuible de forma plausible a la eliminación de duplicados; los 0,5 puntos restantes se explican por el tamaño. El ataque simple de umbral de confianza se quedó cerca de su suelo en todas las condiciones (el piloto del capítulo 5 lo describe), así que solo el ataque calibrado podía separarlas. La frase de conclusión de Leo pasó de «la deduplicación protege la privacidad» a «la mayor parte de la reducción observada en la fuga de pertenencia es atribuible a la eliminación de registros duplicados más que a un conjunto de entrenamiento más pequeño, bajo el ataque evaluado».
4.6 Actividades de práctica
- Enumere cinco explicaciones alternativas para su resultado esperado. 2. Diseñe una ablación y un control para cada una de las dos más plausibles. 3. Reescriba su conclusión esperada al nivel de evidencia que tendrá. Para la lista, use el catálogo anterior y añada cualquier explicación específica de su sistema. Para las ablaciones, cambie una sola cosa cada vez e indique qué resultado respaldaría cada explicación. Para la conclusión, escriba la frase que podría defender si apareciera el efecto principal y compárela con la frase revisada de Leo, que nombra el ataque y lo que se descartó.
4.7 Errores y límites
Cuatro errores se repiten, y cada uno permite que sobreviva una explicación alternativa; revise su plan en busca de los cuatro:
- Informar de un efecto sin poner a prueba las alternativas; un efecto sin alternativas probadas puede deberse al tamaño, al cambio de distribución o al azar.
- Ablaciones que cambian varias cosas a la vez; una ablación así no puede atribuir el efecto.
- Usar solo un ataque débil para evaluar una defensa de la privacidad; un ataque débil puede hacer que cualquier defensa parezca buena, y por eso Leo añadió el ataque calibrado.
- Afirmar un mecanismo solo a partir de una correlación; una correlación, como que la fuga siga a la duplicación, no demuestra por sí sola un mecanismo sin controles como la eliminación aleatoria.
Ejercicios — capítulo 4
- EX021 — Alternativas. Enumere cuatro explicaciones alternativas para «una barrera de protección redujo el éxito del jailbreak». Rúbrica: 3 = cuatro plausibles (conjunto de ataques más débil, rechazos que se disparan en exceso, cambio de distribución, artefacto de semilla/evaluador); 2 = tres; 1 = una o dos; 0 = ninguna.
- EX022 — Ablación. Diseñe el control de eliminación aleatoria y explique qué significaría cada resultado. Rúbrica: 3 = el mismo número eliminado al azar; ganancia igual → tamaño, ganancia mayor → duplicados; 2 = solo el diseño; 1 = vago; 0 = nada.
- EX023 — Mecanismo en el laboratorio. ¿Por qué invertir etiquetas apenas cambia el modelo de centroides mientras la puerta trasera tiene éxito? Rúbrica: 3 = los centroides promedian muchos puntos frente a un disparador que usa una dirección de características nueva no afectada por los datos limpios; 2 = parcial; 1 = vago; 0 = incorrecto.
- EX024 — Cifras del laboratorio. Indique la exactitud con datos limpios y el éxito del ataque con 80 puntos envenenados. Rúbrica: 3 = 0.968 y 0.980; 2 = una; 1 = aproximadas; 0 = incorrectas.
- EX025 — Ataque más fuerte. ¿Por qué incluir un ataque calibrado como control? Rúbrica: 3 = garantiza que el efecto de la defensa no sea un artefacto de un ataque débil, sobre todo con una FPR baja; 2 = parcial; 1 = vago; 0 = incorrecto.
- EX026 — Nivel de la conclusión. Reescriba «la deduplicación arregla la privacidad» al nivel de evidencia de 4.5. Rúbrica: 3 = atribuye una parte, nombra el ataque y las condiciones; 2 = parcial; 1 = sigue exagerando; 0 = sin cambios.
Síntesis del capítulo
Los efectos necesitan explicaciones, y las explicaciones necesitan pruebas. Las ablaciones, los controles y los ataques más fuertes separan los mecanismos de los artefactos, y las conclusiones resultantes son más acotadas, pero defendibles.
Siga estudiando — capítulo 04 de 08
← Capítulo 03 (borrador) · Índice de capítulos del curso · Capítulo 05 (borrador) →