OpenCyber Academy
Máster · Capítulo 8 · Español
Código del curso: OCA-181Capítulo 08: OCA-181-C008

Capítulo 8 — Revisión independiente y defensa

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 08 publicada. Mapa, ejemplo, EX045.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["8.1 Revisión independiente antes de la entrega"]
  N2["8.2 La presentación de la defensa"]
  N3["8.3 Responder a los examinadores"]
  N4["8.4 Correcciones y difusión"]
  N5["8.6 Actividades de práctica"]
  N6["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX045"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["8.1 Revisión independiente antes de la entrega"]
  N2["8.2 La presentación de la defensa"]
  N3["8.3 Responder a los examinadores"]
  N4["8.4 Correcciones y difusión"]
  N5["8.6 Actividades de práctica"]
  N6["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX045"]

[Resultados de aprendizaje]
    |
    v
[8.1 Revisión independiente antes de la entrega]
    |
    v
[8.2 La presentación de la defensa]
    |
    v
[8.3 Responder a los examinadores]
    |
    v
[8.4 Correcciones y difusión]
    |
    v
[8.6 Actividades de práctica]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX045]

Resultados de aprendizaje

Usted será capaz de (1) encargar y aprovechar una revisión independiente del código y del texto antes de la entrega; (2) preparar una presentación para la defensa; (3) responder a las preguntas de los examinadores con evidencia y límites; (4) responder a las correcciones exigidas; y (5) planificar la difusión, incluido un breve resumen para profesionales.

8.1 Revisión independiente antes de la entrega

Pida a un colega que no haya trabajado en el proyecto que (a) reproduzca una tabla principal a partir de su anexo de artefactos, (b) lea el método y diga qué no pudo repetir, y (c) lea el resumen y diga qué cree que usted afirma. Cada una revela un problema distinto: dependencias ocultas, detalles del método que faltan y afirmaciones exageradas. Una breve revisión del código centrada en el cálculo de las métricas y en las particiones de datos merece el tiempo; los errores ahí cambian las conclusiones. El colega de Leo encontró de este modo un descarte silencioso de los registros largos.

8.2 La presentación de la defensa

De veinte a treinta minutos: problema y pregunta; diseño y su justificación; resultados con intervalos y costes; explicaciones alternativas y lo que las descartó; limitaciones; contribución y próximos pasos. Una diapositiva debería responder a la pregunta de investigación en una frase con un número y un intervalo. La diapositiva de respuesta de Leo daba la diferencia emparejada con su intervalo. Ponga las explicaciones alternativas antes que las limitaciones, porque los examinadores preguntarán por ellas. Ensaye con un cronómetro y con un colega que haga preguntas difíciles, y prepare diapositivas de reserva sobre la ablación y las comprobaciones de calidad para poder mostrar la evidencia cuando se la pidan.

8.3 Responder a los examinadores

Espere preguntas sobre las decisiones de diseño («¿por qué datos sintéticos?»), las amenazas a la validez («¿se mantendría esto con notas reales?»), la estadística («¿son suficientes cinco semillas?»), las explicaciones alternativas («¿no es esto simplemente sobreajuste?») y la práctica («¿qué debería hacer Harbourline?»). Responda en tres partes: respuesta directa, evidencia, límite. Cuando no sepa algo, dígalo y explique cómo lo averiguaría. Las respuestas de Leo en el ejemplo resuelto de más abajo siguen esta forma: la ablación como evidencia, el ataque como límite. Prepare respuestas escritas a cada pregunta esperada y ensáyelas con un colega que haga de examinador crítico.

8.4 Correcciones y difusión

Los examinadores suelen exigir correcciones. Haga cada cambio, anótelo en una tabla de correcciones con referencias de página y devuélvala con prontitud. Las opciones de difusión incluyen un artículo para un taller, un repositorio público con el generador sintético y un resumen para profesionales de dos páginas que enuncie el hallazgo, las condiciones y el siguiente paso recomendado, relacionado cuando proceda con los marcos que usa la organización, como las funciones Measure y Manage del NIST AI RMF o su proceso de tratamiento del riesgo según ISO/IEC 42001. El resumen para profesionales de Leo presenta la deduplicación como un control candidato de bajo coste bajo el ataque evaluado.

8.5 Ejemplo resuelto (caso sintético de Harbourline)

Un colega que reproducía la tabla principal de Leo descubrió que el script de evaluación descartaba en silencio los registros de más de 512 tokens, alrededor del 3 % de los no miembros. Leo lo corrigió; la TPR con una FPR del 1 % se movió 0,2 puntos y las conclusiones se mantuvieron, y él anotó la corrección. En la defensa, un examinador preguntó: «¿No es esto simplemente sobreajuste?». Leo mostró la ablación de eliminación aleatoria y el análisis con brechas emparejadas: «Parte del efecto está relacionada con el tamaño (1,9 puntos), pero los 3,7 puntos restantes son específicos de los duplicados, bajo este ataque». Otro preguntó si Harbourline debería adoptar en su lugar la privacidad diferencial. Leo respondió que la privacidad diferencial da garantías formales (Abadi et al., arXiv:1607.00133) con un coste de utilidad que él no midió; la deduplicación es complementaria y barata, y una comparación con la privacidad diferencial queda para trabajos futuros.

El laboratorio de inferencia de pertenencia puede usarse en la defensa para mostrar el concepto central en treinta segundos.

"""Lab M: membership inference against an overfit 1-nearest-neighbour 'model'
that returns a confidence score. Synthetic records only; teaching model."""
import random, math
rng = random.Random(5)
def rec(): 
    y = rng.random() < 0.5
    return [rng.gauss(0.6 if y else -0.6, 1.0) for _ in range(4)], int(y)
members = [rec() for _ in range(150)]; nonmembers = [rec() for _ in range(150)]
def confidence(x, y, k):
    # k-NN vote share for the true label, computed over the training set
    d = sorted((sum((a-b)**2 for a, b in zip(x, m)), my) for m, my in members)
    return sum(1 for _, my in d[:k] if my == y)/k
def auc(pos, neg):
    s = sum((p > n) + 0.5*(p == n) for p in pos for n in neg)
    return s/(len(pos)*len(neg))
for k in (1, 5, 25):
    pos = [confidence(x, y, k) for x, y in members]
    neg = [confidence(x, y, k) for x, y in nonmembers]
    best = max(sum(p >= t for p in pos)/len(pos) - sum(n >= t for n in neg)/len(neg)
               for t in sorted(set(pos + neg)))
    print(f"k={k:2d} attack_auc={auc(pos, neg):.3f} best_advantage={best:.3f}")

Salida esperada:

k= 1 attack_auc=0.600 best_advantage=0.200
k= 5 attack_auc=0.521 best_advantage=0.073
k=25 attack_auc=0.520 best_advantage=0.060

8.6 Actividades de práctica

  1. Organice una revisión de reproducción y de lectura del resumen. 2. Prepare una presentación para la defensa con una diapositiva de respuesta. 3. Redacte el resumen para profesionales. Para la revisión, pida a un colega que reproduzca una tabla y lea el resumen, y anote lo que encontró. Para la presentación, incluya una diapositiva que responda a la pregunta con un número y un intervalo, como hizo Leo con la diferencia de 3,7 puntos. Para el resumen, enuncie el hallazgo, las condiciones y el siguiente paso, y no pase de dos páginas. Tome nota de lo que cambió.

8.7 Errores y límites

Cuatro errores se repiten, y cada uno debilita la etapa final; revise su entrega en busca de los cuatro:

Ejercicios — capítulo 8

Síntesis del capítulo

La revisión independiente detecta los errores que usted no puede ver; la defensa pone a prueba si puede vincular cada afirmación con su evidencia y sus límites. Un resumen para profesionales cuidadoso lleva el resultado a la práctica sin perder sus condiciones.

Siga estudiando — capítulo 08 de 08

← Capítulo 07 (borrador) · Índice de capítulos del curso · Resultados resueltos ↓ · Siguiente curso a través del índice de capítulos →

Respuestas desarrolladas

EX045. La reproducción de una tabla encuentra dependencias ocultas y errores; la lectura del método encuentra detalles que faltan; la lectura del resumen encuentra afirmaciones exageradas.

EX046. «La eliminación de casi duplicados redujo la TPR de la inferencia de pertenencia con una FPR del 1 % del 9,8 % al 4,2 %, 3,7 puntos (IC del 95 %: 2,6–4,9) más que la eliminación aleatoria, con un coste de 0,007 en el F1 macro, en notas sintéticas, con una sola arquitectura y un ataque calibrado.»

EX047. Las respuestas varían; una respuesta completa da una respuesta directa, la evidencia de la ablación o del control, y un límite.

EX048. Describir el error, la corrección, el cambio de 0,2 puntos y que las conclusiones se mantuvieron, y anotarlo en el registro de desviaciones y en los métodos.

EX049. La privacidad diferencial acota formalmente la influencia de cada registro, con un coste de utilidad medible. La deduplicación es una heurística barata que se centra en los registros repetidos; son complementarias.

EX050. «Eliminar las notas de siniestros duplicadas antes del ajuste fino redujo aproximadamente a la mitad una medida de la fuga de pertenencia en nuestro estudio sintético, casi sin coste de exactitud. Esto se cumplió para un tipo de modelo y con datos sintéticos. Proponemos un piloto sobre una copia gobernada de datos reales antes de adoptarla.»