Capítulo 11 — Proyecto aplicado | Posgrado Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 11 publicada. Mapa, ejemplo, EX051.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["11.1 Delimitación del alcance"]
  N2["11.2 Planificación"]
  N3["11.3 Ejecución"]
  N4["11.4 Evaluación"]
  N5["11.5 Traspaso"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX051"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["11.1 Delimitación del alcance"]
  N2["11.2 Planificación"]
  N3["11.3 Ejecución"]
  N4["11.4 Evaluación"]
  N5["11.5 Traspaso"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX051"]

[Resultados de aprendizaje]
    |
    v
[11.1 Delimitación del alcance]
    |
    v
[11.2 Planificación]
    |
    v
[11.3 Ejecución]
    |
    v
[11.4 Evaluación]
    |
    v
[11.5 Traspaso]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX051]

Resultados de aprendizaje

Usted podrá (1) delimitar el alcance de un proyecto aplicado de seguridad de la IA con una organización; (2) planificar el trabajo, la evidencia y las decisiones; (3) ejecutarlo con autorización y de forma segura; (4) evaluar los resultados frente a los criterios; y (5) entregar resultados que la organización pueda usar.

11.1 Delimitación del alcance

Un buen proyecto responde a una decisión que la organización debe tomar: «¿Debemos activar la reprogramación autónoma?», «¿Reduce la deduplicación la fuga de nuestro modelo ajustado?». Acuerde quién toma la decisión, los sistemas incluidos en el alcance, la autorización por escrito, las reglas sobre los datos (sintéticos o aprobados), los criterios de éxito y el calendario. El proyecto de Tomás del ejemplo resuelto que sigue se delimitó así, con criterios acordados para la ventaja y la calidad de las respuestas. En el proyecto de Tomás, quien tomaba la decisión era Amira, el sistema incluido era una copia aislada del modelo de sugerencia de respuestas y los datos eran mensajes sintéticos de clientes. Ponga todo esto por escrito y consiga que se firme antes de que empiece cualquier prueba.

11.2 Planificación

Planifique por fases: línea base (estado actual y riesgo), intervención (diseño o controles), evaluación (pruebas controladas), apoyo a la decisión (informe y recomendación) y traspaso. Cada fase tiene un entregable y una revisión. Mantenga un registro de riesgos del propio proyecto: daños causados por las pruebas, exposición de datos, retrasos en el calendario. En el proyecto de Tomás, las fases fueron una medición de la fuga de línea base, la deduplicación como intervención, pruebas controladas en la copia aislada, una recomendación y el traspaso. Cada entregable se revisó con Amira, la responsable de la decisión, y el registro de riesgos se actualizaba en la revisión semanal.

11.3 Ejecución

Trabaje con copias aisladas. Registre cada prueba. Deténgase y escale si encuentra una vulnerabilidad real que afecte a los clientes; eso tiene prioridad sobre el calendario del proyecto. Celebre revisiones semanales con quien toma la decisión. Tomás trabajó solo con la copia aislada de Corvane y registró cada ejecución con sus versiones. Anote en el registro del proyecto cualquier cosa inesperada, aunque no haya cambiado el resultado, y comuníquesela a quien toma la decisión en la siguiente revisión semanal. Mantenga los datos de prueba y los registros en la copia aislada.

11.4 Evaluación

Mida frente a los criterios acordados al delimitar el alcance, incluidos los efectos secundarios.

"""Lab M: membership inference against an overfit 1-nearest-neighbour 'model'
that returns a confidence score. Synthetic records only; teaching model."""
import random, math
rng = random.Random(5)
def rec(): 
    y = rng.random() < 0.5
    return [rng.gauss(0.6 if y else -0.6, 1.0) for _ in range(4)], int(y)
members = [rec() for _ in range(150)]; nonmembers = [rec() for _ in range(150)]
def confidence(x, y, k):
    # k-NN vote share for the true label, computed over the training set
    d = sorted((sum((a-b)**2 for a, b in zip(x, m)), my) for m, my in members)
    return sum(1 for _, my in d[:k] if my == y)/k
def auc(pos, neg):
    s = sum((p > n) + 0.5*(p == n) for p in pos for n in neg)
    return s/(len(pos)*len(neg))
for k in (1, 5, 25):
    pos = [confidence(x, y, k) for x, y in members]
    neg = [confidence(x, y, k) for x, y in nonmembers]
    best = max(sum(p >= t for p in pos)/len(pos) - sum(n >= t for n in neg)/len(neg)
               for t in sorted(set(pos + neg)))
    print(f"k={k:2d} attack_auc={auc(pos, neg):.3f} best_advantage={best:.3f}")

Salida esperada:

k= 1 attack_auc=0.600 best_advantage=0.200
k= 5 attack_auc=0.521 best_advantage=0.073
k=25 attack_auc=0.520 best_advantage=0.060

Tomás midió la ventaja y la calidad de las respuestas frente a los criterios acordados al delimitar el alcance: una ventaja inferior a 0,1 con una pérdida de calidad de menos de 2 puntos. Comunicó ambas, incluido el coste en calidad. Si no se cumple un criterio, dígalo y explique qué haría falta para cumplirlo. Use casos reservados para la medición final e incluya casos adaptativos escritos por alguien que no construyó la defensa. Comunique las cifras con sus intervalos.

11.5 Traspaso

Entregue: el informe; el banco de evaluación y los conjuntos de pruebas, para que las pruebas puedan repetirse; los cambios de configuración; los manuales de actuación; y una lista de riesgos abiertos con sus responsables. Un proyecto que no puede repetirse cuando usted se marcha tiene un valor limitado. Tomás entregó el banco de evaluación, el trabajo de deduplicación y un manual de actuación para repetir las pruebas después de cada ajuste, de modo que Corvane puede repetir la medición. Incluya responsables designados para los riesgos abiertos y una fecha para la primera repetición de las pruebas. Compruebe que otra persona puede ejecutar el banco de evaluación antes de marcharse.

11.6 Ejemplo resuelto (caso sintético de Corvane)

Un estudiante en prácticas, Tomás, asume la pregunta de Amira: ¿reduce la fuga por inferencia de pertenencia deduplicar los mensajes de clientes antes de ajustar un modelo de sugerencia de respuestas? Criterios: ventaja del ataque inferior a 0,1 con una pérdida de menos de 2 puntos en la calidad de las respuestas. En el análogo del laboratorio, un modelo que en la práctica memoriza sus registros de entrenamiento (k = 1) da una ventaja de 0,20; a medida que generaliza (k mayor), la ventaja baja a aproximadamente 0,06–0,07. En la copia aislada de Corvane, la deduplicación reduce la ventaja de 0,17 a 0,06 con 1 punto de pérdida de calidad. Entrega el banco de evaluación, el trabajo de deduplicación y un manual de actuación para repetir las pruebas después de cada ajuste.

Los criterios se cumplieron.

11.7 Errores y límites

Proyectos sin nadie que tome la decisión.
Probar en producción.
Traspasar un informe pero no el banco de evaluación.

Cada error limita el valor del proyecto. Sin alguien que tome la decisión, los resultados no tienen adónde ir. Probar en producción puede perjudicar a los clientes e incumple la autorización. Un informe sin el banco de evaluación no puede repetirse tras el siguiente ajuste, y por eso Tomás entregó su banco de evaluación y su manual de actuación. Resuelva los tres en el plan del proyecto antes de empezar el trabajo y pida a su supervisor que los confirme por escrito.

Ejercicios

EX051 — Alcance. Redacte en una página el alcance de un proyecto aplicado sobre la robustez de DocRead. Rúbrica: 3 = decisión, responsable, alcance, autorización, datos, criterios, calendario; 2 = cinco; 1 = tres; 0 = nada.
EX052 — Riesgos del proyecto. Enumere cuatro riesgos del proyecto con sus mitigaciones. Rúbrica: 3 = cuatro pertinentes; 2 = tres; 1 = uno o dos; 0 = ninguno.
EX053 — Vulnerabilidad real. Durante el proyecto descubre que las direcciones de clientes quedan expuestas a través de Copilot. ¿Qué hace? Rúbrica: 3 = detenerse, escalar, conservar la evidencia, seguir el proceso de incidentes; 2 = parcial; 1 = anotarlo en el informe; 0 = continuar.
EX054 — Laboratorio de inferencia de pertenencia. Interprete las filas del laboratorio para la pregunta de la deduplicación. Rúbrica: 3 = la memorización (k = 1) da la mayor ventaja, relación con la deduplicación, advertencia de modelo de juguete; 2 = parcial; 1 = vago; 0 = incorrecto.
EX055 — Traspaso. Enumere el paquete de traspaso del proyecto de Tomás. Rúbrica: 3 = informe, banco de evaluación, conjuntos de pruebas, configuración, manual de actuación, riesgos; 2 = cuatro; 1 = dos; 0 = nada.

Síntesis

Los proyectos aplicados sirven a una decisión real, se ejecutan de forma segura con autorización, miden frente a criterios acordados y dejan herramientas que la organización puede reutilizar.

Siga estudiando — capítulo 11 de 12

← Capítulo 10 (borrador) · Índice de capítulos del curso · Capítulo 12 (borrador) →