Capítulo 34 — Proyecto comparativo | Grado Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 34 publicada. Mapa, ejemplo, EX100.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["34.1 Qué comparar"]
  N2["34.2 Equidad"]
  N3["34.3 Contrapartidas"]
  N4["34.4 La comparación de la extracción"]
  N5["34.4b Redacción del informe comparativo"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX100"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["34.1 Qué comparar"]
  N2["34.2 Equidad"]
  N3["34.3 Contrapartidas"]
  N4["34.4 La comparación de la extracción"]
  N5["34.4b Redacción del informe comparativo"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX100"]

[Resultados de aprendizaje]
    |
    v
[34.1 Qué comparar]
    |
    v
[34.2 Equidad]
    |
    v
[34.3 Contrapartidas]
    |
    v
[34.4 La comparación de la extracción]
    |
    v
[34.4b Redacción del informe comparativo]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX100]

Resultados de aprendizaje

Usted podrá (1) comparar dos o más enfoques de seguridad de la IA sobre un banco de pruebas común; (2) definir condiciones de comparación justas; (3) comunicar las contrapartidas entre seguridad, utilidad y coste; y (4) redactar un informe comparativo.

34.1 Qué comparar

Elija enfoques entre los que un profesional podría elegir realmente: por ejemplo, un clasificador de contenido frente a una lista de herramientas permitidas frente a un patrón de doble modelo contra la inyección; o el redondeo de la confianza frente a las salidas solo con etiqueta frente a las cuotas de consultas contra la extracción. El grupo de Rina eligió las defensas contra la extracción y la pertenencia para la API de asociados de NoShow porque LCH estaba decidiendo realmente entre ellas, y cada una tenía un defensor en el equipo de datos de la clínica. Una comparación que incluyera un enfoque que nadie desplegaría, como cerrar la API por completo, habría sido fácil de ganar y de poca utilidad para quienes debían elegir.

34.2 Equidad

Dé a cada enfoque los mismos datos, tareas, presupuesto de ataque y esfuerzo de ajuste. Use un conjunto de prueba reservado. Incluya una línea base sin defensa. Si un enfoque requiere más recursos, indíquelos. En el grupo de Rina, el enfoque de categorías se ajustó primero durante una semana, mientras que el redondeo se probó una sola vez con un ajuste por defecto. Un revisor detectó el desequilibrio, y el grupo dedicó al redondeo el mismo esfuerzo, probando varias precisiones antes de volver a comparar. La clasificación no cambió, pero la comparación se volvió creíble. También informaron de que las cuotas necesitaban un servicio de monitorización que las otras dos opciones no requerían.

34.3 Contrapartidas

Informe juntos del éxito de los ataques, del éxito de las tareas, de la latencia y del coste. Presente una tabla y, cuando sea útil, un gráfico de la seguridad frente a la utilidad. Ningún enfoque gana en todo; el informe debe ayudar al lector a elegir para su contexto. Para NoShow, la tabla tenía filas para cada opción y columnas para la ventaja de pertenencia, la fidelidad de la extracción, la utilidad para los asociados y el coste de operación. El gráfico situaba las categorías como las mejores en seguridad, pero las peores en utilidad para los asociados. A un asociado que solo necesitaba decidir si enviar un recordatorio le bastaban las categorías; a un asociado de investigación que quería puntuaciones detalladas, no, así que el informe abordó ambos casos.

34.4 La comparación de la extracción

El laboratorio de extracción aporta un pequeño resultado comparativo: las salidas con precisión completa permiten a un atacante copiar exactamente un modelo lineal; el redondeo a dos decimales apenas cambia la fidelidad; el redondeo a enteros reduce la concordancia de etiquetas a 0,882, pero sigue dando una copia útil. Por tanto, se necesitan cuotas de consultas y monitorización junto con las restricciones de las salidas.

"""Lab X: model extraction of a toy linear scoring API by querying it.
The 'API' returns a real-valued score; d+1 well-chosen queries recover the
weights exactly, and rounding the output limits fidelity. Synthetic model."""
import random
rng = random.Random(9)
d = 5
secret_w = [round(rng.uniform(-2, 2), 3) for _ in range(d)]; secret_b = 0.42
def api(x, decimals=None):
    s = sum(a*b for a, b in zip(secret_w, x)) + secret_b
    return round(s, decimals) if decimals is not None else s
for dec in (None, 2, 0):
    b = api([0]*d, dec)
    w = [api([1 if j == i else 0 for j in range(d)], dec) - b for i in range(d)]
    err = max(abs(a-c) for a, c in zip(w, secret_w))
    test = [[rng.uniform(-1, 1) for _ in range(d)] for _ in range(500)]
    agree = sum((sum(a*c for a, c in zip(w, x))+b > 0) == (api(x) > 0) for x in test)/500
    print(f"output_rounding={str(dec):4s} queries={d+1} max_weight_error={err:.3f} label_agreement={agree:.3f}")

Salida esperada:

output_rounding=None queries=6 max_weight_error=0.000 label_agreement=1.000
output_rounding=2    queries=6 max_weight_error=0.004 label_agreement=0.998
output_rounding=0    queries=6 max_weight_error=0.534 label_agreement=0.882

Las cifras del laboratorio lo dejan claro: con el redondeo a enteros, el error máximo de los pesos sube a 0,534, pero la copia sigue coincidiendo con el original en el 0,882 de las etiquetas tras solo seis consultas. Un atacante que quiere una imitación que funcione, no los pesos exactos, apenas se ve frenado, y por eso sigue haciendo falta un límite en el número de consultas.

34.4b Redacción del informe comparativo

Empiece con la pregunta de decisión, luego las condiciones de la comparación, después una tabla de resultados con intervalos, a continuación una discusión de las contrapartidas y una recomendación ligada al contexto («para los asociados que necesitan puntuaciones, use redondeo más cuotas; en otro caso, categorías»). Cierre con las limitaciones, como los datos sintéticos y los tipos de ataque no probados. El grupo de Rina puso su recomendación en la primera página, para que los responsables de los asociados pudieran leerla sin las tablas. El párrafo de limitaciones mencionaba los datos sintéticos de NoShow y la falta de pruebas frente a un atacante adaptativo que reparte las consultas entre varias cuentas de asociado, algo que las cuotas por asociado no detectarían.

34.5 Ejemplo resuelto (caso sintético de LCH)

El grupo de Rina comparó tres formas de proteger la API de asociados de NoShow: redondear las probabilidades a un decimal, devolver solo tres categorías de riesgo y cuotas por asociado con monitorización. Con datos sintéticos, las categorías fueron las que más redujeron la ventaja de la inferencia de pertenencia (de 0,18 a 0,03) y redujeron la fidelidad de la extracción a una concordancia de etiquetas de 0,84, a costa de que los asociados perdieran las puntuaciones detalladas. Las cuotas no redujeron la filtración por consulta, pero acotaron el total de consultas. El grupo recomendó categorías más cuotas. Las cifras de pertenencia procedían de repetir el método del Laboratorio M sobre la copia sintética de NoShow, así que la reducción puede comprobarse con el mismo código.

34.6 Errores y límites

Esfuerzo de ajuste desigual.
Informar solo de la métrica de seguridad.
Declarar un ganador universal.

Ajustar un enfoque durante una semana y otro durante una hora hace que el resultado refleje el esfuerzo y no el diseño, como casi le ocurrió al grupo de Rina. Informar solo de la ventaja de pertenencia habría ocultado que los asociados pierden las puntuaciones detalladas con la opción de categorías. Declarar las categorías ganadoras para todos los asociados ignora al asociado de investigación cuyo trabajo necesita puntuaciones detalladas; la recomendación debe indicar el contexto en el que es válida y los asociados a los que conviene.

Ejercicios

EX100 — Equidad. Enumere cuatro condiciones para una comparación justa. Rúbrica: 3 = mismos datos/tareas, presupuesto de ataque, esfuerzo de ajuste, prueba reservada (y línea base); 2 = tres; 1 = una o dos; 0 = nada.
EX101 — Lectura del laboratorio. ¿Qué concordancia de etiquetas deja el redondeo a enteros y qué se deduce? Rúbrica: 3 = 0,882; queda una copia útil, así que hay que añadir cuotas/monitorización; 2 = el número; 1 = vago; 0 = incorrecto.
EX102 — Recomendación. Justifique «categorías más cuotas» en dos frases. Rúbrica: 3 = las categorías reducen la filtración por consulta; las cuotas acotan el volumen; son complementarias; 2 = parcial; 1 = vago; 0 = nada.

Síntesis

Los proyectos comparativos enseñan a evaluar con equidad y a comunicar las contrapartidas: la evidencia que los profesionales necesitan para elegir controles.

Siga estudiando — capítulo 34 de 40

← Capítulo 33 (borrador) · Índice de capítulos del curso · Capítulo 35 (borrador) →