Capítulo 6 — Cálculo II
Mapa de la lección
Lección 06 publicada. Mapa, ejemplo, EX016.
flowchart TD
N0["Resultados de aprendizaje"]
N1["6.1 Derivadas parciales y gradientes"]
N2["6.2 La regla de la cadena multivariable"]
N3["6.3 Aproximación de Taylor y cambio en el peor caso"]
N4["6.4 Constantes de Lipschitz"]
N5["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX016"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["6.1 Derivadas parciales y gradientes"]
N2["6.2 La regla de la cadena multivariable"]
N3["6.3 Aproximación de Taylor y cambio en el peor caso"]
N4["6.4 Constantes de Lipschitz"]
N5["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX016"]
[Resultados de aprendizaje]
|
v
[6.1 Derivadas parciales y gradientes]
|
v
[6.2 La regla de la cadena multivariable]
|
v
[6.3 Aproximación de Taylor y cambio en el peor caso]
|
v
[6.4 Constantes de Lipschitz]
|
v
[Síntesis del capítulo]
|
v
[Ejemplo resuelto] --> [Ejercicio EX016]
Resultados de aprendizaje
Usted será capaz de (1) calcular derivadas parciales y gradientes de funciones de varias variables; (2) aplicar la regla de la cadena a composiciones (la base de la retropropagación); (3) aplicar aproximaciones de Taylor para estimar cambios en la salida; y (4) relacionar las normas del gradiente y las constantes de Lipschitz con la robustez.
6.1 Derivadas parciales y gradientes
Para f(x₁, …, xₙ), la derivada parcial ∂f/∂xᵢ mantiene fijas las demás variables. El gradiente ∇f las reúne en un vector que apunta en la dirección de máximo crecimiento. Para una puntuación lineal s = w·x + b, ∇ₓ s = w: los pesos son el gradiente respecto de la entrada, y por eso los modelos lineales son fáciles de atacar en la dirección de sign(w). En un modelo lineal, la dirección de ataque es por tanto visible en los propios pesos. Quien los obtenga, por ejemplo de un archivo de modelo filtrado, sabe exactamente qué características empujar y en qué sentido. En los modelos no lineales el gradiente cambia de una entrada a otra, pero el mismo razonamiento se aplica localmente alrededor de cada una.
6.2 La regla de la cadena multivariable
Las redes neuronales son composiciones f = f_L ∘ … ∘ f₁. La regla de la cadena multiplica matrices jacobianas capa a capa; la retropropagación calcula este producto de forma eficiente desde la salida hacia atrás. El mismo algoritmo da los gradientes respecto de las entradas, que usan los ataques de caja blanca. La retropropagación ahorra trabajo al reutilizar productos intermedios, de modo que calcular el gradiente para todas las entradas cuesta aproximadamente lo mismo que una pasada hacia delante. Esa eficiencia es la razón por la que los ataques de caja blanca son baratos: un atacante con el archivo del modelo puede calcular en milisegundos la dirección más dañina para cualquier entrada. Proteger los pesos del modelo forma parte, por tanto, de la defensa contra la evasión, no solo de la protección de la propiedad intelectual.
6.3 Aproximación de Taylor y cambio en el peor caso
Taylor de primer orden: f(x + δ) ≈ f(x) + ∇f(x)·δ. Si un atacante puede cambiar cada característica como máximo en ε (un presupuesto L∞), el mayor cambio de primer orden es ε·‖∇f(x)‖₁, que se alcanza con δ = ε·sign(∇f(x)), exactamente el paso de FGSM (Goodfellow et al., arXiv:1412.6572). Con un presupuesto L2, el peor cambio es ε·‖∇f(x)‖₂. Las normas importan: un gradiente con muchas componentes pequeñas puede tener, aun así, una norma L1 grande en dimensiones altas, lo que es una de las explicaciones de la vulnerabilidad adversarial de los modelos de alta dimensión. La aproximación solo es precisa para ε pequeño, así que los ingenieros la usan como estimación rápida y después prueban el modelo real con perturbaciones reales.
6.4 Constantes de Lipschitz
Una función es L-lipschitziana si |f(x) − f(y)| ≤ L‖x − y‖. Si el margen de un clasificador en x es m y su puntuación es L-lipschitziana, ninguna perturbación menor que m/L puede invertir la decisión: es un certificado. Calcular una L ajustada para redes profundas es difícil, y por eso los métodos certificados como el suavizado aleatorio (Cohen et al., arXiv:1902.02918) usan en su lugar argumentos probabilísticos. Un certificado es más fuerte que un resultado de prueba: garantiza que ningún ataque dentro del radio puede tener éxito, por ingenioso que sea. Las cotas holgadas siguen dando certificados válidos, pero el radio garantizado puede volverse demasiado pequeño para ser útil.
6.5 Ejemplo resuelto (caso sintético de NRS)
La puntuación de anomalía de rodamientos de Pulse es s = 0.9·t + 0.4·v − 0.2·h + c (temperatura, vibración y humedad, normalizadas). Con ε = 0,1 por característica, el peor cambio de primer orden es 0,1 × (0,9 + 0,4 + 0,2) = 0,15. Sam lo compara con el margen típico (0,3) y concluye que un atacante que suplante sensores con un límite de ±0,1 no puede ocultar un rodamiento claramente caliente, pero sí los que están en el límite. Los pesos dan directamente la peor dirección: subir la humedad y bajar la temperatura y la vibración, cada una en 0,1. Un margen de 0,3 es el doble del peor cambio, así que los rodamientos claramente calientes siguen señalados, pero cualquier rodamiento cuya puntuación esté a menos de 0,15 del umbral podría ocultarse. Sam registra esa franja como riesgo residual y propone contrastar las lecturas dudosas con un segundo sensor.
6.6 Errores y límites
- Usar estimaciones de primer orden lejos del punto donde son precisas.
- Confundir los presupuestos L1, L2 y L∞.
- Tratar un gradiente local como una cota global.
Las estimaciones de primer orden funcionan cerca del punto medido y dejan de ser fiables con cambios mayores, donde domina la curvatura. Mezclar normas produce cotas erróneas en un factor que crece con el número de características. Un gradiente local no dice nada sobre entradas lejanas, así que Sam siempre acompaña las estimaciones con pruebas con perturbaciones reales e indica la norma del presupuesto en cada resultado que comunica.
Ejercicios — capítulo 6
- EX016 — Gradiente. Calcule ∇f para f(x, y) = x²y + 3y. Rúbrica: 3 = (2xy, x² + 3); 2 = una componente; 1 = intento; 0 = nada.
- EX017 — Peor caso. Para s = 2x₁ − x₂ + 0.5x₃ y ε = 0,2 (L∞), dé el mayor aumento de primer orden y δ. Rúbrica: 3 = 0,7, δ = (0,2, −0,2, 0,2); 2 = uno; 1 = método; 0 = nada.
- EX018 — Certificado. Una puntuación tiene margen 0,6 y constante de Lipschitz 3 (L2). ¿Qué tamaño de perturbación queda certificado como seguro? Rúbrica: 3 = < 0,2 en L2, con razonamiento; 2 = solo el número; 1 = norma equivocada; 0 = nada.
Síntesis del capítulo
Los gradientes y las normas convierten «un cambio pequeño» en un número. Explican por qué funcionan los ataques, cómo se acotan los peores casos y por qué los certificados son posibles pero difíciles para los modelos profundos.
Siga estudiando — capítulo 06 de 50
← Capítulo 05 (borrador) · Índice de capítulos del curso · Capítulo 07 (borrador) →