Capítulo 10 — Lectura y crítica de la investigación | Posgrado Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 10 publicada. Mapa, ejemplo, EX046.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["10.1 Leer con eficiencia"]
  N2["10.2 Preguntas de crítica"]
  N3["10.3 Traslado a la práctica"]
  N4["10.4 Mantenerse al día"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX046"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["10.1 Leer con eficiencia"]
  N2["10.2 Preguntas de crítica"]
  N3["10.3 Traslado a la práctica"]
  N4["10.4 Mantenerse al día"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX046"]

[Resultados de aprendizaje]
    |
    v
[10.1 Leer con eficiencia]
    |
    v
[10.2 Preguntas de crítica]
    |
    v
[10.3 Traslado a la práctica]
    |
    v
[10.4 Mantenerse al día]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX046]

Resultados de aprendizaje

Usted podrá (1) leer con eficiencia artículos sobre seguridad de la IA; (2) criticar los modelos de amenaza, los métodos y las evaluaciones; (3) juzgar si los resultados son trasladables a su contexto; (4) seguir de forma sostenible una literatura que avanza con rapidez; y (5) redactar la crítica de un profesional.

10.1 Leer con eficiencia

Lea en tres pasadas: el resumen, las figuras y la conclusión para decidir la pertinencia; el modelo de amenaza y el método para entender la afirmación; la evaluación y las limitaciones para juzgarla. Guarde una nota de un párrafo por artículo: afirmación, modelo de amenaza, evidencia, límites y pertinencia para sus sistemas. La crítica de Amira al preprint del ejemplo resuelto que sigue usó la segunda y la tercera pasada para descubrir que faltaba el atacante adaptativo. Archive cada nota donde el equipo pueda encontrarla. Mantenga las notas lo bastante breves para leerlas en un minuto y etiquete cada una con los sistemas a los que afecta, para que puedan encontrarse cuando una decisión las necesite.

10.2 Preguntas de crítica

¿Qué puede hacer y saber el atacante? ¿Es realista el modelo de amenaza para su despliegue? ¿Se incluyen líneas base y ataques adaptativos? ¿Se miden los resultados por sus efectos y se comunican con su incertidumbre? ¿Rompería el resultado un pequeño cambio de contexto? ¿Publicaron los autores el código y los datos? La crítica de Amira al preprint en 10.5 detectó que faltaban tres de estos elementos: un atacante adaptativo, un éxito medido por las llamadas a herramientas en lugar del texto del modelo, y el código publicado. Artículos como el de Carlini et al. (arXiv:1902.06705) ofrecen una lista de comprobación para las evaluaciones de robustez; Arp et al. (arXiv:2010.09470) enumeran errores habituales del aprendizaje automático aplicado a la seguridad, entre ellos el sesgo de muestreo, el fisgoneo de datos (data snooping) y las líneas base inadecuadas.

10.3 Traslado a la práctica

Un ataque demostrado en un modelo abierto con acceso de caja blanca puede no aplicarse a un despliegue al que solo se accede por API, aunque resultados de transferencia como los de Zou et al. (arXiv:2307.15043) muestran que algunos ataques encontrados en modelos abiertos funcionan en modelos cerrados. Una defensa evaluada con un banco de pruebas público puede fallar con su tráfico. Indique explícitamente los supuestos de traslado. Para Corvane, una defensa probada solo con bancos de pruebas públicos necesitaría probarse con correos de transportistas antes de confiar en ella. Escriba cada supuesto de traslado en la nota. Revíselo después de las pruebas.

10.4 Mantenerse al día

Siga un conjunto pequeño de fuentes: las actualizaciones de NIST y OWASP, los estudios de caso de MITRE ATLAS, los principales congresos de seguridad y de aprendizaje automático, y los servidores de preprints con escepticismo. Celebre una sesión mensual de lectura en la que una persona presente la pertinencia de un artículo para los sistemas de la empresa. En Corvane, la sesión mensual mantiene la rutina de lectura lo bastante pequeña para que sea sostenible. Rote a quien presenta y registre en cada nota qué cambió, si cambió algo, en los sistemas o los planes de Corvane como resultado. Abandone las fuentes que rara vez aportan algo pertinente y añada una cuando un compañero encuentre otra mejor.

10.5 Ejemplo resuelto (caso sintético de Corvane)

Un compañero hace circular un preprint que afirma que un nuevo filtro «elimina la inyección de prompts». La crítica de Amira: la evaluación usa 200 cadenas de inyección públicas sin atacante adaptativo; el éxito se mide por el texto del modelo y no por las llamadas a herramientas; no se comunica ninguna tasa de rechazos indebidos; el código no se ha publicado. Su conclusión: interesante como señal de monitorización; no es evidencia para retirar el servicio de políticas. Lo contrasta con Greshake et al. (arXiv:2302.12173), cuyas demostraciones contra aplicaciones reales motivaron el diseño de Corvane.

La crítica decidió lo que el preprint podía y no podía justificar en Corvane.

10.6 Errores y límites

Citar resúmenes sin leer las evaluaciones.
Suponer que los resultados son trasladables sin comprobar los modelos de amenaza.
Perseguir cada preprint.

Cada error permite que una investigación débil oriente las decisiones. Un resumen puede afirmar más de lo que muestra la evaluación, como hacía el «elimina» del preprint. Un resultado en un modelo abierto con acceso de caja blanca puede no aplicarse a un despliegue al que solo se accede por API. Perseguir cada preprint consume un tiempo mejor empleado en unos pocos artículos pertinentes al mes. Contraste sus notas con estos tres errores antes de citar un artículo en un registro de decisión.

Ejercicios

EX046 — Nota. Redacte una nota de cinco campos sobre Shokri et al. (arXiv:1610.05820). Rúbrica: 3 = afirmación, modelo de amenaza, evidencia, límites, pertinencia; 2 = cuatro; 1 = dos; 0 = nada.
EX047 — Crítica. Aplique cuatro preguntas de crítica al preprint del §10.5. Rúbrica: 3 = cuatro respondidas con evidencia; 2 = tres; 1 = una o dos; 0 = ninguna.
EX048 — Traslado. ¿Cuándo importa un ataque de caja blanca para un sistema al que solo se accede por API? Rúbrica: 3 = transferencia, modelos sustitutos, base de pesos abiertos; 2 = uno o dos; 1 = vago; 0 = nunca.
EX049 — Errores habituales. Nombre tres errores habituales de Arp et al. y un ejemplo de cada uno en la evaluación de la seguridad de la IA. Rúbrica: 3 = tres con ejemplos; 2 = dos; 1 = uno; 0 = ninguno.
EX050 — Plan de lectura. Diseñe una rutina de lectura sostenible para un equipo de cinco personas. Rúbrica: 3 = fuentes, cadencia, roles, resultado; 2 = tres; 1 = vago; 0 = nada.

Síntesis

Los profesionales leen la investigación por su modelo de amenaza y su evidencia, no por su titular. Critique de forma sistemática, indique los supuestos de traslado y mantenga una rutina sostenible.

Siga estudiando — capítulo 10 de 12

← Capítulo 09 (borrador) · Índice de capítulos del curso · Capítulo 11 (borrador) →