Capítulo 6 — Crítica entre pares y revisión | Investigación doctoral Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 06 publicada. Mapa, ejemplo, EX033.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["6.1 Cómo revisar un artículo de seguridad de la IA"]
  N2["6.2 Escribir críticas que ayuden"]
  N3["6.3 Recibir críticas"]
  N4["6.4 Revisar las afirmaciones para que encajen con la"]
  N5["6.6 Actividades de práctica"]
  N6["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX033"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["6.1 Cómo revisar un artículo de seguridad de la IA"]
  N2["6.2 Escribir críticas que ayuden"]
  N3["6.3 Recibir críticas"]
  N4["6.4 Revisar las afirmaciones para que encajen con la"]
  N5["6.6 Actividades de práctica"]
  N6["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX033"]

[Resultados de aprendizaje]
    |
    v
[6.1 Cómo revisar un artículo de seguridad de la IA]
    |
    v
[6.2 Escribir críticas que ayuden]
    |
    v
[6.3 Recibir críticas]
    |
    v
[6.4 Revisar las afirmaciones para que encajen con la]
    |
    v
[6.6 Actividades de práctica]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX033]

Resultados de aprendizaje

Usted podrá (1) revisar un artículo de seguridad de la IA con una lista de comprobación estructurada; (2) escribir críticas específicas, accionables y justas; (3) recibir críticas y separar las objeciones válidas de los malentendidos; (4) revisar afirmaciones, análisis y texto para que la evidencia y las palabras coincidan; y (5) redactar una carta de respuesta.

6.1 Cómo revisar un artículo de seguridad de la IA

Lea en tres pasadas. Primero, la afirmación: ¿qué afirma exactamente el artículo y bajo qué modelo de amenazas? Segundo, la evidencia: ¿corresponden los experimentos a los cuantificadores de la afirmación (adversario, presupuesto, modelos, tareas)? Tercero, los artefactos: ¿están disponibles el código, los datos y las configuraciones para comprobarlos? Una lista de comprobación práctica, construida a partir de arXiv:1902.06705 y arXiv:2010.09470, pregunta: ¿Es explícito el modelo de amenazas? ¿Se incluyen ataques adaptativos? ¿Son fuertes las líneas de base y se ajustan por igual? ¿Son las métricas adecuadas a las tasas base? ¿Se comunican intervalos entre semillas? ¿Hay fuga entre los datos de desarrollo y de prueba? ¿Se miden los costes de utilidad? ¿Se tratan las cuestiones éticas y la divulgación? ¿Se enuncian las limitaciones donde un lector las verá?

6.2 Escribir críticas que ayuden

Las buenas revisiones resumen primero el artículo con justicia en unas pocas frases, para que los autores vean que usted lo entendió. Después enumeran los problemas mayores (los que cambiarían la conclusión si no se resolvieran) por separado de los menores. Para cada problema mayor, diga qué está mal, por qué importa y qué evidencia lo resolvería: «La defensa se evalúa solo contra las 120 cargas útiles del trabajo previo; como la defensa modifica los delimitadores, evalúen por favor cargas útiles que falsifiquen delimitadores y comuniquen la ASR en función del número de intentos». Evite un tono que ataque a los autores. Evite pedir experimentos que no cambiarían su decisión.

6.3 Recibir críticas

Clasifique cada comentario en cuatro grupos: correcto y subsanable (hágalo), correcto pero fuera del alcance (reconózcalo y añada una limitación), malentendido (el texto no era claro: reescríbalo) y desacuerdo (responda con evidencia, con respeto). El tercer grupo es mayor de lo que esperan los autores; si un revisor cuidadoso le leyó mal, otros lectores también lo harán. Una carta de respuesta cita cada comentario e indica qué cambió y dónde. La respuesta de Ana a la petición del corpus de cargas útiles encaja en el grupo de fuera del alcance: lo reconoció y explicó la publicación con acceso controlado. Su cambio de título encaja en el primer grupo. Guarde la lista clasificada junto con la carta de respuesta.

6.4 Revisar las afirmaciones para que encajen con la evidencia

La revisión suele acotar las afirmaciones. Cambios típicos: sustituir «robusto» por «redujo la ASR bajo el modelo de amenazas evaluado»; sustituir «generaliza» por «se mantuvo en dos de tres modelos»; trasladar una limitación del apéndice al resumen; añadir una figura de la ASR frente al presupuesto del ataque; comunicar el mejor ataque del equipo rojo. Las afirmaciones que se encogen pero sobreviven son más fuertes que las amplias y frágiles. El cambio de título de Ana de «impide» a «reduce» y su comunicación de un efecto menor en el tercer modelo son ejemplos. Tras cada revisión, compruebe cada afirmación con la tabla que la respalda.

6.5 Ejemplo resuelto (caso sintético del MAAL)

La revisión interna del borrador de Ana en el MAAL planteó tres problemas mayores. (1) «La separación impide la inyección», en el título, contradecía la ASR residual del 5,8–8,9 %; cambió el título a «reduce». (2) Los dos modelos eran de una misma familia; un revisor preguntó si el efecto se transfiere. Ana añadió un tercer modelo abierto de otra familia como ejecución solo de validación: la reducción se mantuvo en dirección, pero fue menor (3,1 puntos, IC 1,4–4,9), y lo comunicó. (3) La utilidad se medía con un juez LLM. Ana añadió una auditoría humana de 200 tareas con dos anotadores, obtuvo una κ de Cohen = 0,81 y comunicó la concordancia entre el juez y los humanos. Un comentario menor pedía el corpus completo de cargas útiles; en su lugar, explicó el plan de publicación con acceso controlado del capítulo 3.

6.6 Actividades de práctica

Revise un artículo publicado en su área con la lista de comprobación y escriba una revisión de una página. 2. Intercambie borradores con un compañero y escríbanse cartas de respuesta. 3. Enumere cada afirmación de su resumen y la tabla o figura que la respalda. Para la revisión, use las preguntas de la lista de comprobación y separe los problemas mayores de los menores, indicando qué evidencia resolvería cada problema mayor. Para las cartas de respuesta, cite cada comentario, clasifíquelo en uno de los cuatro grupos e indique qué cambió y dónde. Para la lista de afirmaciones, cualquier afirmación sin una tabla o figura que la respalde debe eliminarse o acotarse, como se hizo con el título de Ana.

6.7 Errores y límites

Cada uno de estos errores desperdicia la revisión:

Revisiones que solo enumeran erratas o solo elogian, lo que no da a los autores nada sobre lo que actuar.
Peticiones de experimentos que no cambiarían la decisión, que cuestan meses.
Cartas de respuesta defensivas que no cambian nada; dejan el problema donde estaba y hacen perder la confianza del revisor.
Dejar las limitaciones solo en los apéndices, lo que induce a error a los lectores del resumen; por eso Ana adelantó las suyas.
Revisar el análisis para que un efecto débil parezca significativo; rehacer el análisis para alcanzar la significación es una forma de mala conducta, se describa como se describa.

Ejercicios — capítulo 6

EX033 — Lista de comprobación. Aplique cinco preguntas de la lista de comprobación a un artículo de su elección y registre las respuestas. Rúbrica: 3 = cinco preguntas respondidas con evidencia de página o sección; 2 = cuatro; 1 = vago; 0 = ninguna.
EX034 — Problema mayor. Escriba un comentario de problema mayor (qué, por qué, evidencia que lo resolvería) para una defensa evaluada solo con cargas útiles estáticas. Rúbrica: 3 = las tres partes; 2 = dos; 1 = una; 0 = ninguna.
EX035 — Grupos. Un revisor dice «el método no es más que una lista de permitidos». ¿Qué grupo es y cómo responde? Rúbrica: 3 = malentendido o desacuerdo; remitir a los resultados de la PI4, que comparan con la lista de permitidos sola; 2 = solo el grupo; 1 = vago; 0 = despectivo.
EX036 — Acotar una afirmación. Reescriba «nuestro método hace seguros a los agentes» para que encaje con los resultados de Ana. Rúbrica: 3 = nombra la reducción, el modelo de amenazas, los modelos y la ASR residual; 2 = parcial; 1 = sigue exagerando; 0 = sin cambios.
EX037 — Concordancia. ¿Qué le dice una κ = 0,81 y qué no le dice? Rúbrica: 3 = fuerte concordancia corregida por azar entre los anotadores; no muestra que ninguno acierte ni que el juez LLM sea válido salvo que se compare; 2 = la primera parte; 1 = vago; 0 = incorrecto.
EX038 — Carta de respuesta. Escriba el párrafo de respuesta al comentario sobre la transferencia. Rúbrica: 3 = cita el comentario, describe el experimento añadido, el resultado con su intervalo y su ubicación en el artículo; 2 = falta uno; 1 = vago; 0 = ninguno.

Síntesis del capítulo

La crítica es un instrumento de validez. Revisar a otros le enseña qué evidencia persuade; revisar su propio trabajo alinea las palabras con esa evidencia, lo que normalmente significa afirmaciones más acotadas y más sólidas.

Siga estudiando — capítulo 06 de 08

← Capítulo 05 (borrador) · Índice de capítulos del curso · Capítulo 07 (borrador) →