Capítulo 37 — Seminario de revisión de la evidencia
Mapa de la lección
Lección 37 publicada. Mapa, ejemplo, EX109.
flowchart TD
N0["Resultados de aprendizaje"]
N1["37.1 Formato del seminario"]
N2["37.2 Lista de comprobación de la revisión"]
N3["37.3 Dar comentarios"]
N4["37.4 Recibir comentarios"]
N5["37.5 Comparación con trabajos publicados"]
N6["37.7b Registro del resultado del seminario"]
N7["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX109"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["37.1 Formato del seminario"]
N2["37.2 Lista de comprobación de la revisión"]
N3["37.3 Dar comentarios"]
N4["37.4 Recibir comentarios"]
N5["37.5 Comparación con trabajos publicados"]
N6["37.7b Registro del resultado del seminario"]
N7["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX109"]
[Resultados de aprendizaje]
|
v
[37.1 Formato del seminario]
|
v
[37.2 Lista de comprobación de la revisión]
|
v
[37.3 Dar comentarios]
|
v
[37.4 Recibir comentarios]
|
v
[37.5 Comparación con trabajos publicados]
|
v
[37.7b Registro del resultado del seminario]
|
v
[Síntesis]
|
v
[Ejemplo resuelto] --> [Ejercicio EX109]
Resultados de aprendizaje
Usted podrá (1) revisar críticamente la evidencia de trabajos publicados y de los proyectos de sus compañeros; (2) evaluar las afirmaciones frente a los modelos de amenazas, los métodos y la estadística; (3) dar y recibir comentarios estructurados; y (4) mejorar la evidencia de su proyecto final antes de la evaluación final.
37.1 Formato del seminario
Cada estudiante presenta la evidencia que lleva de su proyecto final: requisitos, pruebas, resultados y limitaciones. Los compañeros la revisan con una lista de comprobación y dan comentarios por escrito. Cada semana se revisa también un artículo publicado para comparar. En el seminario de Rina, cada presentación duraba quince minutos y la seguían las revisiones escritas de dos compañeros asignados. Comparar el trabajo de los estudiantes con un artículo publicado cada semana mantenía concreto el nivel exigido: si un artículo informaba de intervalos y ataques adaptativos, los compañeros esperaban lo mismo unos de otros. Los comentarios se devolvían en dos días, para que los ponentes pudieran actuar antes del siguiente hito.
37.2 Lista de comprobación de la revisión
¿Es explícito el modelo de amenazas? ¿Están las pruebas separadas del desarrollo? ¿Se incluyen ataques adaptativos? ¿Se informan los resultados con intervalos y líneas base? ¿Se miden los efectos secundarios? ¿Es reproducible la evidencia (versiones, semillas, scripts)? ¿Se indican las limitaciones? ¿Son las afirmaciones proporcionadas a la evidencia? Aplicada a la evidencia de Rina, la lista de comprobación detectó un problema importante: las pruebas no eran independientes del desarrollo, ya que ella había escrito ambas cosas. El resto de la lista se superó, lo que le dio confianza en que su estadística y su control de versiones eran sólidos. Los revisores escribían el número del punto junto a cada comentario, para que ella viera qué preguntas de la lista no había superado su trabajo.
37.3 Dar comentarios
Sea concreto y constructivo: nombre el problema, por qué importa y qué lo corregiría. Separe los problemas importantes (cambiarían las conclusiones) de los menores. Un comentario útil sobre el trabajo de Rina decía: «Todos los documentos inyectados los escribió quien diseñó la defensa (importante): los resultados pueden sobrestimar la robustez. Pida a otra persona que escriba un conjunto reservado». Uno menos útil decía solo «las pruebas podrían ser más sólidas». El primero nombra el problema, por qué importa y qué lo corregiría, así que podía llevarse a la práctica directamente.
37.4 Recibir comentarios
Clasifique los comentarios en: corregir ahora, explicar mejor, fuera del alcance (añadir a las limitaciones), en desacuerdo (responder con evidencia). Siga cada uno hasta su cierre. Rina clasificó doce comentarios: cuatro para corregir ahora, entre ellos el conjunto de pruebas independiente; cinco para explicar mejor; dos fuera del alcance, como la entrada por voz, que pasó a sus limitaciones; y uno con el que no estaba de acuerdo, sobre eliminar la confirmación, que respondió con los resultados del estudio anterior. Cada uno se marcó como cerrado en su registro de seguimiento al terminarlo, con un enlace al cambio.
37.5 Comparación con trabajos publicados
Leer artículos sólidos —por ejemplo, Carlini et al. (arXiv:1902.06705) sobre la evaluación, o Greshake et al. (arXiv:2302.12173) sobre la inyección indirecta— muestra cómo es una evidencia convincente; leer otros más débiles muestra las lagunas habituales. El grupo de Rina leyó el artículo sobre la inyección indirecta junto con una entrada de blog más débil que hacía afirmaciones similares. El artículo describía su modelo de amenazas, su entorno y sus límites; la entrada de blog presentaba un ejemplo espectacular sin ningún recuento de intentos. La comparación la ayudó a ver por qué sus propios informes indican el número de casos y el intervalo, y no solo la transcripción más llamativa.
37.6 Ejemplo resuelto (caso sintético de LCH)
Los compañeros revisaron la evidencia del Safe Booking Assistant de Rina. Problema importante: todos los documentos de prueba inyectados los había escrito Rina, que también había diseñado las defensas. Ella pidió a dos compañeros que escribieran 150 casos adaptativos nuevos sin ver su código. Dos produjeron propuestas de reserva que llegaron al paso de confirmación con un texto engañoso; ninguna se ejecutó sin confirmación. Añadió una pantalla de confirmación más clara e informó de los nuevos resultados con su propio intervalo. Los dos casos al límite mostraron que el paso de confirmación funcionaba como última barrera, y también que su redacción importaba.
37.7 Errores y límites
- Comentarios sin correcciones.
- Respuestas a la defensiva.
- Pruebas escritas solo por quien defiende.
Los comentarios que se anotan pero nunca se aplican dejan el trabajo como estaba, y por eso Rina siguió cada comentario hasta su cierre. Responder a la defensiva a un problema importante, como la independencia de las pruebas, desaprovecha la perspectiva del revisor. Las pruebas escritas solo por quien construyó las defensas tienden a pasar por alto los ataques que esa persona no imaginó, y por eso los casos independientes encontraron problemas que los suyos no habían encontrado, como el texto de confirmación engañoso.
37.7b Registro del resultado del seminario
Después de cada seminario, el ponente redacta una nota breve con los cambios acordados, las objeciones no aceptadas y su motivo, y cualquier análisis nuevo que haya que ejecutar. La nota se adjunta al expediente del proyecto para que el siguiente revisor vea cómo se cuestionó la evidencia. La nota de Rina tras su seminario recogía el conjunto de pruebas independiente como principal cambio acordado y registraba su desacuerdo sobre eliminar la confirmación, con la evidencia que aportó. También enumeraba el nuevo análisis: casos independientes con su propio intervalo. Su supervisor leyó la nota antes de la siguiente reunión.
Ejercicios
- EX109 — Lista de comprobación. Aplique cuatro puntos de la lista de comprobación al proyecto de un compañero (o al suyo). Rúbrica: 3 = cuatro puntos respondidos con evidencia; 2 = tres; 1 = uno o dos; 0 = nada.
- EX110 — Problema importante. ¿Por qué «pruebas escritas por quien defiende» era un problema importante? Rúbrica: 3 = puntos ciegos de quien defiende; los resultados pueden sobrestimar la seguridad; 2 = parcial; 1 = vago; 0 = incorrecto.
- EX111 — Clasificación. Clasifique tres comentarios en las cuatro categorías. Rúbrica: 3 = clasificación plausible con acciones; 2 = dos; 1 = uno; 0 = nada.
Síntesis
La revisión de la evidencia fortalece los proyectos finales antes de su evaluación: las listas de comprobación, las pruebas independientes y el seguimiento de los comentarios revelan lagunas que el autor no puede ver.
Siga estudiando — capítulo 37 de 40
← Capítulo 36 (borrador) · Índice de capítulos del curso · Capítulo 38 (borrador) →