Capítulo 15 — Evidencia y medición
Mapa de la lección
Lección 15 publicada. Mapa, ejemplo, EX043.
flowchart TD
N0["Resultados de aprendizaje"]
N1["15.1 Métricas que responden a preguntas"]
N2["15.2 Conjuntos de prueba y fuga de datos"]
N3["15.3 Tratamiento de la evidencia"]
N4["15.4 Comunicación de resultados"]
N5["15.4b Líneas base y comparaciones"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX043"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["15.1 Métricas que responden a preguntas"]
N2["15.2 Conjuntos de prueba y fuga de datos"]
N3["15.3 Tratamiento de la evidencia"]
N4["15.4 Comunicación de resultados"]
N5["15.4b Líneas base y comparaciones"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX043"]
[Resultados de aprendizaje]
|
v
[15.1 Métricas que responden a preguntas]
|
v
[15.2 Conjuntos de prueba y fuga de datos]
|
v
[15.3 Tratamiento de la evidencia]
|
v
[15.4 Comunicación de resultados]
|
v
[15.4b Líneas base y comparaciones]
|
v
[Síntesis]
|
v
[Ejemplo resuelto] --> [Ejercicio EX043]
Resultados de aprendizaje
Usted podrá (1) elegir métricas que respondan a las preguntas de seguridad; (2) diseñar conjuntos de prueba que eviten la fuga de datos; (3) recoger y conservar la evidencia correctamente; y (4) redactar resultados de medición con sus condiciones e incertidumbre.
15.1 Métricas que responden a preguntas
«¿Filtra el chatbot datos de otros pacientes?» necesita una tasa de filtración sobre un conjunto de pruebas de intentos. «¿Detecta el filtro las inyecciones?» necesita la TPR con una FPR fija. «¿Perjudica la defensa a la utilidad?» necesita el éxito en las tareas con peticiones normales. Use varias métricas; una sola cifra rara vez responde a una pregunta de seguridad. Fijar la tasa de falsos positivos antes de comparar filtros garantiza que un filtro no pueda parecer mejor simplemente por marcar más conversaciones. El tiempo del personal dedicado a revisar falsas alarmas es un coste real para las clínicas.
15.2 Conjuntos de prueba y fuga de datos
Mantenga los datos de prueba separados de todo lo que se use para construir o ajustar el sistema. Los casi duplicados entre conjuntos inflan los resultados (Kapoor y Narayanan, arXiv:2207.07048). Para los ataques por instrucciones, construya casos de prueba a partir de plantillas que no usó mientras desarrollaba las defensas. Si Rina ajustara una defensa con las mismas plantillas de inyección con las que después la prueba, su tasa de éxito mediría la memorización de esas plantillas y no la fortaleza general de la defensa. Mantiene un conjunto aparte de plantillas de ataque escritas por un compañero y solo lo abre para la evaluación final. Comprobar si hay casi duplicados entre conjuntos, como el mismo ataque con un nombre cambiado, forma parte de construirlos.
15.3 Tratamiento de la evidencia
Registre entradas, salidas, versiones (modelo, instrucción, código) y marcas de tiempo. Guarde la evidencia con hashes de integridad y control de acceso. En el trabajo con incidentes, conserve los registros originales antes del análisis. Las versiones importan porque la misma instrucción puede dar resultados distintos después de que el proveedor actualice el modelo. Rina registra el identificador del modelo que devuelve la API, el hash de la instrucción del sistema y el commit del código en cada ejecución de pruebas. Calcular el hash de las transcripciones le permite demostrar después que no se editaron. Los registros originales se copian y se les calcula el hash antes de cualquier análisis, y el análisis se hace sobre la copia.
15.4 Comunicación de resultados
Indique la pregunta, el método, la muestra, los resultados con intervalos, las condiciones y las limitaciones. Arp et al. (arXiv:2010.09470) enumeran escollos como el sesgo de muestreo y las líneas base inadecuadas; compruebe los suyos con esa lista. El informe de filtraciones de Rina sigue este orden: pregunta, 400 intentos sintéticos, resultados de dos versiones con intervalos de Wilson, condiciones como instrucciones solo en inglés, y limitaciones. Al comprobarlo con la lista de Arp et al., encontró un escollo en su borrador: había comparado la versión 2 con la versión 1 probada meses antes con otra versión del modelo, y repitió la prueba con la misma versión.
15.4b Líneas base y comparaciones
Una cifra significa poco sin una línea base. Informe del resultado del sistema sin defensa junto al del sistema defendido, y de una alternativa sencilla y fuerte (por ejemplo, una lista de herramientas permitidas) junto a su defensa elaborada. Si la alternativa sencilla consigue la mayor parte del beneficio, dígalo: es un conocimiento útil para los profesionales y le protege de afirmar más de lo que puede. En Ask Lumen, una línea base sencilla y fuerte es eliminar por completo la herramienta de cancelación, que así ninguna inyección puede usar indebidamente. Toda defensa propuesta debe compararse con esa opción.
15.5 Ejemplo resuelto (caso sintético de LCH)
Rina midió la filtración de Ask Lumen con 400 intentos sintéticos de obtener la cita de otro paciente. La versión 1 filtró en 14 casos (3,5 %, intervalo de Wilson al 95 % de 2,1–5,8 %). Tras la corrección con token delegado, la versión 2 filtró en 0 de 400 (cota superior de aproximadamente un 0,95 %). Guardó las transcripciones con hashes y anotó que los intentos estaban solo en inglés. El intervalo importa: 14 de 400 es compatible con una tasa real de entre aproximadamente un 2,1 % y un 5,8 %, así que el efecto de la corrección está claro incluso teniendo en cuenta el azar. Cero filtraciones en 400 no significa riesgo cero; la cota superior de aproximadamente un 0,95 % es lo que la prueba puede sostener. Anotar el límite de solo inglés indica a los lectores que otros idiomas siguen sin probarse.
15.6 Errores y límites
- Ajustar con el conjunto de prueba.
- Comunicar resultados sin versiones.
- Ignorar los límites de idioma o de formato de un conjunto de pruebas.
Ajustar con el conjunto de prueba infla los resultados sin mejorar el sistema. Comunicar resultados sin versiones hace imposible reproducirlos una vez que cambian el modelo o la instrucción. Ignorar los límites de idioma o de formato lleva a los lectores a suponer una cobertura que nunca se probó, por ejemplo ataques escritos en otro idioma u ocultos en un formato de documento que el conjunto de pruebas no incluía, como un PDF escaneado.
Ejercicios
- EX043 — Elección de métricas. Elija métricas para evaluar DocSort frente a ataques de encaminamiento erróneo. Rúbrica: 3 = tasa de éxito de los ataques con cartas elaboradas, exactitud del encaminamiento normal, intervalos; 2 = dos; 1 = una; 0 = nada.
- EX044 — Cero fallos. ¿Qué cota superior se aplica a 0/400 y por qué no afirmar 0 %? Rúbrica: 3 = ≈ 3/400 ≈ 0,75 % (regla del tres; Wilson ≈ 0,95 %); muestra finita; 2 = parcial; 1 = afirma 0 %; 0 = nada.
- EX045 — Registro de evidencia. Enumere cinco elementos que registrar por caso de prueba. Rúbrica: 3 = entrada, salida, versiones de modelo/instrucción/código, marca de tiempo, hash; 2 = cuatro; 1 = dos; 0 = nada.
Síntesis
Una buena medición hace la pregunta correcta, usa datos de prueba limpios, conserva la evidencia y comunica los resultados con sus condiciones e incertidumbre.
Siga estudiando — capítulo 15 de 40
← Capítulo 14 (borrador) · Índice de capítulos del curso · Capítulo 16 (borrador) →