Capítulo 7 — Probabilidad y estadística
Mapa de la lección
Lección 07 publicada. Mapa, ejemplo, EX019.
flowchart TD
N0["Resultados de aprendizaje"]
N1["7.1 Probabilidad condicionada y Bayes"]
N2["7.2 El efecto de la tasa base"]
N3["7.3 Estimación de tasas"]
N4["7.4 Distribuciones e independencia"]
N5["7.5 Comparación de dos sistemas"]
N6["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX019"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["7.1 Probabilidad condicionada y Bayes"]
N2["7.2 El efecto de la tasa base"]
N3["7.3 Estimación de tasas"]
N4["7.4 Distribuciones e independencia"]
N5["7.5 Comparación de dos sistemas"]
N6["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX019"]
[Resultados de aprendizaje]
|
v
[7.1 Probabilidad condicionada y Bayes]
|
v
[7.2 El efecto de la tasa base]
|
v
[7.3 Estimación de tasas]
|
v
[7.4 Distribuciones e independencia]
|
v
[7.5 Comparación de dos sistemas]
|
v
[Síntesis del capítulo]
|
v
[Ejemplo resuelto] --> [Ejercicio EX019]
Resultados de aprendizaje
Usted será capaz de (1) aplicar la regla de Bayes a problemas de detección; (2) explicar las tasas base y por qué los sucesos raros dominan la precisión de las alertas; (3) estimar tasas con intervalos de confianza; y (4) diseñar evaluaciones con suficientes muestras.
7.1 Probabilidad condicionada y Bayes
P(A | B) = P(B | A) P(A) / P(B). Para un detector de prompts maliciosos, la tasa de verdaderos positivos es P(alerta | malicioso) y la tasa de falsos positivos es P(alerta | benigno). Lo que interesa a los operadores es la precisión, P(malicioso | alerta), que depende mucho de la tasa base P(malicioso). Las dos tasas describen el detector y se mantienen más o menos fijas; la precisión describe el detector en un flujo de tráfico concreto y cambia siempre que cambia la mezcla. Sam escribe los tres números en cada informe sobre un detector, porque los operadores que solo leen la tasa de verdaderos positivos tienden a tratar cada alerta como un ataque.
7.2 El efecto de la tasa base
El laboratorio calcula la precisión de tres detectores para tres prevalencias. Un detector con un 95 % de TPR y un 5 % de FPR parece bueno, pero si solo 1 de cada 1.000 prompts es malicioso, menos del 2 % de sus alertas son reales. Arp et al. (arXiv:2010.09470) incluyen la falacia de la tasa base entre los errores habituales del aprendizaje automático en seguridad.
"""Lab B: base rates and alarm precision (Bayes' rule).
A detector for malicious prompts with given true- and false-positive rates
is applied to traffic with different shares of malicious prompts."""
for tpr, fpr in ((0.95, 0.05), (0.95, 0.01), (0.80, 0.001)):
for prev in (0.10, 0.01, 0.001):
tp = tpr * prev; fp = fpr * (1 - prev)
prec = tp / (tp + fp)
per_10k = round(10000 * (tp + fp))
print(f"tpr={tpr:.2f} fpr={fpr:.3f} prevalence={prev:.3f} precision={prec:.3f} alerts_per_10k={per_10k}")
Salida esperada:
tpr=0.95 fpr=0.050 prevalence=0.100 precision=0.679 alerts_per_10k=1400
tpr=0.95 fpr=0.050 prevalence=0.010 precision=0.161 alerts_per_10k=590
tpr=0.95 fpr=0.050 prevalence=0.001 precision=0.019 alerts_per_10k=509
tpr=0.95 fpr=0.010 prevalence=0.100 precision=0.913 alerts_per_10k=1040
tpr=0.95 fpr=0.010 prevalence=0.010 precision=0.490 alerts_per_10k=194
tpr=0.95 fpr=0.010 prevalence=0.001 precision=0.087 alerts_per_10k=109
tpr=0.80 fpr=0.001 prevalence=0.100 precision=0.989 alerts_per_10k=809
tpr=0.80 fpr=0.001 prevalence=0.010 precision=0.890 alerts_per_10k=90
tpr=0.80 fpr=0.001 prevalence=0.001 precision=0.445 alerts_per_10k=18
Leer la tabla fila por fila muestra que reducir los falsos positivos rinde más que aumentar la detección. Con una prevalencia de 0,001, el tercer detector detecta menos ataques que el primero, pero casi la mitad de sus alertas son reales, frente a menos del 2 %, y genera 18 alertas por cada 10.000 prompts en lugar de 509.
7.3 Estimación de tasas
Una tasa observada k/n tiene incertidumbre. El intervalo de puntuación de Wilson es fiable incluso con n pequeño o con tasas cercanas a 0 o a 1. Comunique intervalos y dimensione los estudios para que los intervalos sean lo bastante estrechos para la decisión: n ≈ z² p(1 − p)/h² para una semiamplitud h. El intervalo de Wilson se mantiene entre 0 y 1 y se aproxima al correcto incluso cuando se observan pocos fallos, lo que importa porque los buenos sistemas producen pocos. Para una tasa en torno al 5 % y una semiamplitud de 1 punto porcentual con un 95 % de confianza, la fórmula da aproximadamente 1,96² × 0,05 × 0,95 / 0,01², unos 1.800 elementos de prueba. Sam hace esta cuenta antes de recoger datos, ya que un estudio demasiado pequeño para zanjar la cuestión hace perder el tiempo a todos.
7.4 Distribuciones e independencia
Los modelos binomiales cuentan éxitos en ensayos independientes. Muchas evaluaciones de seguridad violan la independencia: los prompts generados a partir de una plantilla están correlacionados, de modo que el tamaño muestral efectivo es menor. Agrupe por plantilla y remuestree los grupos (un bootstrap por conglomerados) al estimar intervalos. Suponga que 1.000 prompts de prueba proceden de 20 plantillas con 50 redacciones cada una. Si un filtro falla con una plantilla, probablemente falle con la mayoría de sus redacciones, de modo que la evaluación tiene más bien 20 unidades independientes que 1.000. Tratarlas como 1.000 hace el intervalo demasiado estrecho. Remuestrear plantillas enteras da una amplitud honesta y muestra además qué plantillas provocan los fallos.
7.5 Comparación de dos sistemas
Para decidir si un filtro nuevo es mejor que el antiguo, ejecute ambos sobre los mismos elementos y analice las diferencias emparejadas; así se cancela la dificultad de cada elemento. Un bootstrap emparejado (remuestrear elementos, recalcular la diferencia, tomar percentiles) da un intervalo para la mejora. Si el intervalo incluye el cero, los datos no muestran una mejora, por atractiva que sea la estimación puntual. Emparejar elimina el ruido de la dificultad de los elementos: un prompt inusualmente difícil cuenta en contra de ambos filtros, de modo que deja de ocultar la diferencia entre ellos.
7.6 Ejemplo resuelto (caso sintético de NRS)
El detector de inyecciones de Wrench tuvo un 95 % de TPR y un 1 % de FPR en las pruebas. Sam estimó que quizá 1 de cada 1.000 boletines de proveedores llegaría a contener un intento de inyección. Según el laboratorio, la precisión sería de aproximadamente el 8,7 %, con 109 alertas por cada 10.000 boletines, en su mayoría falsas alarmas. Sam recomendó enviar las alertas a una cola de revisión ligera en lugar de bloquear, y combinar la detección con límites de privilegios para que los ataques no detectados tengan un impacto acotado.
La cifra de 1 de cada 1.000 es en sí misma una estimación, así que Sam lee también la fila de 1 de cada 100 del laboratorio, donde la precisión sube a 0,490. En cualquier caso, bloquear cada boletín señalado bloquearía sobre todo boletines legítimos. Una cola de revisión mantiene informados a los técnicos, y los límites de privilegios hacen que la decisión no dependa de que el detector acierte.
7.7 Errores y límites
- Citar la exactitud en lugar de la precisión con tasas base realistas.
- Tratar muestras correlacionadas como independientes.
- Estimaciones puntuales sin intervalos.
La exactitud engaña con tasas base bajas: un detector que nunca alerta tiene un 99,9 % de exactitud cuando uno de cada mil prompts es malicioso. Las muestras correlacionadas inflan la confianza, como cuando muchos prompts comparten plantilla. Las estimaciones puntuales sin intervalos ocultan lo poco que puede mostrar una prueba pequeña. La lista de revisión de Sam hace tres preguntas a cualquier métrica: con qué tasa base, contada sobre qué unidades y con qué intervalo.
Ejercicios — capítulo 7
- EX019 — Precisión. Con TPR 0,90, FPR 0,02 y prevalencia 0,005, calcule la precisión. Rúbrica: 3 = 0,0045/(0,0045 + 0,0199) ≈ 0,184; 2 = desliz; 1 = método; 0 = nada.
- EX020 — Lectura del laboratorio. ¿Qué detector del laboratorio da una precisión superior a 0,4 con prevalencia 0,001, y a qué coste? Rúbrica: 3 = TPR 0,80/FPR 0,001: 0,445, menor TPR; 2 = solo la fila; 1 = vago; 0 = incorrecto.
- EX021 — Conglomerados. ¿Por qué generar 500 prompts a partir de 5 plantillas exagera el tamaño muestral? Rúbrica: 3 = correlación dentro de cada plantilla; n efectivo más cercano a 5 grupos; usar bootstrap por conglomerados; 2 = parcial; 1 = vago; 0 = incorrecto.
Síntesis del capítulo
La probabilidad dice a los ingenieros lo que significa realmente una alerta. Las tasas base, los intervalos honestos y las unidades de muestreo correctas deciden si un detector es útil en operación.
Siga estudiando — capítulo 07 de 50
← Capítulo 06 (borrador) · Índice de capítulos del curso · Capítulo 08 (borrador) →