Capítulo 7 — Probabilidad y estadística
Mapa de la lección
Lección 07 publicada. Mapa, ejemplo, EX019.
flowchart TD
N0["Resultados de aprendizaje"]
N1["7.1 Tasas e intervalos"]
N2["7.2 Comparar detectores"]
N3["7.3 Tasas base en la sala de control"]
N4["Nota práctica"]
N5["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX019"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["7.1 Tasas e intervalos"]
N2["7.2 Comparar detectores"]
N3["7.3 Tasas base en la sala de control"]
N4["Nota práctica"]
N5["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX019"]
[Resultados de aprendizaje]
|
v
[7.1 Tasas e intervalos]
|
v
[7.2 Comparar detectores]
|
v
[7.3 Tasas base en la sala de control]
|
v
[Nota práctica]
|
v
[Síntesis del capítulo]
|
v
[Ejemplo resuelto] --> [Ejercicio EX019]
Resultados de aprendizaje
Usted podrá (1) informar tasas de detección con intervalos; (2) comparar detectores sin exagerar las conclusiones; (3) rechazar clasificaciones que la muestra no puede sostener.
7.1 Tasas e intervalos
Sesenta ensayos sintéticos con 0 falsas alarmas y 60/60 detecciones parecen perfectos, hasta que se recuerda que un intervalo de Wilson al 95 % para 0/60 todavía admite, a largo plazo, una tasa de falsas alarmas de unos pocos puntos porcentuales. Informe el intervalo, no solo el valor puntual. Para 60/60 detecciones, el intervalo de la tasa de omisión también es estrecho, pero no es cero para siempre. Los informes de Lena para el CNHP dan juntos el conteo, el intervalo y la lista de semillas, de modo que el lector puede ver tanto el resultado como cuánto podría moverse con más ensayos.
7.2 Comparar detectores
El laboratorio de CUSUM sobre residuos muestra un detector de banda que no detecta los ataques de clase A, mientras que el CUSUM los detecta con un retardo medio de ~25 muestras, ambos con 0/60 falsas alarmas en este conjunto de semillas. Eso es evidencia de que el CUSUM supera a la banda en estos ataques sintéticos, no de que el CUSUM sea mejor en general. Prefiera diseños pareados sobre las mismas trazas e indique la clase de ataque.
# Lab 27 - residual CUSUM vs band on batch reactor level (synthetic)
import random
def run(seed, atk, det, k=0.8, h=6.0):
rng=random.Random(seed); true=est=50.0; s=0.0; alarm=None
for t in range(500):
inflow=1.0+rng.gauss(0,0.05)+(0.08 if atk and t>=250 else 0)
true+=inflow-0.02*true
lvl=true+rng.gauss(0,0.3); fm=inflow+rng.gauss(0,0.02)
if atk and t>=250: lvl=50+rng.gauss(0,0.3)
if atk=="B" and t>=250: fm=1.0+rng.gauss(0,0.02)
est+=fm-0.02*est
hit=abs(lvl-50)>2.0 if det=="band" else False
if det=="cusum":
s=max(0.0,s+abs(lvl-est)-k); hit=s>h
if hit and alarm is None: alarm=t
return alarm
for det in ("band","cusum"):
fa=sum(run(i,None,det) is not None for i in range(60))
for atk in ("A","B"):
hits=[a-250 for a in (run(i,atk,det) for i in range(60)) if a is not None and a>=250]
print(f"{det} class{atk} FA={fa}/60 det={len(hits)}/60 mean_delay={sum(hits)/len(hits) if hits else float('nan'):.1f}")
Salida esperada:
band classA FA=0/60 det=0/60 mean_delay=nan
band classB FA=0/60 det=0/60 mean_delay=nan
cusum classA FA=0/60 det=60/60 mean_delay=24.8
cusum classB FA=0/60 det=0/60 mean_delay=nan
El plan piloto de Lena conserva las mismas trazas para ambos detectores y nombra la clase de ataque probada, para que la comparación pueda repetirse más adelante con semillas nuevas.
7.3 Tasas base en la sala de control
Si los ataques ciberfísicos genuinos son raros, un detector con una tasa de falsas alarmas de apenas un 1 % dominará la atención del operador. La regla de Bayes se aplica exactamente como en el capítulo 7 de los cursos de seguridad vecinos: la precisión se desploma cuando la tasa base es diminuta. Diseñe para la tasa base de la planta, no para el conjunto equilibrado de un laboratorio.
Caso sintético — Ashford Batch Plant. Un proveedor afirmó «99 % de detección, 0 % de falsas alarmas» a partir de una demostración de 20 ejecuciones. Lena pidió la clase de ataque, la lista de semillas y el intervalo de falsas alarmas; no se aportó ninguno. El piloto usó en su lugar el diseño del laboratorio de CUSUM.
7.4 Errores y límites
Los ataques sintéticos no son el adversario. Los intervalos suponen ensayos independientes; las semillas correlacionadas los invalidan. Los informes piloto de Lena indican que los ataques eran sintéticos, enumeran las semillas y explican cómo se generaron. Si dos semillas producen trazas casi idénticas, las cuenta como un solo ensayo, porque tratarlas como independientes haría que el intervalo pareciera más estrecho de lo que la evidencia sostiene. Toda prueba estadística que informa es una que ejecutó de verdad, y conserva sus entradas para que un revisor pueda repetirla.
Nota práctica
Publique la lista de semillas y los parámetros del detector con cada afirmación de detección en los documentos del CNHP. La reproducibilidad es más barata que discutir sobre una diapositiva seis meses después, y es lo que Urbina et al. y Giraldo et al. exigen de las evaluaciones.
Ejercicios — capítulo 7
- EX019 — Intervalo. Indique qué le permite afirmar, a ~95 %, un resultado de 0/60 falsas alarmas. Rúbrica: 3 = cota superior de ~5–6 % (regla del tres / Wilson), no «cero para siempre»; 2 = solo la cota; 1 = «cero»; 0 = nada.
- EX020 — Laboratorio. Para el CUSUM en la clase A, informe las detecciones y el retardo medio. Rúbrica: 3 = 60/60 y ~24,8; 2 = un número; 1 = vago; 0 = incorrecto.
- EX021 — Rechazo de la clasificación. La banda y el CUSUM muestran ambos FA=0/60 en la clase B (sin detecciones). Escriba la frase que se niega a declararlos de igual calidad. Rúbrica: 3 = menciona la falta de potencia / la necesidad de la clase A o de un n mayor; 2 = cautela vaga; 1 = los declara iguales; 0 = nada.
Síntesis del capítulo
Las afirmaciones de detección necesitan intervalos, clase de ataque y honestidad sobre la tasa base, no un único porcentaje.
Siga estudiando — capítulo 07 de 50
← Capítulo 06 (borrador) · Índice de capítulos del curso · Capítulo 08 (borrador) →