Capítulo 29 — Infraestructura crítica y seguridad sectorial: medición | Ingeniería Seguridad de infraestructuras críticas y sectores

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 29 publicada. Mapa, ejemplo, EX057.

flowchart TD
  N0["Resultados de aprendizaje y conexión"]
  N1["29.1 Qué medir"]
  N2["29.2 Métricas de detección"]
  N3["29.3 La resiliencia como desempeño a lo largo del ti"]
  N4["29.4 Métricas que engañan"]
  N5["29.6 Actividad práctica: Lab 10"]
  N6["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX057"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje y conexión"]
  N1["29.1 Qué medir"]
  N2["29.2 Métricas de detección"]
  N3["29.3 La resiliencia como desempeño a lo largo del ti"]
  N4["29.4 Métricas que engañan"]
  N5["29.6 Actividad práctica: Lab 10"]
  N6["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX057"]

[Resultados de aprendizaje y conexión]
    |
    v
[29.1 Qué medir]
    |
    v
[29.2 Métricas de detección]
    |
    v
[29.3 La resiliencia como desempeño a lo largo del ti]
    |
    v
[29.4 Métricas que engañan]
    |
    v
[29.6 Actividad práctica: Lab 10]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX057]

Resultados de aprendizaje y conexión

Al terminar este capítulo, usted podrá (1) definir métricas de seguridad y resiliencia que respalden decisiones; (2) calcular métricas de detección —precisión, exhaustividad, F1, tasa de falsas alarmas, tiempo de detección— a partir de pruebas etiquetadas; (3) medir la resiliencia como el desempeño del servicio a lo largo del tiempo durante una perturbación; y (4) evitar métricas que recompensen el comportamiento equivocado. Se apoya en los capítulos 7 y 28 y prepara los capítulos 30, 38 y 40.

29.1 Qué medir

Una métrica es útil si cambia una decisión. Hay tres familias: desempeño de los controles (¿hace el control lo que se especificó?: tasas de rechazo, tiempos de detección); exposición (¿cuánta superficie de ataque o vulnerabilidad existe?: conductos sin autenticación, vulnerabilidades alcanzables sin parchear, cuentas compartidas); y resiliencia del servicio (¿cómo se degrada y se recupera el servicio?). Use el enfoque objetivo–pregunta–métrica: enuncie el objetivo, la pregunta que mostraría el avance y, solo entonces, la métrica. En el TMRP, la latencia de alarma de R7 mide el desempeño de los controles, el número de conductos sin autenticación mide la exposición y la proporción de la demanda atendida durante el ensayo de recuperación mide la resiliencia.

29.2 Métricas de detección

De un conjunto de prueba etiquetado se obtienen verdaderos positivos (TP), falsos positivos (FP), falsos negativos (FN) y verdaderos negativos (TN). Precisión = TP/(TP+FP): de las alarmas, cuántas eran reales. Exhaustividad (recall) = TP/(TP+FN): de los eventos reales, cuántos se encontraron. F1 es su media armónica. Informe la precisión y la exhaustividad junto con la tasa base del conjunto de prueba; la precisión en un conjunto de prueba con un 50 % de ataques dice poco sobre una operación con un 0,1 % (capítulo 7). El tiempo de detección es una distribución; informe la mediana y los peores casos, no solo la media. Arp et al. (2022) enumeran errores frecuentes al evaluar sistemas de seguridad basados en aprendizaje automático, entre ellos tasas base poco realistas y la contaminación por espionaje de datos (data snooping); Kim et al. (2022) muestran cómo la evaluación con ajuste por puntos puede inflar las puntuaciones de detección de anomalías en series temporales.

29.3 La resiliencia como desempeño a lo largo del tiempo

Represente el desempeño del servicio $Q(t)$ —para la LRWA, la fracción de la demanda atendida— durante una perturbación. Bruneau et al. (2003) propusieron medir la pérdida de resiliencia como el área entre el desempeño pleno y $Q(t)$, desde la perturbación hasta la recuperación. La curva muestra la robustez (cuánto cae el desempeño), la rapidez (con qué velocidad se recupera) y la pérdida total. Los requisitos de ingeniería se proyectan sobre ella: R4 mantiene la caída poco profunda; R6 acorta la recuperación.

El ensayo de recuperación del TMRP ofrece una curva real, ya que el suministro se mantuvo en modo local mientras se restablecía la operación remota.

29.4 Métricas que engañan

Contar los ataques bloqueados recompensa a los cortafuegos ruidosos; contar los parches aplicados ignora cuáles importaban; el tiempo medio de detección oculta el único evento detectado al cabo de tres semanas. Cuando una métrica se convierte en objetivo, las personas optimizan la métrica. Prefiera métricas ligadas a las consecuencias y verificadas mediante pruebas. La prueba de aceptación del detector del TMRP los evita al informar de las omisiones y de la detección más lenta, no solo de un promedio. Los dos eventos de reconocimiento no detectados permanecen en el informe, porque son el resultado que cambia cuánto puede confiar la LRWA en el detector.

29.5 Ejemplo resuelto: prueba de aceptación de un detector de anomalías (sintético)

La prueba de aceptación del TMRP para un detector de anomalías de red usa 14 eventos etiquetados de una semana de pruebas en el banco (Lab 10): 7 maliciosos (inundaciones de escrituras, códigos de función no autorizados, una nueva conexión de ingeniería) y 7 benignos (mantenimiento, copia de seguridad del firmware, una conmutación por error). Resultados: precisión 0,625, exhaustividad 0,714, F1 0,667; tiempo de detección de los eventos detectados de 2 a 30 minutos, mediana 7. Los dos ataques no detectados fueron ambos reconocimientos lentos y de bajo volumen. La decisión de aceptación: desplegarlo para detectar ataques de alto volumen, no confiar en él para el reconocimiento y dejar constancia de que la tasa base del 50 % del conjunto de prueba hace que la precisión operativa sea mucho menor.

29.6 Actividad práctica: Lab 10

# Lab 10 - detection metrics and time-to-detect from a labelled synthetic test week (offline)
# (event_id, truly_malicious, alerted, minutes_from_start_to_alert or None)
EV = [(1,1,1,4),(2,1,1,11),(3,1,0,None),(4,0,1,None),(5,0,0,None),(6,1,1,2),(7,0,1,None),
      (8,0,0,None),(9,1,1,30),(10,0,0,None),(11,0,0,None),(12,1,0,None),(13,0,1,None),(14,1,1,7)]
tp = sum(1 for e in EV if e[1] and e[2]); fp = sum(1 for e in EV if not e[1] and e[2])
fn = sum(1 for e in EV if e[1] and not e[2]); tn = sum(1 for e in EV if not e[1] and not e[2])
prec, rec = tp / (tp + fp), tp / (tp + fn)
print(f"TP={tp} FP={fp} FN={fn} TN={tn} precision={prec:.3f} recall={rec:.3f} F1={2*prec*rec/(prec+rec):.3f}")
ttd = sorted(e[3] for e in EV if e[1] and e[2])
print("time to detect (min):", ttd, "mean", round(sum(ttd)/len(ttd), 1), "median", ttd[len(ttd)//2])

Salida esperada:

TP=5 FP=3 FN=2 TN=4 precision=0.625 recall=0.714 F1=0.667
time to detect (min): [2, 4, 7, 11, 30] mean 10.8 median 7

Los recuentos coinciden con el ejemplo resuelto: cinco ataques detectados, tres eventos benignos que generaron alarma, dos ataques no detectados y cuatro eventos benignos sin alarma. Los dos ataques no detectados fueron reconocimientos lentos y de bajo volumen, que el detector no ve. Los tiempos de detección muestran por qué importa la mediana: un evento tardó treinta minutos, mientras que la mayoría se encontró en menos de diez. Como la mitad de los eventos de prueba eran maliciosos, la precisión aquí es muy superior a la que la LRWA observaría en operación, como muestra el EX057.

29.7 Errores comunes y límites

Métricas que nadie usa para tomar una decisión.
Precisión obtenida en conjuntos de prueba equilibrados presentada como si fuera operativa.
Tiempo medio de detección sin distribución ni omisiones.
Resiliencia informada solo como tiempo de disponibilidad.
Métricas que se convierten en objetivos.

La prueba de aceptación del TMRP informa de las omisiones y de la detección más lenta, y su precisión se enuncia junto con la tasa base del cincuenta por ciento del conjunto de prueba, para que nadie la confunda con la precisión operativa. La resiliencia se muestra como la proporción de la demanda atendida a lo largo del tiempo, no como tiempo de disponibilidad. Cada métrica que contiene informa la decisión de despliegue.

Ejercicios — capítulo 29

EX057 — Precisión operativa. Objetivo: trasladar las métricas de prueba a la operación. Entradas: exhaustividad del Lab 10 de 0,714 y tasa de FP de la prueba de 3/7; tasa base operativa de 1 evento malicioso por cada 1.000 eventos. Pasos: calcule la precisión operativa y las falsas alarmas esperadas por cada 1.000 eventos; interprete. Evidencia esperada: cifras e interpretación. Rúbrica: 3 = cálculo correcto (precisión ≈ 0,0017; ≈ 428 falsas alarmas por cada 1.000 eventos), con la interpretación de que la estimación de FP a partir de 7 eventos benignos es demasiado incierta y de que el detector es inutilizable sin una FPR mucho menor; 2 = cifras correctas; 1 = fórmula errónea; 0 = nada.

EX058 — Curva de resiliencia. Objetivo: calcular la pérdida de resiliencia. Entradas: $Q(t)$ sintética: 100 % hasta t = 0; 60 % de 0 a 4 h; recuperación lineal hasta el 100 % de 4 h a 12 h. Pasos: calcule el área de pérdida en %·h; recalcúlela si el modo manual local (R4) mantiene $Q$ en el 85 % de 0 a 4 h. Evidencia esperada: dos cifras y una frase. Rúbrica: 3 = 160+160 = 320 %·h y 60+60 = 120 %·h con una interpretación clara; 2 = un error; 1 = solo el método; 0 = nada.

Síntesis del capítulo

Mida lo que cambia las decisiones: el desempeño de los controles, la exposición y la resiliencia del servicio. Informe la precisión y la exhaustividad con las tasas base, y distribuciones del tiempo de detección que incluyan las omisiones. Represente la resiliencia como desempeño a lo largo del tiempo. Desconfíe de las métricas que pueden manipularse o que ocultan el peor caso.