Capítulo 6 — Infraestructura crítica y seguridad sectorial: evaluación controlada | Posgrado Seguridad de infraestructuras críticas y sectores

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 06 publicada. Mapa, ejemplo, EX026.

flowchart TD
  N0["Resultados de aprendizaje y conexión"]
  N1["6.1 Por qué evaluar en condiciones controladas"]
  N2["6.2 Detección: tasas, familias e intervalos"]
  N3["6.3 Carga de falsas alarmas"]
  N4["6.4 Simulacros y ejercicios"]
  N5["6.5 Diseño seguro de las pruebas y reglas de enfrent"]
  N6["6.7 Actividad práctica: qué muestra la evaluación"]
  N7["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX026"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje y conexión"]
  N1["6.1 Por qué evaluar en condiciones controladas"]
  N2["6.2 Detección: tasas, familias e intervalos"]
  N3["6.3 Carga de falsas alarmas"]
  N4["6.4 Simulacros y ejercicios"]
  N5["6.5 Diseño seguro de las pruebas y reglas de enfrent"]
  N6["6.7 Actividad práctica: qué muestra la evaluación"]
  N7["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX026"]

[Resultados de aprendizaje y conexión]
    |
    v
[6.1 Por qué evaluar en condiciones controladas]
    |
    v
[6.2 Detección: tasas, familias e intervalos]
    |
    v
[6.3 Carga de falsas alarmas]
    |
    v
[6.4 Simulacros y ejercicios]
    |
    v
[6.5 Diseño seguro de las pruebas y reglas de enfrent]
    |
    v
[6.7 Actividad práctica: qué muestra la evaluación]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX026]

Resultados de aprendizaje y conexión

Al terminar este capítulo, usted debería ser capaz de:

Planificar una evaluación controlada de un control de seguridad (una regla de detección, un diseño, un procedimiento de recuperación) que responda de forma segura a una pregunta formulada.
Informar de las tasas de detección y de éxito con intervalos, y calcular cuántos ensayos necesita una afirmación.
Medir la carga de falsas alarmas en las unidades que experimentan los operadores.
Evaluar simulacros y ejercicios con comparaciones pareadas y reconocer las amenazas a su validez.
Redactar reglas de enfrentamiento y condiciones de seguridad para las pruebas cerca de una planta en funcionamiento.

El capítulo 5 eligió diseños; el capítulo 2 calificó la evidencia de que los controles existen. Este capítulo pregunta si funcionan, en qué medida y con cuánta seguridad podemos afirmarlo, antes de que un incidente real responda por nosotros. El capítulo 11 amplía el método a la evaluación de un proyecto completo.

6.1 Por qué evaluar en condiciones controladas

Los controles de seguridad de los servicios esenciales rara vez se ven puestos a prueba por ataques reales, así que su eficacia suele darse por supuesta. La evaluación controlada crea la evidencia de forma deliberada: inyectar eventos conocidos y ver si se detectan; ejecutar una recuperación y cronometrarla; hacer un simulacro y observar si el personal puede operar en modo manual. La palabra controlada importa por partida doble. Científicamente, significa que el evaluador controla lo que se inyecta, de modo que las detecciones y los fallos pueden contarse frente a una verdad conocida. Operativamente, significa que la prueba está controlada para que no pueda dañar el proceso: las instalaciones de prueba, los simuladores, los gemelos digitales, los destinos de restauración aislados y los ejercicios de mesa soportan la mayor parte de la carga, y las pruebas en vivo solo se hacen con la autorización de operaciones y con condiciones de seguridad.

6.2 Detección: tasas, familias e intervalos

Una evaluación de la detección cuenta cuántos de los escenarios inyectados se detectaron. Una tasa única oculta dos cosas. La primera son las familias: una regla que detecta todas las escrituras directas desde la HMI pero solo la mitad de las manipulaciones de deriva lenta tiene un perfil de riesgo distinto del de otra que detecta el 85 % de todo. Informe por familia de técnicas; para la TO, las familias de MITRE ATT&CK for ICS son un buen vocabulario (MITRE, ATT&CK for ICS). La segunda es la incertidumbre: 17 detecciones en 20 ensayos son compatibles con una amplia gama de tasas reales. El intervalo de puntuación de Wilson (Wilson, 1927) se comporta bien con muestras pequeñas y con tasas próximas a 0 o 1; úselo en lugar de la aproximación normal simple.

De ello se sigue una consecuencia práctica: las afirmaciones necesitan tamaños de muestra. Para afirmar «al menos un 90 % de detección» con un límite inferior de Wilson al 95 %, se necesitan decenas de ensayos con éxito, no unos pocos; cada fallo eleva aún más la cifra. Planifique el número de ensayos antes de probar e indique qué afirmación puede respaldar el número previsto.

La investigación sobre la evaluación de sistemas de detección aporta dos advertencias más. Los datos de prueba deben parecerse al entorno operativo (la tasa base de ataques reales, la variedad del comportamiento benigno), o los resultados no serán transferibles (Sommer and Paxson, 2010; Arp et al., 2022). Y, en la detección de anomalías en series temporales, algunas convenciones de puntuación populares inflan el rendimiento; la evaluación debe definirse con cuidado (Kim et al., 2022).

6.3 Carga de falsas alarmas

Una detección solo es útil si los operadores pueden actuar a partir de sus alertas. Mida las falsas alarmas reproduciendo tráfico benigno representativo durante un periodo suficientemente largo y contando las alertas; después, exprese la tasa por turno o por operador y con un intervalo; para recuentos de eventos raros es adecuado el intervalo exacto de Poisson. Combínela con la tasa base de eventos reales: cuando los ataques reales son raros, incluso una tasa baja de falsas alarmas significa que la mayoría de las alertas son falsas. Acuerde con operaciones una carga aceptable antes de la prueba (por ejemplo, «no más de una investigación por turno de noche»), para que el resultado pueda aprobar o suspender.

6.4 Simulacros y ejercicios

Los simulacros de operación manual, los ejercicios de recuperación y los ejercicios de mesa ponen a prueba a las personas y los procedimientos. Las recomendaciones del NIST sobre planificación de contingencias tratan las pruebas, la formación y los ejercicios como un ciclo con objetivos documentados y resultados posteriores a la acción (NIST SP 800-34 Rev. 1). Para evaluar si la formación mejoró el desempeño, compare a las mismas personas antes y después (un diseño pareado), informe de la mejora media con un intervalo y examine las diferencias individuales: una mejora media puede ocultar a un operador que no mejoró nada. Las amenazas a la validez son serias en los simulacros: los participantes aprenden el escenario (efecto de la práctica), saben que se les observa y suelen ser el personal más dispuesto. Varíe los escenarios, incluya turnos de noche y personal con menos experiencia, y no trate un buen simulacro como prueba de preparación.

6.5 Diseño seguro de las pruebas y reglas de enfrentamiento

Toda prueba cerca de una planta en funcionamiento necesita reglas de enfrentamiento escritas: el alcance (sistemas, horarios), los sistemas excluidos, las técnicas permitidas, las condiciones de parada (cualquier cambio inesperado del proceso, cualquier alarma que los operadores no puedan explicar), la autoridad designada para detenerla, las comunicaciones, la vuelta atrás y el tratamiento de la evidencia. El responsable de operaciones las firma. Las pruebas que inyectan órdenes deben usar instalaciones de prueba o simuladores siempre que sea posible; las pruebas en la planta en vivo deben ser de solo lectura o usar marcadores benignos acordados previamente. Se aplican los principios éticos del capítulo 4: la prueba no debe trasladar riesgo a los clientes sin protegerlos.

6.6 Ejemplo resuelto: una regla de detección nueva y un simulacro (sintético)

El proveedor de detección gestionada de Merrow Water propone una regla para detectar escrituras no autorizadas de puntos de consigna. El especialista diseña una evaluación en la instalación de prueba: 20 escenarios inyectados en tres familias, 336 horas de tráfico benigno de Hollin reproducido y un simulacro de dosificación manual con seis operadores antes y después de un nuevo módulo de formación. El responsable de operaciones acordó de antemano los criterios de aceptación: un límite inferior de detección de al menos 0,80 en conjunto, sin ninguna familia por debajo de 0,50 como estimación puntual; no más de una falsa alarma por turno de noche en promedio; y una mejora del tiempo de dosificación manual cuyo intervalo excluya el cero.

6.7 Actividad práctica: qué muestra la evaluación

# Lab 6 - what a controlled evaluation can and cannot show (offline, standard library only)
# Synthetic: Merrow Water tests a new detection rule for unauthorised setpoint writes on a test rig,
# replays two weeks of benign plant traffic, and times a manual-operation drill before and after training.
import math
def wilson(k, n, z=1.96):
    p = k / n; d = 1 + z*z/n
    c = (p + z*z/(2*n)) / d; h = z*math.sqrt(p*(1-p)/n + z*z/(4*n*n)) / d
    return c - h, c + h
def pois_cdf(k, mu): return sum(math.exp(-mu) * mu**i / math.factorial(i) for i in range(k + 1))
def pois_ci(k, a=0.05):  # exact (Garwood) interval by bisection
    def solve(f, lo, hi):
        for _ in range(200):
            mid = (lo + hi) / 2
            if f(mid): lo = mid
            else: hi = mid
        return (lo + hi) / 2
    lower = 0.0 if k == 0 else solve(lambda m: 1 - pois_cdf(k - 1, m) < a/2, 0, 10*k + 10)
    upper = solve(lambda m: pois_cdf(k, m) > a/2, 0, 10*k + 10)
    return lower, upper
# 1. Detection on injected scenarios, split by technique family
RESULTS = {"direct HMI write": (9, 9), "engineering-workstation download": (6, 7), "slow drift via historian tag": (2, 4)}
k = sum(a for a, b in RESULTS.values()); n = sum(b for a, b in RESULTS.values())
lo, hi = wilson(k, n); print(f"overall detected {k}/{n} = {k/n:.2f}, 95% Wilson [{lo:.2f}, {hi:.2f}]")
for fam, (a, b) in RESULTS.items():
    lo, hi = wilson(a, b); print(f"  {fam:34s} {a}/{b}  [{lo:.2f}, {hi:.2f}]")
# 2. How many trials, all detected, before the lower bound clears 0.90?
n = 1
while wilson(n, n)[0] < 0.90: n += 1
print(f"perfect runs needed for Wilson lower bound >= 0.90: {n}")
# 3. False alarms in 336 hours of benign replay
fa, hours = 9, 336
lo, hi = pois_ci(fa); print(f"false alarms {fa} in {hours} h = {fa/hours*24:.2f}/day, 95% CI [{lo/hours*24:.2f}, {hi/hours*24:.2f}]/day")
# 4. Drill: minutes to stable manual dosing, same six operators before and after training (paired)
before = [34, 41, 29, 52, 38, 45]; after = [22, 30, 27, 31, 25, 44]
diffs = [b - a for b, a in zip(before, after)]
md = sum(diffs) / len(diffs); sd = math.sqrt(sum((d - md)**2 for d in diffs) / (len(diffs) - 1))
t = 2.571  # two-sided 95% t quantile, 5 degrees of freedom
print(f"paired improvement mean {md:.1f} min, 95% CI [{md - t*sd/math.sqrt(6):.1f}, {md + t*sd/math.sqrt(6):.1f}]; diffs {diffs}")

Salida esperada:

overall detected 17/20 = 0.85, 95% Wilson [0.64, 0.95]
  direct HMI write                   9/9  [0.70, 1.00]
  engineering-workstation download   6/7  [0.49, 0.97]
  slow drift via historian tag       2/4  [0.15, 0.85]
perfect runs needed for Wilson lower bound >= 0.90: 35
false alarms 9 in 336 h = 0.64/day, 95% CI [0.29, 1.22]/day
paired improvement mean 10.0 min, 95% CI [2.1, 17.9]; diffs [12, 11, 2, 21, 13, 1]

Interpretación. La detección global es 17/20 = 0,85, pero el intervalo de Wilson al 95 % [0,64, 0,95] no supera el límite inferior de 0,80 acordado previamente. Por familias, se detectaron todas las escrituras directas desde la HMI, seis de siete descargas desde la estación de trabajo de ingeniería y solo dos de cuatro derivas lentas a través de una etiqueta del historiador: la estimación puntual cumple el mínimo de 0,50, pero su intervalo va de 0,15 a 0,85, así que la evaluación no puede decir si la deriva lenta se detecta de forma fiable en absoluto. Para afirmar un 90 % de detección con todos los ensayos con éxito harían falta 35 éxitos consecutivos. Las falsas alarmas se producen a razón de 0,64 al día (intervalo 0,29–1,22), unas 0,21 por turno de ocho horas, holgadamente dentro del criterio de carga. El simulacro muestra una mejora media de 10,0 minutos con un intervalo del 95 % de 2,1 a 17,9 minutos (el intervalo excluye el cero, así que se cumple el criterio), pero dos operadores mejoraron solo uno y dos minutos; merece la pena entender su experiencia antes del despliegue.

Por tanto, el resultado honesto es mixto: adoptar la regla para las escrituras directas y las descargas, con monitorización de su rendimiento, no confiar en ella para la deriva lenta y diseñar más ensayos para esa familia. Es una respuesta más útil que «un 85 % de detección».

6.8 Errores comunes y límites

Informar de una única tasa de detección sin familias ni intervalos.
Hacer demasiado pocos ensayos para respaldar la afirmación y, aun así, hacer la afirmación.
Probar con escenarios diseñados por el autor de la regla, y solo con ellos.
Medir las falsas alarmas con una reproducción corta o poco representativa.
Expresar las falsas alarmas por día para toda una red en lugar de por turno o por operador.
Tratar un simulacro con éxito como prueba de preparación.
Probar en la planta en vivo sin reglas de enfrentamiento firmadas ni condiciones de parada.

El límite de la evaluación controlada es la transferencia: una instalación de prueba no es una planta y los escenarios inyectados no son adversarios. Use la evaluación para acotar las afirmaciones y encontrar debilidades, siga midiendo durante la operación y repítala cuando cambie el entorno.

Ejercicios — capítulo 6

EX026 — Intervalos y tamaño de muestra. Objetivo: relacionar las afirmaciones con el número de ensayos. Entradas: las funciones del Lab 6. Restricciones: intervalos de Wilson al 95 %. Pasos: (1) calcule el intervalo para 19/20; (2) halle el número de éxitos consecutivos necesarios para un límite inferior de 0,80; (3) halle los ensayos necesarios para un límite inferior de 0,90 si se produce exactamente un fallo; (4) explique a un directivo por qué «lo probamos 20 veces» no basta para afirmar un 90 %. Evidencia esperada: cifras y un párrafo. Rúbrica: 3 = 19/20 → [0,76, 0,99], 16 éxitos, 53 ensayos con un fallo, explicación en lenguaje claro; 2 = una cifra errónea; 1 = aproximación normal usada sin comentarios; 0 = nada.

EX027 — Plan de pruebas para la deriva lenta. Objetivo: diseñar ensayos para la familia más débil. Entradas: el resultado de la deriva lenta. Restricciones: solo en la instalación de prueba; los escenarios deben variar la velocidad, la duración y la etiqueta objetivo; incluya escenarios no escritos por el autor de la regla. Pasos: (1) defina la afirmación que se va a probar; (2) elija el número de ensayos; (3) enumere las variaciones de los escenarios; (4) defina el criterio de aprobado o suspenso y qué hará si no se cumple. Evidencia esperada: plan. Rúbrica: 3 = afirmación explícita y número de ensayos justificado con un cálculo de intervalos, autoría independiente de los escenarios, variaciones realistas, decisión acordada previamente; 2 = número no justificado; 1 = reutiliza los cuatro escenarios; 0 = nada.

EX028 — Carga de alarmas. Objetivo: expresar las falsas alarmas en las unidades de los operadores y combinarlas con las tasas base. Entradas: 0,64 falsas alarmas al día; suponga que las escrituras no autorizadas reales ocurren aproximadamente una vez cada dos años; detección de 0,85. Restricciones: tres turnos de ocho horas al día. Pasos: (1) falsas alarmas por turno y por año; (2) alertas verdaderas esperadas por año; (3) proporción de alertas que son verdaderas; (4) qué significa esto para el procedimiento de respuesta. Evidencia esperada: cálculo y un párrafo. Rúbrica: 3 = unas 0,21 por turno y 234 al año, unas 0,43 alertas verdaderas al año, alrededor del 0,2 % de alertas verdaderas, un procedimiento que haga cada investigación rápida y barata; 2 = aritmética correcta, falta la implicación; 1 = confunde las tasas; 0 = nada.

EX029 — Validez del simulacro. Objetivo: criticar la evaluación de un simulacro. Entradas: el resultado pareado de los seis operadores. Restricciones: nombre al menos cuatro amenazas a la validez. Pasos: enumere las amenazas, el sentido en que cada una sesgaría el resultado y un cambio de diseño para cada una. Evidencia esperada: tabla. Rúbrica: 3 = efecto de la práctica, efecto de la observación, selección del personal dispuesto, mismo escenario, muestra pequeña, día frente a noche; sentidos indicados; cambios concretos; 2 = amenazas sin sentidos; 1 = genérico; 0 = nada.

EX030 — Reglas de enfrentamiento. Objetivo: redactar condiciones de prueba seguras. Entradas: una propuesta de verificar en la planta en vivo de Fenley que la nueva regla alerta ante una escritura de punto de consigna inocua y acordada previamente (de 1,80 a 1,81 mg/L). Restricciones: operaciones tiene la autoridad; los clientes no deben verse afectados. Pasos: redacte el alcance, el momento, los roles, las condiciones de parada, las comunicaciones, la vuelta atrás y el tratamiento de la evidencia. Evidencia esperada: reglas de enfrentamiento de una página. Rúbrica: 3 = aprobación de operaciones, momento de baja demanda, condiciones de parada y autoridad explícitas, verificación independiente de la dosis, vuelta atrás, equipo de gestión de alertas avisado sin informar a los analistas de detección si la detección a ciegas forma parte de la prueba, evidencia registrada; 2 = falta un elemento; 1 = sin condiciones de parada; 0 = nada.

Síntesis del capítulo

La evaluación controlada convierte los controles supuestos en controles medidos. Inyecte eventos conocidos en instalaciones de prueba y simuladores, informe de la detección por familia con intervalos de Wilson y planifique el número de ensayos según las afirmaciones que quiera hacer. Mida las falsas alarmas durante periodos representativos y expréselas en las unidades de los operadores junto a las tasas base. Evalúe los simulacros con comparaciones pareadas, examine a las personas individualmente y diseñe contra los efectos de la práctica y de la selección. Pruebe cerca de la planta en vivo solo con reglas de enfrentamiento escritas y firmadas. El resultado honesto de una evaluación suele ser mixto; indique exactamente para qué usos es adecuado un control.