OpenCyber Academy
Investigación doctoral · Capítulo 5 · Español
Código del curso: OCA-206Capítulo 05: OCA-206-C005

Capítulo 5 — Estudio principal y validación independiente

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 05 publicada. Mapa, ejemplo, EX027.

flowchart TD
  N0["Resultados de aprendizaje y conexión"]
  N1["5.1 Diseño pareado"]
  N2["5.2 Tres tipos de incertidumbre"]
  N3["5.3 Validación independiente en el banco de pruebas"]
  N4["5.4 La revisión ciega por parte de operadores"]
  N5["5.5 Redacción honesta de resultados mixtos"]
  N6["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX027"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje y conexión"]
  N1["5.1 Diseño pareado"]
  N2["5.2 Tres tipos de incertidumbre"]
  N3["5.3 Validación independiente en el banco de pruebas"]
  N4["5.4 La revisión ciega por parte de operadores"]
  N5["5.5 Redacción honesta de resultados mixtos"]
  N6["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX027"]

[Resultados de aprendizaje y conexión]
    |
    v
[5.1 Diseño pareado]
    |
    v
[5.2 Tres tipos de incertidumbre]
    |
    v
[5.3 Validación independiente en el banco de pruebas]
    |
    v
[5.4 La revisión ciega por parte de operadores]
    |
    v
[5.5 Redacción honesta de resultados mixtos]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX027]

Resultados de aprendizaje y conexión

Después de este capítulo usted podrá (1) diseñar un experimento pareado con números aleatorios comunes, (2) informar una incertidumbre que separe el ruido de la simulación de la incertidumbre del modelo, (3) validar en un segundo contexto independiente, (4) incorporar una revisión ciega por parte de operadores y (5) escribir un párrafo de resultados honesto, incluidos los resultados mixtos. Ejecuta el plan pilotado en el capítulo 4 y produce las afirmaciones que el capítulo 6 atacará.

5.1 Diseño pareado

Al comparar dos configuraciones de detector, ejecute ambas con las mismas semillas aleatorias (números aleatorios comunes, que es una técnica de simulación estándar). La diferencia por semilla elimina el ruido compartido y estrecha los intervalos de confianza. El laboratorio 5 compara k = 0,8 con k = 0,6 en dos variantes de planta: la planta A, con una ganancia de caudal de entrada del ataque de 0,05, y la planta B, un tanque mayor en el que la misma manipulación de la bomba produce solo 0,02 unidades por paso.

# Lab 5 (synthetic): paired comparison of detection delay on two plant models with common random numbers + bootstrap CI.
import random
def delay(seed, k, gain):
    rng = random.Random(seed); true, est, s = 50.0, 50.0, 0.0
    for t in range(700):
        inflow = 1.0 + rng.gauss(0, 0.05) + (gain if t >= 300 else 0.0)
        true += inflow - 0.02*true
        lvl = 50.0 + rng.gauss(0, 0.3) if t >= 300 else true + rng.gauss(0, 0.3)
        est += inflow + rng.gauss(0, 0.02) - 0.02*est
        s = max(0.0, s + abs(lvl - est) - k)
        if s > 6.0 and t >= 300: return t - 300
    return 400
for plant, gain in (("A", 0.05), ("B", 0.02)):
    diffs = [delay(i, 0.8, gain) - delay(i, 0.6, gain) for i in range(200)]
    rng = random.Random(7); boots = sorted(sum(rng.choice(diffs) for _ in diffs)/len(diffs) for _ in range(2000))
    print(f"plant {plant}: mean delay(k=0.8)-delay(k=0.6)={sum(diffs)/len(diffs):.1f} steps, 95% CI [{boots[50]:.1f}, {boots[1949]:.1f}]")

Salida esperada:

plant A: mean delay(k=0.8)-delay(k=0.6)=6.9 steps, 95% CI [6.5, 7.4]
plant B: mean delay(k=0.8)-delay(k=0.6)=45.4 steps, 95% CI [38.4, 53.0]

La robustez elegida en el capítulo 4 cuesta unos 7 pasos en la planta A, pero unos 45 pasos en la planta B, donde la señal del ataque es más débil. Las ejecuciones no detectadas se limitan a 400 pasos (censura por la derecha); por tanto, la media de la planta B es una cota inferior del coste real. El intervalo bootstrap describe solo el ruido de la simulación: no dice nada sobre si el modelo del tanque representa alguna planta real.

5.2 Tres tipos de incertidumbre

Separe la incertidumbre estocástica (variación de una semilla a otra, recogida por el intervalo), la incertidumbre paramétrica (coeficiente del orificio, niveles de ruido, sesgo de calibración, explorada mediante análisis de sensibilidad como en el laboratorio 6) y la incertidumbre estructural (¿es un balance de masa de un solo tanque el modelo correcto?). Solo el segundo banco de pruebas aborda la tercera. En el Setpoint Study, el intervalo del laboratorio 5 cubre solo el primer tipo. El laboratorio 6 cubre parte del segundo, mediante el sesgo de calibración y la holgura. El banco de pruebas T2 es la primera evidencia sobre el tercero, y su menor exhaustividad muestra que el caudalímetro honesto y sin retardo del modelo era demasiado simple. Informe cada tipo en su propio lugar para que los lectores no confundan uno con otro.

5.3 Validación independiente en el banco de pruebas T2

T2 difiere del modelo de la planta A en aspectos que importan: dos tanques acoplados, un caudalímetro distinto con su propio retardo y un ciclo de barrido del PLC de 100 ms. Los umbrales se congelan a partir del ajuste en la planta A antes de examinar cualquier dato de T2; de lo contrario, la validación sería otro ejercicio de ajuste. Resultados sintéticos de T2: la repetición de clase A se detectó en 18 de 20 episodios (dos no detectados porque el retardo del caudalímetro ocultó manipulaciones pequeñas), una mediana de retardo mayor que en la simulación, cero falsas alarmas en 40 horas nominales y la evasión de clase B confirmada en los 10 ensayos. El estudio respalda así H1 con una salvedad (menor exhaustividad con un instrumento con retardo) y confirma H4.

5.4 La revisión ciega por parte de operadores

Diez operadores sintéticos (O01–O10) revisaron cronologías de alarmas sin saber qué detector las había producido. Ocho prefirieron la alarma del CUSUM porque llegaba con una tendencia del residuo que podían interpretar; dos encontraron abstracto un «residuo» y querían que se mostrara en la HMI el nivel predicho. El hallazgo trata de la interpretabilidad, no de la exactitud de la detección, y cambia el diseño: la tesis recomienda mostrar el nivel predicho frente al informado. Diez participantes no pueden respaldar una afirmación estadística sobre poblaciones de operadores, y el estudio no la hace. La revisión muestra que la interpretabilidad es una cuestión de diseño que vale la pena medir más adelante con personal real de salas de control que dé su consentimiento. Registre el protocolo, el método de cegamiento y la razón declarada por cada operador, de modo que la recomendación pueda rastrearse hasta lo que se dijo y no hasta un recuento.

5.5 Redacción honesta de resultados mixtos

«En el modelo sintético de la planta A y en el banco de pruebas sintético T2, un CUSUM de residuos de balance de masa detectó ataques de repetición de sensores de clase A que una alarma de banda de ±1,5 no detectó, sin ejecuciones con falsa alarma en operación nominal. La exhaustividad cayó del 100 % en la simulación al 90 % en T2 debido al retardo del caudalímetro. La robustez frente a un sesgo de calibración de 0,4 unidades exigió una holgura mayor, que alargó el retardo de detección unos 7 pasos en la planta A y al menos 45 en la planta B, de señal más débil. Cuando el atacante controlaba también el caudalímetro (clase B), la detección falló en todos los ensayos, como se había predicho».

5.6 Errores comunes y límites

Semillas independientes en comparaciones pareadas; ajuste en el banco de pruebas de validación; ocultar ejecuciones censuradas; presentar los intervalos como incertidumbre del mundo real; omitir la condición de fallo en el resumen. Cada punto tiene una comprobación concreta en este estudio: el laboratorio 5 usa números aleatorios comunes, los umbrales de T2 se congelan a partir del ajuste en la planta A, las ejecuciones limitadas se informan como censuradas en 400 pasos, el intervalo bootstrap se etiqueta como ruido de la simulación y el resumen indica que la clase B evadió la detección en todos los ensayos. Un revisor debería poder confirmar cada comprobación a partir del archivo.

Ejercicios — capítulo 5

Síntesis del capítulo

Los diseños pareados afinan las comparaciones; la incertidumbre tiene tres tipos y los intervalos recogen solo uno; validar significa umbrales congelados en un contexto independiente; y un párrafo de resultados honesto lleva consigo sus salvedades y su condición de fallo.

Siga estudiando — capítulo 05 de 08

← Capítulo 04 (borrador) · Índice de capítulos del curso · Capítulo 06 (borrador) →

Respuestas desarrolladas

EX027. Sustituir la semilla pareada de k = 0,6 por la semilla i+1000 da en la planta A 6,9 pasos, IC [5,3, 8,5] (anchura 3,2), frente a [6,5, 7,4] pareado (anchura 0,9); en la planta B 47,3, IC [36,5, 58,6], frente a [38,4, 53,0]. El emparejamiento estrecha los intervalos porque el ruido compartido se cancela.

EX028. Estocásticas: extracciones del ruido del sensor, ruido del caudal de entrada. Paramétricas: coeficiente del orificio, sesgo de calibración. Estructurales: modelo de un solo tanque, ignorar el retardo del caudalímetro.

EX029. «La holgura k = 0,8 y el umbral h = 6,0 se fijan, se les calcula un hash y se registran antes de cargar cualquier dato de ataque de T2». Inspeccionar datos de ataque de T2 antes de congelar, o cambiar k después de ver los resultados de T2, invalida la validación.

EX030. Las ejecuciones no detectadas fijadas en 400 convierten la media en una cota inferior. Informe por separado la proporción de detección y la mediana del retardo entre los detectados, o una curva de tiempo hasta la detección de estilo Kaplan–Meier.

EX031. Recomendación: mostrar en la HMI el nivel predicho frente al informado. Limitación: operadores sintéticos; sus preferencias pueden no predecir tiempos de respuesta reales.

EX032. Ejemplo: «H1 no quedó respaldada en T2: el CUSUM de residuos detectó 9 de 20 episodios de clase A, frente a 100 de 100 en la simulación. Un retardo del caudalímetro de varios segundos produjo transitorios del residuo que exigieron una holgura mayor, la cual ocultó después manipulaciones pequeñas. Las falsas alarmas siguieron en cero. Concluimos que el simulador sobrestimó la relación señal/ruido y que la dinámica de los instrumentos debe modelarse antes de hacer afirmaciones de despliegue».