Capítulo 37 — Seminario de revisión de evidencia | Grado Seguridad de OT, IoT y sistemas ciberfísicos

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 37 publicada. Mapa, ejemplo, EX109.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["37.1 Una escalera de evidencia"]
  N2["37.2 Leer un artículo de medición"]
  N3["37.3 Leer una revisión bibliográfica"]
  N4["37.4 Revisión por pares estructurada"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX109"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["37.1 Una escalera de evidencia"]
  N2["37.2 Leer un artículo de medición"]
  N3["37.3 Leer una revisión bibliográfica"]
  N4["37.4 Revisión por pares estructurada"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX109"]

[Resultados de aprendizaje]
    |
    v
[37.1 Una escalera de evidencia]
    |
    v
[37.2 Leer un artículo de medición]
    |
    v
[37.3 Leer una revisión bibliográfica]
    |
    v
[37.4 Revisión por pares estructurada]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX109]

Resultados de aprendizaje

Usted podrá (1) revisar críticamente una afirmación publicada sobre seguridad de TO; (2) graduar la calidad de la evidencia, desde la anécdota hasta la medición replicada; (3) comprobar si las conclusiones se derivan de los datos presentados; y (4) dar y recibir una revisión por pares estructurada.

37.1 Una escalera de evidencia

De la más débil a la más fuerte: afirmación de marketing de un fabricante; anécdota aislada; informe de caso de una fuente primaria; medición sistemática en un sistema; medición replicada en varios sistemas o por equipos independientes. Un seminario pregunta ante cada afirmación: ¿en qué peldaño está y va la conclusión más allá de él? La revisión de Maya del informe de un compañero aplica la escalera: «CUSUM elimina las falsas alarmas en la calefacción urbana» pretende un resultado replicado, pero la evidencia es una sola medición sistemática con datos sintéticos, 0 de 40 ejecuciones. Ese peldaño respalda «no se observaron falsas alarmas, cota superior de aproximadamente un 8,8 %», no la eliminación, y no dice nada sobre plantas reales.

37.2 Leer un artículo de medición

El estudio de Mirai de Antonakakis et al. (USENIX Security 2017) es un buen texto para un seminario: combina varias fuentes de datos —escaneos de un telescopio de red, honeypots, datos de DNS y datos de las víctimas de los ataques— para estimar el tamaño y el comportamiento de la infección. Pregunte: ¿qué ve y qué no ve cada fuente? ¿Cómo se contaron los dispositivos infectados cuando cambian las direcciones IP? ¿Qué conclusiones dependen de una sola fuente? Para el seminario de LDHP, el ejercicio útil es tomar una conclusión, como la proporción de infecciones a través de credenciales de Telnet por defecto, y nombrar la fuente en la que se basa.

37.3 Leer una revisión bibliográfica

Giraldo et al. (ACM Computing Surveys, 2018) clasifican los trabajos de detección basada en la física. La fortaleza de una revisión es su amplitud; su riesgo es que comunica lo que afirman los artículos en lugar de volver a probarlo. Úsela para encontrar artículos primarios y debilidades recurrentes, como los modelos de atacante incoherentes. Para el estudio de detectores de Maya, Giraldo et al. remitieron a la evaluación basada en el impacto de Urbina et al., que orientó su decisión de variar la pendiente del ataque en lugar de comunicar una sola tasa de detección. La revisión también le advirtió de que muchos artículos sobre detectores no usan ningún modelo de atacante coherente, y por eso su prerregistro nombra la rampa de 0,08 °C por muestra como su clase de ataque antes de cualquier ejecución.

37.4 Revisión por pares estructurada

Formato de la revisión: resumen con sus propias palabras; principales fortalezas; preocupaciones mayores (validez, comparaciones que faltan, conclusiones exageradas); cuestiones menores; una recomendación. Comente el trabajo, no a la persona. La revisión de Maya del informe de CUSUM de su compañero sigue exactamente este orden. Su resumen reformula la afirmación, la fortaleza nombra el script reproducible con semillas, su preocupación mayor es que 0 de 40 ejecuciones sintéticas no pueden respaldar «elimina», y su cuestión menor es el retardo expresado en muestras en lugar de en minutos. La recomendación, revisar la afirmación y añadir la cota de aproximadamente un 8,8 %, le dice al autor qué cambiar. Separar las preocupaciones mayores de las menores muestra qué cambio es imprescindible para que el informe se sostenga.

Ejemplo resuelto (LDHP sintética)

El informe de un compañero afirma que «CUSUM elimina las falsas alarmas en la calefacción urbana». La revisión de Maya: resumen; fortaleza: script reproducible con semillas; preocupación mayor: 0/40 ejecuciones sintéticas respaldan «no se observaron falsas alarmas, cota superior ≈ 8,8 %», no la eliminación, y no se probó nada con datos reales de planta; menor: la unidad del retardo (muestras) no se convierte a minutos; recomendación: revisar la afirmación y añadir la cota.

Caso sintético — Lakeside District Heating Plant. El informe del compañero es inventado.

Errores y límites

La revisión por pares comprueba el razonamiento, no la verdad; los revisores también pasan por alto errores. El prestigio de una publicación no es evidencia de que sea correcta.

Ejercicios — capítulo 37

EX109 — Situar afirmaciones en la escalera. Sitúe en la escalera de evidencia: (a) un folleto de un fabricante que dice «bloquea el 99,9 % de los ataques a ICS», (b) AA21-042A.
Mostrar criterios de evaluación
Rúbrica: 3 = (a) afirmación de marketing, (b) informe de caso primario; 2 = uno; 1 = invertidos; 0 = nada.
EX110 — Cuestionar una conclusión de una sola fuente. Identifique una conclusión del estudio de Mirai que sería más débil si se basara solo en datos de honeypots, y por qué.
Mostrar criterios de evaluación
Rúbrica: 3 = tamaño de la infección/estimación de la población; los honeypots solo ven los dispositivos que contactan con ellos; 2 = parcial; 1 = vago; 0 = nada.
EX111 — Escribir una preocupación mayor. Escriba la preocupación mayor para un artículo que evalúa un detector en una sola planta simulada con umbrales ajustados a mano.
Mostrar criterios de evaluación
Rúbrica: 3 = generalización y sesgo por ajustar con los datos de prueba, con la corrección solicitada; 2 = uno; 1 = comentario de estilo; 0 = nada.

Síntesis del capítulo

La revisión de la evidencia pregunta cuán fuerte es la evidencia, si la conclusión se ajusta a ella y cómo decirlo de forma constructiva.

Siga estudiando — capítulo 37 de 40

← Capítulo 36 (borrador) · Índice de capítulos del curso · Capítulo 38 (borrador) →