OpenCyber Academy
Grado · Capítulo 33 · Español
Código del curso: OCA-114Capítulo 33: OCA-114-C033

Capítulo 33 — Métodos de investigación II

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 33 publicada. Mapa, ejemplo, EX097.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["33.1 Prerregistro"]
  N2["33.2 Tamaño muestral para una proporción"]
  N3["33.3 Tamaños del efecto"]
  N4["33.4 Paquete de replicación"]
  N5["33.5 Resultados negativos"]
  N6["33.6 El control de versiones como cuaderno de labora"]
  N7["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX097"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["33.1 Prerregistro"]
  N2["33.2 Tamaño muestral para una proporción"]
  N3["33.3 Tamaños del efecto"]
  N4["33.4 Paquete de replicación"]
  N5["33.5 Resultados negativos"]
  N6["33.6 El control de versiones como cuaderno de labora"]
  N7["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX097"]

[Resultados de aprendizaje]
    |
    v
[33.1 Prerregistro]
    |
    v
[33.2 Tamaño muestral para una proporción]
    |
    v
[33.3 Tamaños del efecto]
    |
    v
[33.4 Paquete de replicación]
    |
    v
[33.5 Resultados negativos]
    |
    v
[33.6 El control de versiones como cuaderno de labora]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX097]

Resultados de aprendizaje

Usted podrá (1) diseñar un estudio de simulación replicable con hipótesis prerregistradas; (2) elegir tamaños muestrales para estimar proporciones; (3) comunicar tamaños del efecto e intervalos en lugar de solo la significación; y (4) escribir una sección de amenazas a la validez que un revisor acepte.

33.1 Prerregistro

Escribir las hipótesis, las medidas, el análisis y las reglas de parada antes de ejecutar el experimento impide ajustar el análisis al resultado. Para un estudio de detectores: «H1: la proporción de falsas alarmas de CUSUM en 300 ejecuciones tranquilas será menor que la de la banda; medida principal: ejecuciones con alguna falsa alarma; análisis: diferencia de proporciones con intervalo al 95 %». En el proyecto final de Maya, la regla de parada es el número fijo de semillas: 300 ejecuciones tranquilas y 300 con ataque, sin añadir ejecuciones adicionales si el primer resultado parece débil. Fijar la medida, ejecuciones con alguna falsa alarma, también le impide cambiar después a otra medida que resulte favorecer a CUSUM.

33.2 Tamaño muestral para una proporción

Para estimar una proporción cercana a p con un margen de error E al 95 %, n ≈ 1,96² p(1−p)/E². Para p = 0,2 y E = 0,05, n ≈ 246. Para afirmar una tasa inferior al 1 % cuando no se observa ninguna, la regla del tres necesita n ≈ 300. Las 300 semillas tranquilas de Maya se derivan de la segunda fórmula: con 0 falsas alarmas en 300 ejecuciones, la cota superior es de aproximadamente un 1 %, que es la afirmación que ella quiere poder hacer. Cuarenta ejecuciones, como en el capítulo 25, solo podrían respaldar alrededor de un 8,8 %. Sus 300 semillas con ataque por pendiente proceden de la primera fórmula, dimensionadas para que una proporción de detección cercana a 0,8 tenga un margen de unos 5 puntos.

33.3 Tamaños del efecto

«p < 0,05» dice poco sobre el tamaño. Comunique la diferencia: banda 22,5 % frente a CUSUM 0 % de ejecuciones con falsa alarma, diferencia de 22,5 puntos (con su intervalo calculado). Los lectores pueden entonces decidir si importa en la operación. Con los números del capítulo 25, la banda dio falsas alarmas en 9 de 40 ejecuciones tranquilas y CUSUM en 0 de 40. La diferencia, 22,5 puntos, importa a los operadores porque significa una alarma molesta aproximadamente en una de cada cuatro ejecuciones, frente a ninguna observada. Un valor p solo diría que es improbable que la diferencia se deba al azar, que es el dato menos interesante sobre ella. Un operador que decide si aceptar CUSUM en HMI-1 necesita el tamaño y las cotas de cada lado.

33.4 Paquete de replicación

Publique el código, las semillas, los parámetros, la versión de Python y el comando exacto. En este libro, los laboratorios incluyen su salida verificada para que el lector pueda comprobar que una nueva ejecución coincide. El paquete de replicación de Maya para el estudio de detectores contiene lab_detect.py, los rangos de semillas (0–39 tranquilas y 1000–1039 con ataque para la ejecución del capítulo 25; 0–299 y 1000–1299 previstas para el proyecto final), los valores de umbral y de holgura, la versión de Python y la línea de comandos. Cualquiera que lo vuelva a ejecutar debería obtener exactamente 9/40 y 0/40 ejecuciones con falsa alarma; un recuento distinto significa que algo del paquete está mal, no que el resultado sea incierto.

Ejemplo resuelto (LDHP sintética)

El prerregistro del proyecto final de Maya fija: 300 semillas tranquilas y 300 con ataque, tres pendientes de ataque, umbral elegido en un conjunto de ajuste separado de 50 semillas y después congelado. Resultado principal: ejecuciones con alguna falsa alarma, la medida fijada en H1; la detección en 60 muestras es un resultado secundario. También enuncia qué resultado falsaría H1.

Caso sintético — Lakeside District Heating Plant. El plan corresponde a un estudio simulado.

33.5 Resultados negativos

Si CUSUM no supera a la banda con el umbral congelado, ese es un hallazgo publicable en una tesis de grado siempre que el método haya sido sólido. Comuníquelo con los mismos intervalos que habría usado para un resultado positivo y discuta qué hipótesis —modelo de ruido, pendiente del ataque o elección del umbral— lo explica con más probabilidad. Ocultar un resultado negativo y volver a ejecutar con nuevos ajustes hasta que algo «funcione» es la práctica que el prerregistro existe para impedir.

El umbral congelado de Maya es lo que hace creíble un resultado así.

33.6 El control de versiones como cuaderno de laboratorio

Haga commit del archivo de prerregistro antes de la primera ejecución experimental, y haga commit de los resultados con el comando exacto que los produjo. El historial de commits muestra entonces el orden de las decisiones, que es lo que comprueba un examinador cuando un resultado parece sospechosamente limpio. Para Maya, el primer commit contiene el prerregistro con el diseño de 300 semillas y la regla del umbral congelado; a continuación viene el commit del ajuste, sobre las 50 semillas separadas; después, el commit de evaluación registra el comando y las salidas. Un examinador puede confirmar así que el umbral existía antes de ejecutar cualquier semilla de evaluación.

Errores y límites

Los estudios de simulación se replican con facilidad, pero pueden no trasladarse a las plantas. Las comparaciones múltiples inflan los falsos descubrimientos; ajústelas o declare de antemano un resultado principal.

Ejercicios — capítulo 33

Síntesis del capítulo

El rigor en la investigación aplicada de TO procede del prerregistro, de muestras adecuadas, de tamaños del efecto con intervalos y de paquetes de replicación completos.

Siga estudiando — capítulo 33 de 40

← Capítulo 32 (borrador) · Índice de capítulos del curso · Capítulo 34 (borrador) →

Respuestas desarrolladas

EX097. n = 1,96² × 0,10 × 0,90 / 0,03² = 3,8416 × 0,09 / 0,0009 ≈ 384,2, es decir, unas 385 ejecuciones.

EX098. Elegir el umbral con las mismas ejecuciones usadas para la evaluación lo ajusta al ruido de esas ejecuciones y hace optimistas las estimaciones de falsas alarmas y de detección; ajustarlo con semillas separadas y congelarlo da una estimación honesta del rendimiento con datos no vistos.

EX099. H1 queda falsada si, en las 300 ejecuciones tranquilas, la proporción de ejecuciones de CUSUM con alguna falsa alarma no es menor que la de la banda, es decir, si el intervalo al 95 % de (banda − CUSUM) incluye el cero o queda por debajo de él.