Capítulo 37 — Seminario de revisión de evidencias
Mapa de la lección
Lección 37 publicada. Mapa, ejemplo, EX074.
flowchart TD
N0["Resultados de aprendizaje y conexión"]
N1["37.1 Una lista de comprobación para la revisión"]
N2["37.2 Muestras pequeñas e intervalos"]
N3["37.4 Revisión por pares"]
N4["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX074"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje y conexión"]
N1["37.1 Una lista de comprobación para la revisión"]
N2["37.2 Muestras pequeñas e intervalos"]
N3["37.4 Revisión por pares"]
N4["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX074"]
[Resultados de aprendizaje y conexión]
|
v
[37.1 Una lista de comprobación para la revisión]
|
v
[37.2 Muestras pequeñas e intervalos]
|
v
[37.4 Revisión por pares]
|
v
[Síntesis del capítulo]
|
v
[Ejemplo resuelto] --> [Ejercicio EX074]
Resultados de aprendizaje y conexión
Al terminar este seminario, usted podrá (1) revisar críticamente un estudio, un informe o una afirmación de un proveedor sobre seguridad con una lista de comprobación estructurada; (2) cuantificar la incertidumbre de resultados con muestras pequeñas mediante intervalos de confianza; (3) dar y recibir una revisión por pares que mejore el trabajo; y (4) decidir cuánto peso merece una evidencia en su proyecto final. Se apoya en los capítulos 15, 18, 27 y 33 y prepara la implementación y la evaluación del proyecto final (capítulos 38–39).
37.1 Una lista de comprobación para la revisión
Para cualquier estudio, informe o afirmación: Pregunta: ¿qué se afirma exactamente? Datos: ¿de dónde proceden, cuántos son, qué tan representativos? Método: ¿podría repetirse? ¿hubo una comparación o un control? Resultados: ¿se informan las incertidumbres? ¿cuadran los números? Validez: ¿de constructo, interna, externa, fiabilidad (capítulo 18)? Intereses: ¿quién lo financió o lo elaboró, y qué preferiría encontrar? Límites: ¿el trabajo los declara y sus conclusiones se mantienen dentro de ellos? En seguridad, entre las debilidades comunes figuran la evaluación con datos poco realistas, el olvido de la tasa base y resultados que no se trasladan a entornos reales (Arp et al., 2022; Sommer and Paxson, 2010). En la detección de anomalías en series temporales, Kim y sus colegas mostraron que un protocolo de evaluación muy extendido puede hacer que incluso puntuaciones aleatorias parezcan buenas (Kim et al., 2022).
37.2 Muestras pequeñas e intervalos
La evidencia de los servicios críticos procede a menudo de pocas observaciones: cinco simulacros de restauración, veinte ejercicios, una docena de incidentes. Una estimación puntual («el 85 % de los simulacros cumplió el objetivo») oculta su grado de incertidumbre. Un intervalo de confianza da un rango de valores plausibles. Dos enfoques habituales para una proporción: el bootstrap, que remuestrea muchas veces los datos observados (Efron, 1979), y el intervalo de puntuación de Wilson, una fórmula que se comporta bien con muestras pequeñas y con proporciones cercanas a 0 o a 1 (Wilson, 1927). El bootstrap es general, pero se comporta mal con tamaños pequeños y cerca de los límites: nunca puede producir un valor por encima del máximo observado, de modo que con 4 éxitos de 5 puede sugerir un límite superior del 100 %.
37.3 Ejemplo resuelto y Lab 14 (sintético)
Este caso es sintético. El CEDC realizó 20 simulacros de restauración; 17 cumplieron el objetivo de 4 horas. Un operador más pequeño realizó 5; 4 lo cumplieron.
# Lab 14 - bootstrap confidence interval for a restore-drill success rate (synthetic, seed 14, offline)
import random
random.seed(14)
drills = [1] * 17 + [0] * 3 # 20 restore drills, 17 met the 4-hour objective
obs = sum(drills) / len(drills)
boots = sorted(sum(random.choice(drills) for _ in drills) / len(drills) for _ in range(10_000))
lo, hi = boots[249], boots[9749]
print(f"observed success = {obs:.2f}; 95% bootstrap interval = [{lo:.2f}, {hi:.2f}]")
small = [1, 1, 1, 0, 1]
boots = sorted(sum(random.choice(small) for _ in small) / len(small) for _ in range(10_000))
print(f"with only 5 drills (4 met): [{boots[249]:.2f}, {boots[9749]:.2f}]")
from math import sqrt
def wilson(k, n, z=1.96):
p = k / n; d = 1 + z*z/n
c = (p + z*z/(2*n)) / d; h = z * sqrt(p*(1-p)/n + z*z/(4*n*n)) / d
return c - h, c + h
print("Wilson 95%% for 17/20: [%.2f, %.2f]; for 4/5: [%.2f, %.2f]" % (*wilson(17, 20), *wilson(4, 5)))
Salida esperada:
observed success = 0.85; 95% bootstrap interval = [0.70, 1.00]
with only 5 drills (4 met): [0.40, 1.00]
Wilson 95% for 17/20: [0.64, 0.95]; for 4/5: [0.38, 0.96]
Ambos métodos dicen en esencia lo mismo: 17 de 20 es compatible con una tasa de éxito real situada entre unos dos tercios y un 95 % aproximadamente; 4 de 5 es compatible con cualquier valor desde menos del 40 % hasta casi siempre. El límite superior de 1,00 del bootstrap es un artefacto de remuestrear datos que no contienen ningún valor superior a 1; aquí el intervalo de Wilson es la mejor opción. Para el consejo de administración, el mensaje es: «tenemos evidencia buena, pero no concluyente, de que las restauraciones suelen cumplir las cuatro horas; que fallara una de cada cuatro no nos sorprendería». Cinco simulacros no pueden respaldar una afirmación de fiabilidad.
37.4 Revisión por pares
Los grupos del seminario intercambian los capítulos de evidencias de sus proyectos finales. Una revisión útil indica qué afirma el trabajo, qué resulta convincente, los dos o tres problemas más importantes (cada uno con una corrección sugerida) y las cuestiones menores. Revise el trabajo, no a la persona; sea específico («la afirmación sobre el tiempo de restauración se basa en un solo simulacro en un entorno de pruebas; ¿puede añadir las condiciones del simulacro y un intervalo?»). Los autores responden punto por punto: aceptado y cambiado, o rechazado con razones. Al comentario sobre el tiempo de restauración, por ejemplo: «Añadidas las condiciones del simulacro; con un solo simulacro no es posible calcular un intervalo, así que la afirmación se presenta ahora como una única observación».
37.5 Errores comunes y límites
- Informar de una proporción sin su tamaño de muestra ni su intervalo.
- Tratar los bancos de pruebas de los proveedores como evidencia independiente.
- Revisiones que solo elogian o solo atacan.
- Ignorar cómo los protocolos de evaluación pueden inflar los resultados.
El Lab 14 muestra el primero: «85 %» sin «de 20» y sin un intervalo oculta que la tasa real puede ser del 64 %. El banco de pruebas propio de un proveedor de detectores (EX074) es el segundo. Una revisión que solo dice «gran trabajo» no ayuda a nadie. El cuarto es lo que señalan Kim y sus colegas sobre los protocolos de evaluación. «La tasa de éxito de la restauración se basa en los 17 de 20 del Lab 14» nombra la evidencia; «los resultados parecen optimistas», no.
Ejercicios — capítulo 37
EX073 — ¿Cuántos simulacros? Objetivo: relacionar el tamaño de la muestra con la precisión. Entradas: la función de Wilson del Lab 14. Pasos: calcule el intervalo de Wilson al 95 % para 34/40 y 85/100 y comente cómo se acumula la evidencia. Evidencia esperada: dos intervalos y un comentario. Rúbrica: 3 = aproximadamente [0.71, 0.93] y [0.77, 0.91], con una anchura que disminuye más o menos con la raíz cuadrada de n; recomienda un programa de simulacros; 2 = solo los intervalos; 1 = uno; 0 = nada.
EX074 — Revise una afirmación. Objetivo: aplicar la lista de comprobación. Entradas: un folleto de un proveedor (sintético): «Nuestro detector de anomalías de TO alcanzó una exactitud del 99,7 % en un conjunto de datos público de un banco de pruebas de agua». Pasos: aplique la lista de comprobación y enumere cuatro preguntas para el proveedor. Evidencia esperada: revisión y preguntas. Rúbrica: 3 = la exactitud engaña con datos desequilibrados (capítulo 27), realismo y transferibilidad del banco de pruebas, protocolo de evaluación, intereses; preguntas sobre precisión/exhaustividad en el umbral de operación, resultados en despliegues reales, falsas alarmas por día, evaluación independiente; 2 = parcial; 1 = genérica; 0 = nada.
Síntesis del capítulo
La revisión de evidencias es escepticismo estructurado: pregunta, datos, método, resultados, validez, intereses y límites. Informe de los resultados de muestras pequeñas con intervalos (Wilson para proporciones) y deje que la revisión por pares mejore el trabajo siendo específica, priorizada y respetuosa.
Siga estudiando — capítulo 37 de 40
← Capítulo 36 · Índice de capítulos del curso · Capítulo 38 →
Continúe con la siguiente lección escrita.