Capítulo 10 — Lectura y crítica de la investigación

Mapa de la lección

Lección 10 publicada. Mapa, ejemplo, EX046.

flowchart TD
  N0["Resultados de aprendizaje y conexión"]
  N1["10.1 Tres tipos de fuente"]
  N2["10.2 Leer un estudio: primero el diseño"]
  N3["10.3 Leer un aviso"]
  N4["10.4 Leer la afirmación de un proveedor"]
  N5["10.5 Confusión y paradoja de Simpson"]
  N6["10.6 Transferencia"]
  N7["10.7 La ficha de evidencia"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX046"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje y conexión"]
  N1["10.1 Tres tipos de fuente"]
  N2["10.2 Leer un estudio: primero el diseño"]
  N3["10.3 Leer un aviso"]
  N4["10.4 Leer la afirmación de un proveedor"]
  N5["10.5 Confusión y paradoja de Simpson"]
  N6["10.6 Transferencia"]
  N7["10.7 La ficha de evidencia"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX046"]

[Resultados de aprendizaje y conexión]
    |
    v
[10.1 Tres tipos de fuente]
    |
    v
[10.2 Leer un estudio: primero el diseño]
    |
    v
[10.3 Leer un aviso]
    |
    v
[10.4 Leer la afirmación de un proveedor]
    |
    v
[10.5 Confusión y paradoja de Simpson]
    |
    v
[10.6 Transferencia]
    |
    v
[10.7 La ficha de evidencia]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX046]

Resultados de aprendizaje y conexión

Al terminar este capítulo, usted debería ser capaz de:

1. Leer un estudio publicado, un aviso oficial y una afirmación de un proveedor por lo que cada uno puede aportar a una decisión práctica.
2. Identificar el diseño de un estudio y la afirmación más fuerte que ese diseño respalda.
3. Comprobar los denominadores, las comparaciones y las definiciones de los resultados, y detectar factores de confusión como la paradoja de Simpson.
4. Juzgar si un hallazgo es transferible a su organización y a su sector.
5. Redactar una ficha de evidencia breve que indique qué muestra una fuente, qué no muestra y qué hará usted con ella.

Un especialista no necesita producir investigación, pero sí debe usarla: para elegir controles, para fijar probabilidades (capítulos 1 y 4), para discutir con los proveedores y para informar a los consejos. Este capítulo enseña a leer para decidir. Después, el capítulo 11 aplica la misma mirada crítica a la evaluación de su propio proyecto.

10.1 Tres tipos de fuente

Tabla de la lección; desplázate para ver todas las columnas →

Ninguno es automáticamente fiable ni carece de valor. Cada uno responde bien a algunas preguntas y mal a otras. Su trabajo es emparejar la fuente con la pregunta.

10.2 Leer un estudio: primero el diseño

Antes de leer los resultados, identifique el diseño, porque limita la afirmación. Una comparación antes y después en un solo emplazamiento puede mostrar que algo cambió, pero difícilmente por qué. Una comparación con un grupo de control no afectado, o una serie temporal interrumpida, respalda un lenguaje causal más fuerte. Una encuesta a víctimas no puede estimar con qué frecuencia se producen ataques en el conjunto de la población. Después compruebe: la unidad (hospital, paciente, día), el resultado y cómo se midió, la comparación (qué habría ocurrido en otro caso), la ventana temporal y el contexto.

Considere dos estudios reales del sector sanitario. Ghafur y sus colegas analizaron los datos nacionales de actividad hospitalaria en torno al ataque WannaCry de 2017 y no encontraron un cambio significativo en la actividad total del conjunto de los trusts ingleses, pero sí alrededor de un 6 % menos de ingresos al día en los hospitales infectados, una actividad perdida estimada en 5,9 millones de libras y ninguna diferencia detectada en la mortalidad, aunque señalaron que la mortalidad es una medida tosca del daño a los pacientes (Ghafur et al., 2019). Dameff y sus colegas compararon los volúmenes de los servicios de urgencias de dos hospitales vecinos de un sistema sanitario sometido a un ataque de ransomware de un mes de duración en 2021, antes, durante y después del ataque, e informaron de aumentos significativos de la ocupación, las llegadas en ambulancia y otras medidas durante el ataque (Dameff et al., 2023). Ambos son valiosos; ambos están acotados por su diseño. El primero usa datos nacionales con comparación entre trusts; el segundo es un estudio antes y después en una sola institución, por lo que no pueden excluirse por completo los cambios estacionales o locales. Ninguno dice a Merrow Health qué probabilidad hay de un ataque; ambos informan sobre lo graves y lo regionales que pueden ser las consecuencias.

Los conjuntos de datos de ámbito poblacional responden a preguntas distintas. Neprash y sus colegas usaron una base de datos de ataques de ransomware comunicados públicamente contra organizaciones prestadoras de atención sanitaria de EE. UU. y encontraron que los ataques anuales se habían más que duplicado entre 2016 y 2021 y que casi la mitad interrumpieron la prestación de la atención (Neprash et al., 2022). Como los datos son ataques comunicados públicamente, las tendencias combinan los cambios en los ataques con los cambios en la comunicación, una limitación que el diseño de los autores hace explícita y que el lector debe tener presente.

10.3 Leer un aviso

Los avisos como el aviso conjunto de CISA sobre el preposicionamiento patrocinado por Estados en las infraestructuras críticas de EE. UU. (AA24-038A, 2024) ofrecen técnicas, indicadores y mitigaciones de casos investigados. Léalos buscando: qué se observó (técnicas, sectores atacados, vectores de entrada); qué se recomienda (mitigaciones, a menudo priorizadas); y qué se infiere (intención, escala). Traduzca las técnicas observadas en preguntas sobre su propio entorno («¿lo veríamos?») en lugar de en una probabilidad. Un aviso es evidencia de que una amenaza existe y de cómo opera, no una estimación de con qué frecuencia tiene éxito.

10.4 Leer la afirmación de un proveedor

Las afirmaciones de los proveedores merecen la misma disciplina de lectura. Pregunte: ¿cuál es el resultado (¿incidentes comunicados?, ¿incidentes detectados?, ¿pérdidas?); cuál es el denominador (¿clientes, emplazamientos, años-operador?); quién está en cada grupo y por qué (autoselección, tamaño, sector); y qué efecto tendría un producto de detección sobre el resultado (más monitorización encuentra más incidentes). La investigación sobre el aprendizaje automático en seguridad enumera trampas (sesgo de muestreo, fisgoneo de datos, referencias de comparación inadecuadas, falacia de la tasa base, modelos de amenaza poco realistas) que se aplican a muchas evaluaciones de productos (Arp et al., 2022).

10.5 Confusión y paradoja de Simpson

Cuando los grupos difieren en un factor que también afecta al resultado, una comparación agregada puede apuntar en sentido contrario al de todas las comparaciones dentro de cada grupo. Es la paradoja de Simpson (Simpson, 1951). En los datos de seguridad, el tamaño es un factor de confusión frecuente: los operadores grandes tienen más sistemas, más obligaciones de notificación y más incidentes, y compran productos en proporciones distintas de las de los pequeños. El remedio es estratificar (comparar dentro de franjas de tamaño) o estandarizar (reponderar los grupos para que tengan la misma composición) y preguntarse si el resultado mide el daño o la detección.

10.6 Transferencia

Un hallazgo es transferible a su contexto solo si el mecanismo que lo produjo opera allí. La literatura formal sobre la transportabilidad pregunta qué diferencias entre poblaciones cambian el efecto (Pearl and Bareinboim, 2014); en la práctica, enumere las condiciones de las que dependía el hallazgo (tamaño, sector, notificación regulatoria, tecnología, dotación de personal) y compruebe cada una para su organización. Un hallazgo sobre la mortalidad procedente de un sistema sanitario nacional con mecanismos de desvío en toda la red puede no ser transferible a una región rural con un solo hospital.

Para el folleto del proveedor de este capítulo, la transferencia es una cuestión adicional tras la confusión: incluso una comparación bien diseñada entre otros operadores solo se aplicaría a Merrow Bay si su tamaño, su práctica de notificación y su planta se parecieran a los de los miembros del foro. Anote las condiciones y marque cada una como comprobada, desconocida o distinta.

10.7 La ficha de evidencia

Resuma cada fuente importante para quienes deciden en una breve ficha de evidencia: la pregunta a la que ayuda a responder; el diseño y el contexto; el hallazgo principal con su tamaño y su incertidumbre; la afirmación más fuerte que respalda; las limitaciones clave y su sentido probable; la transferencia a nuestro contexto; y qué haremos con ella. Guarde las fichas en una biblioteca para que las decisiones posteriores puedan citarlas (los registros de decisiones del capítulo 1). Una ficha es breve por diseño, normalmente de una página, para que un directivo pueda leerla antes de una reunión. La afirmación más fuerte respaldada debe redactarse con las palabras que usted estaría dispuesto a defender ante los autores; si la conclusión de la propia fuente es más fuerte, dígalo y explique la diferencia. Feche cada ficha e indique cuándo debe revisarse, porque los avisos y los datos de los proveedores envejecen rápido.

10.8 Ejemplo resuelto: el folleto de un proveedor de monitorización (sintético)

Un proveedor de monitorización de TO dice al foro de resiliencia: «Los clientes que usan nuestra monitorización tuvieron un 40 % menos de incidentes comunicados». Cuando se le piden datos, el proveedor facilita recuentos por tamaño del operador. El Lab 10 los vuelve a leer. El primer paso del especialista es preguntar qué hay detrás de la cifra antes de discutirla: qué cuenta como incidente, a lo largo de cuántos años-operador y en qué se diferencian los clientes de los no clientes. La disposición del proveedor a facilitar recuentos por tamaño es útil en sí misma; un proveedor que se niega a compartir cualquier denominador ha dado al foro un motivo para tratar la afirmación como publicidad. El foro acuerda revisar los datos conjuntamente en lugar de responder al folleto.

10.9 Actividad práctica: agregación, denominadores y detección

# Lab 10 - re-reading a vendor claim: aggregation, denominators and survivorship (offline, stdlib only)
# Synthetic: a vendor brochure says "customers using our OT monitoring had 40% fewer reported incidents".
# Below are the (invented) counts behind such a claim, split by operator size.
DATA = {  # stratum: {group: (operators, operator-years observed, incidents reported)}
    "small (<50 staff)": {"monitoring": (240, 720, 54), "none": (100, 300, 15)},
    "large (>=50 staff)": {"monitoring": (20, 60, 18),   "none": (100, 300, 75)},
}
def rate(g):
    oy = sum(DATA[s][g][1] for s in DATA); inc = sum(DATA[s][g][2] for s in DATA)
    return inc / oy, inc, oy
for g in ("monitoring", "none"):
    r, inc, oy = rate(g); print(f"pooled {g:10s} {inc:3d} incidents / {oy:4d} operator-years = {r:.3f}")
rm, rn = rate("monitoring")[0], rate("none")[0]
print(f"pooled relative difference: {(rm - rn) / rn:+.0%}")
for s, grp in DATA.items():
    a = grp["monitoring"][2] / grp["monitoring"][1]; b = grp["none"][2] / grp["none"][1]
    print(f"{s:20s} monitoring {a:.3f}  none {b:.3f}  ratio {a/b:.2f}")
# Standardize both groups to the same size mix (the 'none' group's operator-years) - direct standardization
w = {s: DATA[s]["none"][1] for s in DATA}; W = sum(w.values())
std = {g: sum(w[s] / W * DATA[s][g][2] / DATA[s][g][1] for s in DATA) for g in ("monitoring", "none")}
print(f"size-standardized: monitoring {std['monitoring']:.3f}  none {std['none']:.3f}  ratio {std['monitoring']/std['none']:.2f}")

Salida esperada:

pooled monitoring  72 incidents /  780 operator-years = 0.092
pooled none        90 incidents /  600 operator-years = 0.150
pooled relative difference: -38%
small (<50 staff)    monitoring 0.075  none 0.050  ratio 1.50
large (>=50 staff)   monitoring 0.300  none 0.250  ratio 1.20
size-standardized: monitoring 0.188  none 0.150  ratio 1.25

Interpretación. En el agregado, los operadores monitorizados comunican 0,092 incidentes por año-operador frente a 0,150 de los no monitorizados, una diferencia del 38 %: la afirmación del folleto. Pero dentro de cada franja de tamaño, los operadores monitorizados comunican más incidentes: 1,5 veces más entre los operadores pequeños y 1,2 veces más entre los grandes. La comparación agregada se invierte porque la mayoría de los operadores monitorizados son pequeños, y los operadores pequeños comunican menos incidentes usen lo que usen. Estandarizados a la misma composición por tamaños, los operadores monitorizados comunican 1,25 veces más incidentes. Además, «incidentes comunicados» es un resultado de detección: un producto de monitorización que funcione debería aumentar los incidentes comunicados al encontrar lo que pasaba desapercibido. Ni las cifras agregadas ni las estratificadas dicen nada sobre el daño evitado. La respuesta correcta al proveedor no es «su producto es malo», sino «su afirmación no se desprende de estos datos; muéstrennos resultados en unidades de servicio, emparejados por tamaño y sector, a lo largo del tiempo».

10.10 Errores comunes y límites

• Leer los resultados antes de identificar el diseño.
• Tratar la lista de casos de un aviso como una estimación de frecuencia.
• Comparar grupos que difieren en tamaño o sector sin estratificar.
• Tratar los incidentes comunicados como una medida del daño o de la seguridad.
• Aceptar un hallazgo sin comprobar si su mecanismo opera en su contexto.
• Descartar por completo una fuente porque tiene una debilidad.
• Citar una fuente para más de lo que mostró.

El límite de la lectura crítica es el tiempo. Priorice las fuentes que podrían cambiar una decisión (el valor de la información del capítulo 1), léalas con cuidado y acepte una lectura más ligera para el resto.

Ejercicios — capítulo 10

EX046 — Vuelva a leer el folleto. Objetivo: reproducir y explicar una inversión. Entradas: el Lab 10. Restricciones: 250 palabras para la explicación. Pasos: (1) ejecute el laboratorio; (2) explique la inversión al foro en lenguaje claro; (3) proponga dos medidas de resultado que mostrarían mejor el valor del producto. Evidencia esperada: salida y explicación. Rúbrica: 3 = inversión explicada mediante la composición por tamaños y el efecto de la detección, se cita la razón estandarizada, medidas de resultado vinculadas al daño (por ejemplo, horas de interrupción del servicio, tiempo hasta detectar pruebas inyectadas); 2 = inversión explicada, medidas débiles; 1 = repite el folleto; 0 = nada.

EX047 — Ficha de evidencia: hospitales vecinos. Objetivo: resumir un estudio para Merrow Health. Entradas: el resumen de Dameff et al. (2023). Restricciones: use la estructura del §10.7; cite cifras solo de la fuente. Pasos: redacte la ficha. Evidencia esperada: ficha de una página. Rúbrica: 3 = diseño identificado como antes y después en una sola institución, hallazgos expresados con sus medidas, limitaciones (un solo emplazamiento, estacionalidad, ninguna región de control) con su sentido, se discute la transferencia al sistema de tres hospitales de Merrow Bay, se indica una acción (por ejemplo, la planificación regional de desvíos); 2 = limitaciones sin sentido; 1 = exagera la causalidad; 0 = nada.

EX048 — Ficha de evidencia: WannaCry. Objetivo: resumir un estudio nacional. Entradas: Ghafur et al. (2019) y la investigación de la NAO. Restricciones: distinga los propósitos de las dos fuentes. Pasos: redacte una ficha que responda a «¿qué dice WannaCry a Merrow Health sobre las consecuencias de un evento de ransomware a gran escala?». Evidencia esperada: ficha. Rúbrica: 3 = se distinguen los hallazgos del estudio (alrededor de un 6 % menos de ingresos al día en los hospitales infectados; ninguna diferencia detectada en la mortalidad, con la cautela de los autores) y el propósito de auditoría de la NAO, se indican las cuestiones de transferencia, se indica una acción; 2 = fuentes mezcladas; 1 = «no hubo muertes, así que el riesgo es bajo»; 0 = nada.

EX049 — Del aviso a las preguntas. Objetivo: usar bien un aviso. Entradas: el AA24-038A de CISA. Restricciones: no estime probabilidades a partir de él. Pasos: (1) extraiga cinco técnicas o comportamientos observados; (2) para cada uno, redacte la pregunta «¿lo veríamos en Merrow Water?» y la fuente de evidencia que la respondería; (3) elija dos mitigaciones recomendadas y relaciónelas con las prácticas del capítulo 2. Evidencia esperada: tabla. Rúbrica: 3 = comportamientos observados resumidos con exactitud (por ejemplo, el uso de cuentas válidas y las técnicas que aprovechan herramientas legítimas del propio sistema), preguntas de detección vinculadas a registros concretos, mitigaciones relacionadas; 2 = mezcla observación e inferencia; 1 = solo un resumen; 0 = nada.

EX050 — Comprobación de trampas. Objetivo: aplicar una lista de comprobación de investigación a la evaluación de un producto. Entradas: un proveedor afirma que su detector de anomalías basado en aprendizaje automático «alcanzó una exactitud del 99 % con un conjunto de datos público de un banco de pruebas de tratamiento de agua». Restricciones: use las trampas de Arp et al. (2022). Pasos: enumere cinco preguntas que haría y por qué importa cada una. Evidencia esperada: lista. Rúbrica: 3 = la tasa base y la cuestión de la exactitud frente a la precisión, la fuga entre entrenamiento y prueba (fisgoneo de datos), la transferencia del banco de pruebas a la planta, la comparación con una referencia, el realismo del modelo de amenaza; 2 = tres; 1 = escepticismo genérico; 0 = nada.

Síntesis del capítulo

Lea para decidir. Empareje la fuente con la pregunta: los estudios para los tamaños del efecto y los mecanismos, los avisos para las técnicas y las mitigaciones, los informes de proveedores para hipótesis que hay que verificar. Identifique el diseño antes que los resultados y limite las afirmaciones a lo que el diseño respalda. Compruebe el resultado, el denominador, la comparación y los factores de confusión; estratifique o estandarice cuando los grupos difieran, y recuerde que los incidentes comunicados miden tanto la detección como el daño. Pregúntese si el mecanismo es transferible a su contexto. Registre lo que aprenda en fichas de evidencia que los registros de decisiones puedan citar.