◇ OpenCyber Academy
Máster · Capítulo 1 · Español

Capítulo 1 — Pregunta de investigación y método de revisión de la literatura

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Capítulo 1 — Pregunta de investigación y método de revisión de la literatura

Mapa de la lección

Lección 01 publicada. Mapa, ejemplo, EX001.

flowchart TD
  N0["Resultados de aprendizaje y conexión"]
  N1["1.1 Del tema al problema y a la pregunta"]
  N2["1.2 El estimando: diga exactamente qué número produc"]
  N3["1.3 Para qué sirve una revisión de la literatura"]
  N4["1.4 Buscar entre disciplinas"]
  N5["1.5 De los registros a los estudios incluidos"]
  N6["1.6 Síntesis por concepto, no por autor"]
  N7["1.7 Leer un estudio por su diseño, no solo por sus h"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX001"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje y conexión"]
  N1["1.1 Del tema al problema y a la pregunta"]
  N2["1.2 El estimando: diga exactamente qué número produc"]
  N3["1.3 Para qué sirve una revisión de la literatura"]
  N4["1.4 Buscar entre disciplinas"]
  N5["1.5 De los registros a los estudios incluidos"]
  N6["1.6 Síntesis por concepto, no por autor"]
  N7["1.7 Leer un estudio por su diseño, no solo por sus h"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX001"]

[Resultados de aprendizaje y conexión]
    |
    v
[1.1 Del tema al problema y a la pregunta]
    |
    v
[1.2 El estimando: diga exactamente qué número produc]
    |
    v
[1.3 Para qué sirve una revisión de la literatura]
    |
    v
[1.4 Buscar entre disciplinas]
    |
    v
[1.5 De los registros a los estudios incluidos]
    |
    v
[1.6 Síntesis por concepto, no por autor]
    |
    v
[1.7 Leer un estudio por su diseño, no solo por sus h]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX001]

Resultados de aprendizaje y conexión

Al final de este capítulo, el estudiante será capaz de:

  1. Pasar de un tema («ransomware en hospitales») a un problema y de ahí a una única pregunta de investigación respondible, y ponerla a prueba con los criterios FINER y con una versión de PICOT para infraestructura.
  2. Clasificar una pregunta como descriptiva, de asociación, causal, explicativa o evaluativa, y enunciar el tipo de diseño y de afirmación que permite cada una.
  3. Definir la cantidad que el estudio estimará —su estimando— con palabras lo bastante precisas como para que dos analistas calculen lo mismo.
  4. Elegir un tipo de revisión (narrativa, exploratoria, sistemática) adecuado para una tesis de maestría y justificarlo.
  5. Construir, ejecutar y documentar una búsqueda interdisciplinaria que incluya literatura gris, ponerla a prueba con elementos conocidos y detenerla según una regla declarada de antemano.
  6. Deduplicar registros, cribarlos con dos revisores, medir el acuerdo con la kappa de Cohen, reparar los criterios de elegibilidad donde se concentra el desacuerdo y comunicar un diagrama de flujo.
  7. Organizar lo encontrado en una matriz de conceptos en lugar de un resumen autor por autor.

El capítulo fija la pregunta y el mapa de la evidencia que usan todos los capítulos posteriores. El capítulo 2 amplía el mapa a los demás sectores; el capítulo 3 elige un diseño para la pregunta fijada aquí; el capítulo 4 enumera las explicaciones rivales que la literatura ya ha planteado; el capítulo 7 redacta el capítulo de revisión de la literatura a partir de la matriz de conceptos construida aquí.

1.1 Del tema al problema y a la pregunta

1.1.1 Tres cosas distintas

La mayoría de las tesis empiezan con un tema, que es un área de interés: «ciberataques contra hospitales». Un tema no puede responderse. Un problema es una brecha entre lo que se sabe y lo que alguien necesita saber para actuar: «los planificadores regionales de emergencias no saben cuánto sobrecarga a sus vecinos un desvío inducido por un ciberataque en un hospital, de modo que los acuerdos de ayuda mutua se redactan sin números». Una pregunta de investigación es la pregunta concreta cuya respuesta reduciría esa brecha: «Durante un desvío de ambulancias inducido por ransomware, ¿cuánto cambian las llegadas diarias de ambulancias a los hospitales situados a menos de 40 km, en relación con lo que se habría esperado sin el desvío?».

El paso del tema a la pregunta es un estrechamiento, y cada estrechamiento es una decisión que usted debe poder defender. Estrechar a las llegadas de ambulancias en lugar de al «daño a los pacientes» cambia importancia por mensurabilidad. Estrechar a una región cambia generalidad por profundidad y acceso a los datos. Estrechar al desvío inducido por ransomware en lugar de a los «incidentes cibernéticos» hace observable la exposición: un desvío tiene un inicio y un fin que registra un organismo de servicios médicos de emergencia (EMS), mientras que «un incidente cibernético» puede ser desconocido incluso para el hospital durante semanas.

1.1.2 FINER y un PICOT para infraestructura

Los investigadores clínicos ponen a prueba las preguntas con los criterios FINER —factible, interesante, novedosa, ética y relevante— y las estructuran con PICOT: población, intervención, comparación, resultado (outcome) y tiempo (Farrugia et al., 2010, que resumen Designing Clinical Research de Hulley y colaboradores). Ambos se trasladan a la investigación sobre infraestructura con un cambio: la mayoría de los estudios de infraestructura observan una exposición que el investigador no asignó, de modo que la «I» se convierte en «E».

Elemento Significado en la investigación sobre infraestructura Estudio de Desbordamiento (primera versión)
Población / unidades Las unidades que prestan el servicio estudiado: hospitales, servicios de urgencias, alimentadores, sistemas de agua, procesadores de pagos. Indique la unidad de análisis y la unidad de observación (pueden diferir: la unidad puede ser un hospital-día). Servicios de urgencias (SU) de Tamsin Valley distintos de los de Kestrel; unidad de observación: el SU-día.
Exposición El evento o la condición cuya consecuencia se estudia, definido de modo que su inicio y su fin sean observables. Desvío de ambulancias en Kestrel causado por un ataque de ransomware (días 0–20).
Comparación Con qué se compara lo que vivieron los expuestos: las mismas unidades antes, unidades no expuestas en el mismo periodo, o ambas. Los mismos SU en los 180 días anteriores; los SU de Wexmoor en los mismos días.
Resultado (Outcome) Una consecuencia medida en unidades de servicio. Nombre el resultado primario y, como mucho, unos pocos secundarios. Primario: llegadas diarias de ambulancias. Secundario: mediana de minutos desde la llegada hasta el primer clínico.
Tiempo Ventana, seguimiento y resolución (por hora, diaria, mensual). Diaria, del día −180 al día +89.

FINER es un filtro, no una puntuación. Factible significa que los datos existen, que usted puede obtenerlos legalmente dentro del plazo del curso y que el análisis está dentro de su competencia. Interesante significa que a alguien que debe tomar una decisión le importa la respuesta. Novedosa, a nivel de maestría, incluye «medido por primera vez en este contexto» y «replicado con un diseño más sólido». Ética significa que un comité de revisión podría aprobarla (capítulo 3). Relevante significa que la respuesta cambiaría un plan, una política o un estudio posterior.

1.1.3 Tipos de pregunta y las afirmaciones que permiten

Tipo Forma Ejemplo Lo que debe aportar el diseño Afirmación más fuerte
Descriptiva ¿Cuánto, con qué frecuencia, qué? ¿Cuántas horas de desvío de ambulancias registraron el año pasado los SU de Tamsin Valley, por causa? Una población definida y registros completos. Una cantidad medida en esa población.
De asociación ¿Está X asociado con Y? ¿Son mayores las horas de desvío en los SU más cercanos a un hospital que desvía? Variación en X e Y; ajuste por los factores de confusión evidentes. Una asociación, con su tamaño y su incertidumbre.
Causal ¿Cuánto cambió X a Y? ¿Cuánto aumentó el desvío de Kestrel las llegadas a Alder Point? Un contrafáctico creíble: lo que habría ocurrido sin X (capítulos 3–4). Una estimación del efecto bajo supuestos enunciados.
Explicativa ¿Por qué o cómo cambió X a Y? ¿Mediante qué decisiones redistribuyeron los despachadores a los pacientes? Evidencia de proceso: entrevistas, documentos, registros. Un mecanismo respaldado por relatos convergentes.
Evaluativa ¿Funcionó una medida? ¿Acortó los tiempos de espera el protocolo de desvío de la coalición? Un diseño causal más una definición operativa de «funcionar». Un efecto de la medida, bajo supuestos.

La pregunta primaria del Estudio de Desbordamiento es causal, y su pregunta secundaria, explicativa. Esa combinación —una estimación cuantitativa más un relato del mecanismo— es típica de una tesis de maestría sólida y es la razón por la que este libro enseña ambas vertientes.

1.2 El estimando: diga exactamente qué número producirá

Una pregunta formulada con palabras todavía deja lugar a muchos números distintos. «¿Cuánto aumentan las llegadas?» podría significar el aumento del primer día, el aumento medio durante el desvío, el aumento respecto al año pasado, el aumento respecto a una región de comparación o el total de pacientes adicionales. Un estimando es la cantidad precisa que un estudio pretende estimar, definida antes de ver los datos. Una plantilla útil tiene cinco partes:

  1. Unidades: qué unidades y qué días (SU de Alder Point, días 0–20).
  2. Resultado: qué se cuenta y cómo (llegadas de ambulancias por día natural, según el registro de llegadas del SU).
  3. Contraste: comparado con qué (las llegadas que se habrían producido en ausencia del desvío).
  4. Resumen: la escala (razón entre la media observada y la contrafáctica, comunicada como cambio porcentual).
  5. Población de inferencia: sobre quién trata la respuesta (este SU durante este evento, no «los hospitales en general»).

El estimando primario del Estudio de Desbordamiento es, por tanto: para cada SU vecino, el cambio porcentual en la media diaria de llegadas de ambulancias durante los días 0–20, en relación con las llegadas esperadas a partir de la tendencia previa al evento de ese mismo SU y del cambio simultáneo en los SU no afectados de Wexmoor. El contrafáctico «se habrían producido» nunca se observa; los capítulos 3 y 4 deciden cómo aproximarlo. Escribir primero el estimando evita un fallo común: elegir la comparación después de ver cuál da el número más impresionante.

1.2.1 Alcance de la afirmación

El libro doctoral de esta área describe una escalera de cinco peldaños desde la observación hasta la afirmación de investigación. A nivel de maestría, la disciplina esencial es más simple: escriba la afirmación que espera hacer y el alcance que tendrá antes de empezar, y compruebe al final si la evidencia la alcanzó. El Estudio de Desbordamiento espera afirmar: «En un evento regional sintético, las llegadas de ambulancias al SU vecino más cercano aumentaron durante el desvío en una cantidad que estimamos con una incertidumbre enunciada, y el aumento fue menor en los SU más distantes». No espera afirmar que el ransomware daña a los pacientes, que todas las regiones se comportan así ni que las políticas de desvío deban cambiar, aunque la discusión pueda sugerir qué estudios podrían respaldar esas afirmaciones más amplias.

1.3 Para qué sirve una revisión de la literatura

A nivel de maestría, la revisión tiene cuatro tareas: mostrar que la pregunta está abierta o que merece volver a plantearse; encontrar los métodos y las medidas que otros han usado, para que usted no los reinvente; encontrar las explicaciones rivales ya planteadas (capítulo 4); y situar el resultado final en su contexto. No es una bibliografía anotada ni una demostración de cuánto ha leído usted.

Tipo de revisión Propósito Requisitos de método Encaja en un proyecto de maestría cuando
Narrativa (tradicional) Síntesis y argumentación expertas Pocas reglas formales; riesgo de citación selectiva La revisión respalda un estudio empírico primario y el campo es pequeño
Exploratoria (scoping) Trazar la extensión, el alcance y la naturaleza de la evidencia; aclarar conceptos Marco de Arksey y O'Malley (2005); comunicación según PRISMA-ScR (Tricco et al., 2018) La literatura está dispersa entre disciplinas y la pregunta todavía se está perfilando
Sistemática Responder una pregunta focalizada con búsqueda y valoración exhaustivas Protocolo, cribado doble, riesgo de sesgo, comunicación según PRISMA 2020 La revisión es la tesis y hay suficiente literatura para sintetizar
Integradora / semisistemática Combinar tipos de estudio diversos en una síntesis conceptual Búsqueda documentada con síntesis flexible (Snyder, 2019) El campo mezcla trabajo empírico, técnico y de políticas

Para el Estudio de Desbordamiento, la revisión es una revisión exploratoria estructurada que respalda un estudio empírico: búsqueda documentada, elegibilidad explícita, dos revisores sobre una muestra, un diagrama de flujo y una matriz de conceptos, pero sin puntuación formal del riesgo de sesgo ni metaanálisis, porque el puñado de estudios pertinentes usa diseños no comparables. Enuncie esta elección y su motivo en el capítulo de métodos; un lector nunca debería tener que adivinar si una revisión pretendía ser exhaustiva.

1.4 Buscar entre disciplinas

1.4.1 Por qué la literatura sobre infraestructura está dispersa

La evidencia sobre la pregunta del desbordamiento está repartida entre la medicina de urgencias, la investigación en servicios de salud, la economía de la salud, la medicina de desastres, la seguridad de la información, la administración pública y la auditoría gubernamental. La misma idea recibe nombres distintos: «desvío de ambulancias», «saturación del SU», «oleada regional», «redistribución de pacientes», «radio de impacto». Las bases de datos de seguridad rara vez indexan las operaciones hospitalarias; las bases de datos médicas rara vez indexan las ponencias de congresos de seguridad; y parte de la evidencia más informativa —informes de auditoría, declaraciones de reguladores, informes posteriores a la acción, informes de ejercicios de coaliciones sanitarias— es literatura gris que ninguna base de datos bibliográfica indexa.

1.4.2 Bloques de conceptos

Construya la búsqueda a partir de bloques de conceptos combinados con AND; dentro de cada bloque, sinónimos combinados con OR:

Incluir «downtime» e «IT outage» en el bloque A es una elección deliberada: las interrupciones no maliciosas producen efectos operativos similares y pueden aportar métodos y rivales (capítulo 4). Registre la elección; amplía el trabajo de cribado y debe manejarse mediante los criterios de elegibilidad.

1.4.3 Fuentes y la prueba de los elementos conocidos

Busque en al menos un índice biomédico, un índice académico general y un índice de informática, además de un plan para la literatura gris: oficinas gubernamentales de auditoría, ministerios y organismos de salud, órganos de coordinación sectorial, asociaciones de hospitales e informes de coaliciones. Antes de ejecutar la búsqueda completa, reúna un conjunto de elementos conocidos —estudios que ya sabe que son pertinentes— y compruebe que su búsqueda los encuentra. Para la pregunta del desbordamiento, un conjunto razonable de elementos conocidos es Dameff et al. (2023), Ghafur et al. (2019) sobre WannaCry en el NHS de Inglaterra y Neprash et al. (2022) sobre las tendencias del ransomware en las organizaciones prestadoras de atención sanitaria de EE. UU. Una búsqueda que no encuentra un elemento conocido es demasiado estrecha; revísela y registre la revisión.

1.4.4 Encadenamiento de citas y detención

Las búsquedas en bases de datos no encuentran los artículos que usan un vocabulario inesperado. El encadenamiento hacia atrás lee las listas de referencias de los estudios incluidos; el encadenamiento hacia delante encuentra artículos posteriores que los citan. Wohlin (2014) ofrece pautas para esta «bola de nieve» y muestra que, en algunos campos, puede complementar o sustituir la búsqueda en bases de datos. Decida de antemano cuándo detenerse: por ejemplo, tras dos rondas consecutivas de encadenamiento que no añadan ningún estudio incluido. Anote cada búsqueda en un registro de búsqueda: fecha, fuente, cadena exacta, filtros, número de resultados y quién la ejecutó.

1.5 De los registros a los estudios incluidos

1.5.1 Deduplicación

El mismo artículo aparece en varias bases de datos, con distintas mayúsculas, puntuación y guiones y, a veces, sin DOI. Deduplique antes del cribado, para que dos revisores no criben el mismo estudio dos veces y el diagrama de flujo sea honesto. Un procedimiento sólido en dos pasadas es: (1) emparejar los DOI exactos tras pasarlos a minúsculas; (2) emparejar, entre los restantes, títulos normalizados más el año: minúsculas, sin puntuación, espacios colapsados y variantes conocidas normalizadas (por ejemplo, «turn-around» y «turnaround»). En un proyecto pequeño, inspeccione a ojo cada coincidencia automática; las reglas automáticas pueden fusionar artículos distintos con títulos genéricos («Editorial», «Corrección»).

1.5.2 Cribado en dos etapas y acuerdo

Cribe títulos y resúmenes según los criterios de elegibilidad y lea después el texto completo de todo lo que los supere. A nivel de maestría, a menudo dos revisores no pueden cribarlo todo; un compromiso defendible es que un segundo revisor (un compañero o el director) cribe de forma independiente una muestra, que se mida el acuerdo, que se reparen los criterios donde se concentra el desacuerdo y que el primer revisor cribe después el resto con los criterios reparados. El acuerdo se mide con la kappa de Cohen (Cohen, 1960), que corrige el acuerdo observado pₒ por el acuerdo pₑ esperado por azar a partir de la tasa de inclusión de cada revisor: κ = (pₒ − pₑ) / (1 − pₑ). Dos revisores que incluyen cada uno la mitad de los registros coincidirían la mitad de las veces solo por azar, de modo que un acuerdo bruto del 80 % puede ser poco impresionante. Las bandas de interpretación varían, y McHugh (2012) sostiene que las bandas que se citan habitualmente son demasiado indulgentes para la investigación en salud, donde un acuerdo bajo significa datos poco fiables. Trate la kappa como un diagnóstico: dónde discrepan los revisores le dice qué criterio no está claro.

1.5.3 El diagrama de flujo

Comunique los registros identificados por fuente, los duplicados eliminados, los registros cribados, los registros excluidos, los textos completos evaluados, los textos completos excluidos con sus motivos y los estudios incluidos. PRISMA 2020 ofrece un diagrama de flujo estándar (Page et al., 2021). Incluso una revisión no sistemática se beneficia de él, porque permite al evaluador ver el denominador que hay detrás de «la literatura muestra».

1.6 Síntesis por concepto, no por autor

Webster y Watson (2002) recomendaron que las revisiones fueran centradas en conceptos y no en autores: en lugar de un párrafo por artículo («Smith encontró…; Jones encontró…»), organice la revisión en torno a los conceptos que necesita la pregunta y muestre qué estudios informan cada uno. Una matriz de conceptos tiene los estudios como filas y los conceptos como columnas. Para el Estudio de Desbordamiento, las columnas son: unidad de análisis; definición de la exposición; comparación; resultado; diseño; lo que el estudio puede respaldar; rivales que plantea.

Estudio Unidad Exposición Comparación Resultados pertinentes para el desbordamiento Diseño (según la publicación) Lo que puede respaldar
Dameff et al., 2023 Dos SU adyacentes a una organización atacada Ataque de ransomware de un mes contra cuatro hospitales adyacentes (mayo de 2021) Los mismos SU en las cuatro semanas anteriores y posteriores Censo, llegadas de ambulancias, tiempos de espera, abandonos sin ser atendido, duración de la estancia, desvío de EMS del condado, indicadores de ictus Cohorte antes-después Una asociación entre el periodo del ataque y la carga en los SU vecinos de una región
Ghafur et al., 2019 Trusts del NHS de Inglaterra WannaCry (mayo de 2017) Semanas de referencia; trusts infectados frente a no infectados Ingresos, atenciones en urgencias (A&E), cancelaciones de consultas externas, muertes en A&E Análisis retrospectivo de las Hospital Episode Statistics Reducciones de actividad en los trusts infectados; ningún cambio detectable en las muertes en A&E (una medida tosca del daño, como señalan los autores)
Neprash et al., 2022 Organizaciones prestadoras de atención sanitaria de EE. UU. Ataques de ransomware en una base de datos construida a partir de informes públicos, 2016–2021 Tendencias temporales Frecuencia, exposición de información sanitaria protegida (PHI), interrupción operativa, incluido el desvío de ambulancias Cohorte de ataques reportados Tendencias y características de los ataques reportados

La matriz hace visible la brecha: un estudio antes-después de SU vecinos, ningún estudio con una región de comparación no afectada y ningún estudio sobre si la carga disminuye con la distancia. Esa es la justificación del Estudio de Desbordamiento.

1.7 Leer un estudio por su diseño, no solo por sus hallazgos

Cuando extraiga un estudio, registre no solo lo que encontró, sino lo que podría haber encontrado. Pregúntese: ¿cuál es la unidad? ¿Está definida la exposición por su inicio y su fin? ¿Cuál es la comparación y qué más cambió entre los periodos comparados? ¿Es el resultado una consecuencia (pacientes retrasados) o una actividad (visitas contadas)? ¿A qué población podría generalizarse el resultado? Una comparación antes-después dentro de las mismas unidades, por ejemplo, no puede separar la exposición de cualquier otra cosa que cambiara al mismo tiempo: la estación, una política, la dotación de personal, una epidemia simultánea. Decirlo no es una crítica a los autores; es la evidencia que su propio diseño debe mejorar.

1.8 Ejemplo resuelto: del tema a la pregunta del desbordamiento (sintético)

El primer párrafo de la propuesta del candidato decía: «Esta tesis investigará el impacto de los ciberataques en los hospitales y mostrará que ponen en peligro a los pacientes en toda la región». La revisión del director:

Problema Por qué falla Revisión
«Investigar el impacto de los ciberataques en los hospitales» Un tema, no una pregunta; «impacto» no está definido. Nombrar el resultado: llegadas diarias de ambulancias y tiempo de espera en los SU vecinos.
«Mostrar que ponen en peligro a los pacientes» Presupone la respuesta; un diseño para «mostrar» no puede fallar. Preguntar «cuánto» y admitir el cero como respuesta.
«En toda la región» Sin unidad ni límite. SU situados a menos de 40 km del sistema atacado; la distancia como moderador.
«Ciberataques» Exposición no observable ni fechada. Desvío de ambulancias causado por un ataque de ransomware, con inicio y fin registrados por el EMS.
Sin comparación Un antes-después por sí solo no puede separar el ataque de la estación. Añadir una región de comparación no afectada.
Sin mecanismo Incluso un número creíble no diría a los planificadores qué cambiar. Pregunta explicativa secundaria con entrevistas al personal de los SU, del EMS y de la coalición.
«Se pone en peligro a los pacientes» Los resultados en pacientes requieren datos clínicos y aprobaciones que exceden el calendario de una maestría. Dejar los resultados en pacientes fuera del alcance; nombrarlos como trabajo futuro.

Preguntas finales:

1.9 Actividad práctica: deduplicar, cribar y medir el acuerdo

El siguiente laboratorio contiene una exportación sintética de 20 registros procedentes de tres bases de datos y de una búsqueda de literatura gris. Los deduplica en dos pasadas, toma las decisiones de dos revisores sobre título y resumen para los registros restantes, calcula la kappa y enumera los desacuerdos. Ejecútelo con Python 3; no se necesitan paquetes.

# Lab 1 - deduplicate a synthetic search export, measure screening agreement, count the flow (offline)
# Each record: (source, title, year, doi_or_empty). Decisions: reviewer A and B, I = include, X = exclude.
import re

RECORDS = [
    ("medline", "Ransomware and emergency department crowding at neighbouring hospitals", 2023, "10.9999/syn.001"),
    ("scopus",  "Ransomware and Emergency Department Crowding at Neighbouring Hospitals.", 2023, "10.9999/SYN.001"),
    ("ieee",    "Anomaly detection for water distribution SCADA", 2019, "10.9999/syn.002"),
    ("medline", "Hospital IT downtime and laboratory turnaround times", 2021, ""),
    ("scopus",  "Hospital IT downtime and laboratory turn-around times", 2021, "10.9999/syn.003"),
    ("grey",    "After-action report: regional EMS diversion during a hospital network outage", 2022, ""),
    ("scopus",  "Ambulance diversion policies and patient outcomes: a review", 2018, "10.9999/syn.004"),
    ("medline", "Ambulance diversion policies and patient outcomes - a review", 2018, ""),
    ("ieee",    "Cyber-physical attack graphs for substations", 2020, "10.9999/syn.005"),
    ("grey",    "State health department memo on downtime procedures", 2024, ""),
    ("scopus",  "Interrupted time series of ED arrivals after hospital closure", 2017, "10.9999/syn.006"),
    ("medline", "Mortality after hospital cyberattacks in Medicare beneficiaries", 2024, "10.9999/syn.007"),
    ("scopus",  "Mortality after hospital cyberattacks in Medicare beneficiaries", 2024, "10.9999/syn.007"),
    ("ieee",    "A survey of ransomware families 2015-2022", 2022, "10.9999/syn.008"),
    ("grey",    "Regional healthcare coalition cyber-incident exercise report", 2023, ""),
    ("medline", "Stroke care times during regional diversion", 2020, "10.9999/syn.009"),
    ("scopus",  "Electronic health record downtime: a scoping review", 2022, "10.9999/syn.010"),
    ("medline", "Electronic Health Record Downtime: A Scoping Review", 2022, "10.9999/syn.010"),
    ("ieee",    "Blockchain for hospital supply chains", 2021, "10.9999/syn.011"),
    ("grey",    "Vendor white paper: ransomware readiness in hospitals", 2023, ""),
]

def norm_title(t):
    t = t.lower().replace("turn-around", "turnaround")
    t = re.sub(r"[^a-z0-9 ]+", " ", t)
    return " ".join(t.split())

def key(rec):
    _, title, year, doi = rec
    return ("doi", doi.lower()) if doi else ("ty", norm_title(title), year)

seen, unique, dup = {}, [], 0
for rec in RECORDS:                       # pass 1: DOI or title+year
    k = key(rec)
    if k in seen:
        dup += 1
        continue
    seen[k] = rec
    unique.append(rec)
by_title = {}
final = []
for rec in unique:                        # pass 2: same normalized title+year, one record lacks a DOI
    tk = (norm_title(rec[1]), rec[2])
    if tk in by_title:
        dup += 1
        continue
    by_title[tk] = rec
    final.append(rec)

# Title/abstract screening decisions by two reviewers, in the order of `final`
A = "I X I I I X X I I X I I I X X".split()
B = "I X I I I X I I I X X I I X I".split()

def kappa(a, b):
    n = len(a)
    po = sum(x == y for x, y in zip(a, b)) / n
    cats = set(a) | set(b)
    pe = sum((a.count(c) / n) * (b.count(c) / n) for c in cats)
    return po, pe, (po - pe) / (1 - pe)

po, pe, k = kappa(A, B)
both = sum(x == y == "I" for x, y in zip(A, B))
disagree = [final[i][1] for i in range(len(final)) if A[i] != B[i]]
print(f"records identified: {len(RECORDS)}  duplicates removed: {dup}  screened: {len(final)}")
print(f"agreement po={po:.3f} pe={pe:.3f} kappa={k:.3f}")
print(f"both include: {both}  disagreements: {len(disagree)}")
for t in disagree:
    print("  resolve:", t)

Salida esperada:

records identified: 20  duplicates removed: 5  screened: 15
agreement po=0.800 pe=0.533 kappa=0.571
both include: 8  disagreements: 3
  resolve: State health department memo on downtime procedures
  resolve: Regional healthcare coalition cyber-incident exercise report
  resolve: Vendor white paper: ransomware readiness in hospitals

Se eliminaron cinco duplicados: tres por DOI (uno con un DOI escrito con otras mayúsculas) y dos por título normalizado y año, entre ellos un par que solo se diferenciaba por «turn-around» frente a «turnaround» y otro que solo se diferenciaba por una raya frente a dos puntos. El acuerdo bruto sobre los 15 registros cribados es del 80 %, pero el acuerdo por azar es del 53 %, de modo que κ = 0,571: moderado, en el mejor de los casos. El valor diagnóstico está en la lista: los tres desacuerdos son literatura gris (un memorando de un departamento de salud, un informe de ejercicio de una coalición y un libro blanco de un proveedor). Los criterios no decían nada sobre la literatura gris. Repárelos antes de continuar el cribado: por ejemplo, incluya los informes gubernamentales, de reguladores, de coaliciones y posteriores a la acción que describan los efectos operativos de un evento concreto; excluya el marketing de proveedores y los documentos que describen procedimientos sin comunicar efectos. Después, vuelva a cribar la muestra y recalcule la kappa.

1.10 Errores habituales y límites

El límite de una revisión de maestría es el tiempo: no será exhaustiva y no debe fingir serlo. Su credibilidad proviene de una búsqueda documentada y repetible y de una declaración honesta de lo que no se buscó.

Ejercicios — capítulo 1

EX001 — Del tema a la pregunta. Objetivo: estrechar un tema hasta una pregunta respondible. Entradas: el tema «incidentes cibernéticos en empresas de agua potable». Restricciones: una pregunta primaria; una exposición observable y fechada; un resultado en unidades de servicio. Pasos: (1) enuncie un problema al que se enfrenta quien toma decisiones; (2) escriba una pregunta en forma de PICOT para infraestructura; (3) póngala a prueba con cada criterio FINER en una frase; (4) enuncie la afirmación que espera hacer y su alcance. Evidencia esperada: un memorando de media página. Rúbrica: 3 = pregunta respondible con datos plausibles, exposición y resultado observables, FINER aplicado con honestidad (incluido lo que no es factible), afirmación acotada al diseño; 2 = un elemento vago; 1 = sigue siendo un tema; 0 = nada.

EX002 — Tipos de pregunta. Objetivo: asociar preguntas con diseños y afirmaciones. Entradas: (a) «¿Cuántas horas de desvío de ambulancias se registraron en el condado en 2024, por causa?» (b) «¿Tienen tiempos de espera más cortos durante las interrupciones informáticas los SU que adoptaron simulacros de funcionamiento sin sistemas?» (c) «¿Cuánto aumentó el desvío las llegadas a Alder Point?» (d) «¿Por qué los despachadores enviaron a los pacientes con ictus más allá del hospital abierto más cercano?» (e) «¿Redujo el nuevo protocolo de desvío de la coalición el tiempo en desvío?» Restricciones: use la tabla del §1.1.3. Pasos: clasifique cada una; nombre el diseño mínimo; nombre la afirmación más fuerte. Evidencia esperada: tabla. Rúbrica: 3 = todas clasificadas correctamente con diseños que realmente respaldarían las afirmaciones, y (b) reconocida como de asociación salvo que la adopción de simulacros pueda tratarse como una exposición con un contrafáctico creíble; 2 = un error; 1 = diseños genéricos; 0 = nada.

EX003 — Estrategia de búsqueda y prueba de los elementos conocidos. Objetivo: construir una búsqueda documentada e interdisciplinaria. Entradas: PI1–PI3 del §1.8. Restricciones: tres bloques de conceptos; al menos tres fuentes bibliográficas de disciplinas distintas y un plan de literatura gris con al menos cuatro tipos de fuente. Pasos: (1) escriba los bloques; (2) enumere las fuentes y justifique cada una; (3) defina un conjunto de tres elementos conocidos y describa cómo comprobaría que se recupera cada uno; (4) defina una regla de detención para el encadenamiento de citas; (5) diseñe una plantilla de registro de búsqueda. Evidencia esperada: protocolo de una página y plantilla de registro. Rúbrica: 3 = bloques con sinónimos de varias disciplinas, literatura gris especificada por tipo de fuente, prueba de elementos conocidos y regla de detención concretas; 2 = falta un elemento; 1 = búsqueda de una sola disciplina; 0 = nada.

EX004 — Deduplicación y acuerdo. Objetivo: comprobar si la deduplicación por título detecta un registro casi duplicado de literatura gris y ver cómo mueve la kappa de Cohen un único desacuerdo entre revisores. Entradas: el código del laboratorio 1. Restricciones: sin conexión. Pasos: (1) ejecute el laboratorio y anote la salida; (2) añada un registro ("grey", "Ransomware & emergency department crowding at neighbouring hospitals", 2023, "") al final de RECORDS, agregue I a las cadenas de decisiones de ambos revisores (el registro solo llega al cribado si la deduplicación no lo detecta), vuelva a ejecutarlo e informe si el procedimiento de dos pasadas lo eliminó y por qué; (3) cambie la decisión del revisor B sobre «Cyber-physical attack graphs for substations» de X a I e informe la nueva kappa; (4) explique en 100 palabras por qué un desacuerdo adicional cambia la kappa más de lo que sugiere el acuerdo bruto. Evidencia esperada: salidas y explicación. Rúbrica: 3 = salidas correctas, fallo del signo «&» diagnosticado con una corrección propuesta, kappa recalculada correctamente, corrección por azar explicada; 2 = un error; 1 = no ejecutado; 0 = nada.

EX005 — Reparar los criterios de elegibilidad. Objetivo: convertir el desacuerdo en criterios más claros. Entradas: los tres desacuerdos del laboratorio 1. Restricciones: los criterios deben poder decidirse a partir de un título y un resumen o de la primera página de un informe. Pasos: (1) escriba criterios de inclusión y exclusión para la literatura gris; (2) aplíquelos a los tres registros; (3) indique qué haría con un registro que todavía no puede decidir. Evidencia esperada: criterios y decisiones. Rúbrica: 3 = criterios decidibles, decisiones coherentes, registros indecidibles enviados a revisión del texto completo en lugar de excluidos; 2 = una decisión incoherente; 1 = los criterios repiten el tema; 0 = nada.

EX006 — Matriz de conceptos. Objetivo: sintetizar por concepto. Entradas: los tres estudios del §1.6 más el informe de la NAO sobre WannaCry y el NHS (octubre de 2017). Restricciones: lea usted mismo el resumen de la NAO; cite los números con su fuente. Pasos: (1) añada el informe de la NAO como fila; (2) añada una columna «rivales que el estudio plantea o deja abiertos»; (3) escriba un párrafo de 200 palabras centrado en conceptos sobre «efectos regionales de los incidentes cibernéticos en hospitales». Evidencia esperada: matriz y párrafo. Rúbrica: 3 = fila de la NAO exacta (alcance de la interrupción y la distinción entre cancelaciones registradas y estimadas), rivales concretos, párrafo organizado por concepto; 2 = párrafo autor por autor; 1 = números sin fuente; 0 = nada.

EX007 — Memorando de estimando y alcance. Objetivo: definir exactamente lo que se estimará. Entradas: PI1 y PI2. Restricciones: la plantilla de cinco partes del §1.2. Pasos: (1) escriba el estimando de PI1; (2) escriba uno para PI2; (3) enumere dos estimandos que un analista descuidado podría calcular en su lugar y por qué difieren; (4) enuncie la afirmación que se espera hacer y las afirmaciones explícitamente fuera del alcance. Evidencia esperada: una página. Rúbrica: 3 = estimandos inequívocos con un contraste contrafáctico, alternativas realmente distintas (por ejemplo, aumento del primer día, aumento frente al año pasado), afirmaciones fuera del alcance explícitas; 2 = un estimando ambiguo; 1 = sin contraste; 0 = nada.

Síntesis del capítulo

Una tesis se sostiene sobre su pregunta. Pase del tema al problema y a la pregunta de forma deliberada, haciendo defendible cada estrechamiento; ponga a prueba la pregunta con FINER y escríbala en una forma de PICOT para infraestructura con una exposición observable y un resultado de consecuencia. Clasifique la pregunta, porque su tipo decide el diseño y la afirmación más fuerte disponible. Defina el estimando antes de ver los datos. Elija un tipo de revisión que se ajuste al proyecto y dígalo. Busque entre disciplinas y en la literatura gris, ponga a prueba la búsqueda con elementos conocidos, encadene citas hasta un punto de detención declarado de antemano y regístrelo todo. Deduplique, cribe con un segundo revisor al menos sobre una muestra, use la kappa como diagnóstico de criterios poco claros y comunique el flujo. Sintetice por concepto: la matriz de conceptos muestra tanto lo que se sabe como la brecha que su estudio llenará.

Siga estudiando — capítulo 01 de 08

← Página del curso · Índice de capítulos del curso · Capítulo 02 →

Continúe con la siguiente lección escrita.

Respuestas desarrolladas

EX001 — Del tema a la pregunta. Problema: los reguladores estatales del agua potable y las asociaciones de empresas de servicios no saben con qué frecuencia ni durante cuánto tiempo los incidentes cibernéticos en empresas pequeñas interrumpen el tratamiento o la vigilancia, de modo que los programas de apoyo no pueden focalizarse. Pregunta (forma PICOT): entre los sistemas comunitarios de agua que abastecen a 3300–50 000 personas en un estado (P), ¿con qué frecuencia coincidieron los incidentes cibernéticos notificados al organismo estatal competente (E) con una interrupción registrada del tratamiento o de la vigilancia, en comparación con las averías de equipos no cibernéticas (C), medida como el número y la duración de las interrupciones (O) a lo largo de cinco años (T)? FINER: factible solo si los registros de incidentes del organismo competente distinguen las causas y pueden compartirse de forma agregada, lo que debe comprobarse primero; interesante para el organismo y para las empresas; novedosa si no existe ninguna descripción a escala estatal; ética porque los registros agregados no involucran a individuos, aunque debe gestionarse el riesgo de identificar a empresas pequeñas (capítulo 3); relevante porque mostraría si las causas cibernéticas son una proporción significativa de las interrupciones. Afirmación esperada: «En un estado, a lo largo de cinco años, los incidentes cibernéticos registrados representaron una proporción enunciada de las interrupciones del tratamiento o de la vigilancia, con duraciones enunciadas». Fuera del alcance: la incidencia de los incidentes no notificados; los efectos sobre la salud. La máxima calificación exige honestidad sobre la viabilidad (puede que los registros no codifiquen la causa de forma fiable) y una afirmación limitada a los incidentes notificados.

EX002 — Tipos de pregunta.

P Tipo Diseño mínimo Afirmación más fuerte
(a) Descriptiva Registro completo de desvíos del condado en 2024 con códigos de causa Horas de desvío por causa en ese condado y ese año
(b) De asociación (causal solo con más) Comparación transversal o de panel de SU con y sin simulacros, ajustada por tamaño y casuística Una asociación entre la adopción de simulacros y los tiempos de espera durante las interrupciones; causal solo si puede aprovecharse el momento de la adopción (por ejemplo, una implantación escalonada) con comparaciones creíbles
(c) Causal ITS controlada o equivalente Cambio porcentual respecto a un contrafáctico, bajo supuestos enunciados
(d) Explicativa Entrevistas con despachadores y tripulaciones, registros de despacho Un mecanismo respaldado por relatos convergentes
(e) Evaluativa (causal) ITS en torno al inicio del protocolo, idealmente con una región de comparación Efecto del protocolo sobre el tiempo en desvío, bajo supuestos

El punto clave de la rúbrica es (b): la adopción de simulacros la eligen los hospitales, de modo que los hospitales mejor gestionados adoptan simulacros y a la vez tienen esperas más cortas; sin un diseño que maneje esto, la afirmación es de asociación.

EX003 — Estrategia de búsqueda y prueba de los elementos conocidos. Bloques como en el §1.4.2, con añadidos como "health information technology failure", "cyber incident" y "EHR outage" en el bloque A y "regional surge", "patient redistribution" y "mutual aid" en el bloque C. Fuentes: un índice biomédico (para la medicina de urgencias y los servicios de salud), un índice académico general (para la economía y la administración pública) y un índice de informática (para la seguridad), cada uno justificado por la disciplina que cubre. Literatura gris: oficinas de auditoría (por ejemplo, la NAO), organismos y ministerios de salud, declaraciones de reguladores, informes posteriores a la acción de coaliciones sanitarias y de EMS, encuestas de asociaciones de hospitales (por ejemplo, las de la AHA) y órganos de coordinación sectorial. Conjunto de elementos conocidos: Dameff et al. (2023), Ghafur et al. (2019), Neprash et al. (2022); se comprueba buscando en cada fuente y confirmando que el elemento aparece en los resultados, revisando la cadena si no aparece y registrando la revisión. Regla de detención: dos rondas consecutivas de encadenamiento sin ningún nuevo estudio incluido. Campos del registro: fecha, fuente, cadena exacta, filtros, resultados, nombre del archivo exportado, persona. La rúbrica premia una búsqueda que encontraría el informe de la NAO —imposible solo con bases de datos bibliográficas— y una comprobación de elementos conocidos que pueda ejecutarse realmente.

EX004 — Deduplicación y acuerdo. (1) La salida esperada es la del §1.9: 20 identificados, 5 duplicados, 15 cribados, κ = 0,571. (2) Con el registro del signo «&» añadido e I agregado para ambos revisores, la salida es records identified: 21 duplicates removed: 5 screened: 16, po=0.812 pe=0.547 kappa=0.586: el registro no se eliminó. El título normalizado "ransomware emergency department crowding at neighbouring hospitals" difiere de "ransomware and emergency department crowding…" porque el normalizador elimina «&», pero no lo convierte en «and». Corrección: sustituir «&» por " and " antes de eliminar la puntuación y añadir una revisión manual de las coincidencias aproximadas (por ejemplo, títulos cuyas formas normalizadas difieren en una palabra). (3) Partiendo del laboratorio original, cambiar a I la decisión de B sobre el artículo de las subestaciones da po=0.733 pe=0.547 kappa=0.412. (4) El acuerdo bruto bajó 6,7 puntos, pero la kappa bajó de 0,571 a 0,412, porque la kappa reescala el acuerdo por encima del azar sobre el intervalo restante: con un acuerdo por azar cercano a 0,55, solo 0,45 de la escala se «gana», de modo que un desacuerdo adicional entre 15 registros elimina una gran parte de ella.

EX005 — Reparar los criterios de elegibilidad. Criterios para la literatura gris: incluir los informes de organismos gubernamentales, reguladores, oficinas de auditoría, coaliciones sanitarias, organismos de EMS o asociaciones de hospitales que describan los efectos operativos (actividad, desvío, retrasos, cancelaciones) de un incidente cibernético o de una interrupción informática concretos sobre una o más organizaciones de atención sanitaria; excluir los documentos que describen procedimientos, orientaciones o productos sin comunicar los efectos de un evento, y el marketing de proveedores. Decisiones: el memorando del departamento estatal de salud sobre los procedimientos de funcionamiento sin sistemas → excluir (procedimiento sin efectos), salvo que el texto completo comunique los efectos de un evento; el informe de ejercicio de la coalición → excluir para PI1–2 (un ejercicio no es un evento), pero conservarlo en una lista aparte de «métodos y planificación» útil para PI3 y para la discusión; el libro blanco del proveedor → excluir. Un registro que sigue siendo indecidible a partir de su primera página pasa a revisión del texto completo en lugar de excluirse, para que la incertidumbre no reduzca en silencio la base de evidencia.

EX006 — Matriz de conceptos. Fila de la NAO: unidad — organizaciones del NHS en Inglaterra; exposición — WannaCry, mayo de 2017; comparación — ninguna en sentido estadístico; una investigación de lo que ocurrió y por qué; resultados — al menos 81 de 236 trusts afectados, más 603 organizaciones de atención primaria y otras del NHS (entre ellas 595 consultorios de medicina general); 6912 citas registradas como canceladas y más de 19 000 estimadas en total; diseño — investigación de auditoría; respalda — la escala de la interrupción y la brecha entre las cancelaciones registradas y las estimadas; rivales planteados o abiertos — registro incompleto; desconexión preventiva de organizaciones no afectadas. Párrafo modelo: «La evidencia sobre los efectos regionales proviene de tres tipos de estudio. Las investigaciones de auditoría (NAO, 2017) establecen la escala de la interrupción, pero se basan en recuentos registrados que subestiman los totales. Los análisis de datos administrativos (Ghafur et al., 2019) cuantifican la reducción de la actividad en los trusts infectados —alrededor de un 6 % menos de ingresos por hospital infectado y por día— y no encuentran diferencias en las muertes en A&E, una medida que los autores califican de tosca. Un estudio antes-después de SU vecinos (Dameff et al., 2023) asocia un periodo de ataque con un aumento del volumen en vecinos no afectados. Ningún estudio compara todavía a los vecinos con una región no afectada ni examina la distancia…». La rúbrica premia la distinción entre lo registrado y lo estimado y la organización por concepto.

EX007 — Memorando de estimando y alcance. Estimando de PI1: «Para cada uno de Alder Point, Brookfield y Calloway: exp(β₂) − 1, la diferencia porcentual entre la media diaria de llegadas de ambulancias durante los días 0–20 y las llegadas esperadas a partir de la tendencia previa al evento del SU ajustada por el cambio simultáneo en las llegadas agrupadas de Wexmoor». PI2: «el patrón de estas tres estimaciones frente a la distancia, resumido como la diferencia entre la estimación del SU más cercano y la media de las estimaciones de los dos SU más distantes, con intervalos». Estimandos alternativos que podría calcular un analista descuidado: el aumento del primer día (solo capta el choque inicial); el aumento respecto a los mismos días del año pasado (confundido por un año de tendencia y una estación distinta); el número total de pacientes adicionales en 21 días (otra escala, sensible al tamaño de la línea base). Afirmación esperada como en el §1.2.1; fuera del alcance: los resultados en pacientes, el efecto del ransomware como algo distinto del desvío, otras regiones.