Capítulo 8 — Revisión independiente y defensa

Capítulo 8 — Revisión independiente y defensa

Mapa de la lección

Lección 08 publicada. Mapa, ejemplo, EX045.

flowchart TD
  N0["Resultados de aprendizaje y conexión"]
  N1["8.1 Cómo leen los examinadores"]
  N2["8.2 Familias de preguntas"]
  N3["8.3 «¿Y si hubiera elegido de otro modo?»: la curva"]
  N4["8.4 Preparar la defensa"]
  N5["8.5 Después de la defensa: correcciones"]
  N6["8.6 Compartir los resultados con responsabilidad"]
  N7["8.8 Próximos pasos después de la maestría"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX045"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje y conexión"]
  N1["8.1 Cómo leen los examinadores"]
  N2["8.2 Familias de preguntas"]
  N3["8.3 «¿Y si hubiera elegido de otro modo?»: la curva"]
  N4["8.4 Preparar la defensa"]
  N5["8.5 Después de la defensa: correcciones"]
  N6["8.6 Compartir los resultados con responsabilidad"]
  N7["8.8 Próximos pasos después de la maestría"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX045"]

[Resultados de aprendizaje y conexión]
    |
    v
[8.1 Cómo leen los examinadores]
    |
    v
[8.2 Familias de preguntas]
    |
    v
[8.3 «¿Y si hubiera elegido de otro modo?»: la curva]
    |
    v
[8.4 Preparar la defensa]
    |
    v
[8.5 Después de la defensa: correcciones]
    |
    v
[8.6 Compartir los resultados con responsabilidad]
    |
    v
[8.8 Próximos pasos después de la maestría]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX045]

Resultados de aprendizaje y conexión

Al final de este capítulo, el estudiante será capaz de:

1. Explicar cómo suelen leer los examinadores una tesis y preparar el documento y al candidato para esa lectura.
2. Anticipar las familias de preguntas que los examinadores plantean a un estudio aplicado y preparar respuestas basadas en la evidencia, incluidas respuestas honestas del tipo «no lo sé».
3. Responder a «¿y si hubiera elegido de otro modo?» con una curva de especificaciones que muestre cómo depende la estimación principal de elecciones de análisis defendibles, y explicar por qué la robustez frente a las elecciones no equivale a exactitud.
4. Realizar una defensa simulada y usarla para encontrar lagunas en el trabajo, no solo en la presentación.
5. Responder al informe de los examinadores con una tabla de correcciones que asigne a cada comentario una acción y una ubicación.
6. Compartir los hallazgos con los socios y con el sector sin revelar información sensible, y dirigir a la parte adecuada cualquier debilidad de seguridad encontrada de forma incidental.

Este capítulo cierra el ciclo de la tesis que comenzó en el capítulo 1. Se apoya en todos los capítulos anteriores: la pregunta y el alcance (1), la literatura y el mapa del seminario (2), el diseño y la ética (3), la tabla de rivales (4), los elementos fijados de la propuesta (5), el análisis (6) y el registro de resultados y afirmaciones (7).

8.1 Cómo leen los examinadores

Los formatos de examen varían mucho. Algunas tesis de maestría se evalúan solo a partir del documento escrito, por un examinador interno y uno externo; otras incluyen una defensa oral (viva voce) o una presentación. Los resultados suelen incluir la aceptación, la aceptación con correcciones menores o mayores, la nueva presentación o el suspenso; el reglamento de su institución es la única autoridad sobre cuáles se aplican. La investigación sobre cómo evalúan las tesis los examinadores experimentados —sobre todo en el doctorado, pero instructiva para el trabajo de maestría— sugiere patrones para los que conviene prepararse. Mullins and Kiley (2002) entrevistaron a examinadores experimentados e informaron de que, en general, esperan que una tesis apruebe, se forman primeras impresiones a partir de los capítulos inicial y final, buscan coherencia entre la pregunta, el trabajo y las conclusiones, y les irrita el descuido en la presentación, que tiñe su lectura del resto. Las implicaciones prácticas son sencillas: el resumen, la introducción y la conclusión deben ser precisos y coherentes; las preguntas deben responderse de forma visible en el orden en que se plantearon; y los errores pequeños —cifras incoherentes, referencias rotas, figuras sin rotular— cuestan más de lo que su tamaño sugiere. La comprobación de procedencia y el registro de resultados y afirmaciones del capítulo 7 existen precisamente para este lector.

8.2 Familias de preguntas

Las preguntas de los examinadores sobre un estudio aplicado de infraestructura se agrupan en familias reconocibles. Prepare al menos dos preguntas por familia, con respuestas que citen su evidencia.

8.3 «¿Y si hubiera elegido de otro modo?»: la curva de especificaciones

8.3.1 La idea

Todo análisis implica elecciones defendibles de más de una manera: la longitud de la línea de base, las unidades de comparación, la longitud de la ventana del evento, si excluir los festivos. Un análisis primario preespecificado protege contra elegir después de ver los resultados (capítulo 6), pero un examinador puede preguntar con razón si la conclusión depende de las elecciones concretas que se hicieron. Una curva de especificaciones responde estimando el efecto bajo todas las combinaciones de elecciones razonables y comunicando la distribución completa (Simonsohn, Simmons and Nelson, 2020); un análisis multiverso aplica la misma idea a las elecciones de procesamiento de datos (Steegen et al., 2016). La estimación preespecificada sigue siendo la primaria; la curva muestra cuán frágil o robusta es.

8.3.2 Actividad práctica: la curva de especificaciones del Estudio de Desbordamiento

Guarde antes el laboratorio 4 como lab4_data.py y el laboratorio 6 como lab6_its.py. El laboratorio siguiente estima el efecto en Alder Point bajo 54 especificaciones: línea de base de 90, 120 o 180 días; comparación W1, W2 o agrupada; ventana del evento de 14, 21 o 28 días; festivos mantenidos o eliminados.

# Lab 8 - specification curve for the examiner's "what if you had chosen differently?" (offline)
# Save Lab 4 as lab4_data.py and Lab 6 as lab6_its.py in the same folder first.
import itertools, statistics
from lab4_data import make_region, DAYS
from lab6_its import cits

d = make_region()
controls = {"W1": d["W1"], "W2": d["W2"], "pooled": {t: d["W1"][t] + d["W2"][t] for t in DAYS}}
specs = []
for pre_len, ctrl, ev_len, drop_hol in itertools.product((90, 120, 180), controls, (14, 21, 28), (False, True)):
    drop = frozenset({-100, 45}) if drop_hol else frozenset()
    est, lo, hi = cits(d["AP"], controls[ctrl], pre_len=pre_len, ev_len=ev_len, drop=drop)
    specs.append((est, lo, hi, pre_len, ctrl, ev_len, drop_hol))
specs.sort()
ests = [s[0] for s in specs]
print(f"specifications: {len(specs)}")
print(f"median effect {statistics.median(ests):+.3f}; range {ests[0]:+.3f} to {ests[-1]:+.3f}")
print(f"intervals excluding zero: {sum(s[1] > 0 for s in specs)} of {len(specs)}")
for label, idx in (("pre_len", 3), ("control", 4), ("event_len", 5), ("drop_holidays", 6)):
    groups = {}
    for s in specs:
        groups.setdefault(s[idx], []).append(s[0])
    print(label + ": " + ", ".join(f"{k}={statistics.median(v):+.3f}" for k, v in sorted(groups.items(), key=lambda kv: str(kv[0]))))
print("lowest three:", [(round(s[0], 3), s[3], s[4], s[5], s[6]) for s in specs[:3]])

Salida esperada:

specifications: 54
median effect +0.245; range +0.199 to +0.332
intervals excluding zero: 54 of 54
pre_len: 120=+0.237, 180=+0.205, 90=+0.271
control: W1=+0.221, W2=+0.259, pooled=+0.238
event_len: 14=+0.237, 21=+0.260, 28=+0.217
drop_holidays: False=+0.244, True=+0.246
lowest three: [(0.199, 180, 'pooled', 14, False), (0.201, 180, 'pooled', 14, True), (0.202, 180, 'W2', 28, False)]

Lectura de la curva:

• La conclusión sobre Alder Point es robusta frente a estas elecciones. Los 54 intervalos excluyen el cero; la estimación mediana es +24,5 % y el rango va de +19,9 % a +33,2 %. Ninguna elección razonable de este conjunto convierte el aumento en «sin efecto».
• Las elecciones siguen moviendo la estimación. Las líneas de base más cortas dan estimaciones mayores (mediana +27,1 % con 90 días, +20,5 % con 180), porque la tendencia lineal ajustada a un periodo más corto es menos estable. W2 como única comparación da estimaciones mayores que W1. Una ventana de 21 días da la mayor mediana porque coincide con el periodo de desvío verdadero; 14 días omite una parte y 28 días lo diluye con la cola.
• Los festivos apenas importan (mediana +24,4 % mantenidos, +24,6 % eliminados): los festivos regionales caen fuera de la ventana del evento y afectan a ambas regiones.

Ejecutar la misma curva para Brookfield (EX045) da una mediana de +2,5 %, un rango de −1,5 % a +6,9 % y ningún intervalo que excluya el cero. El resultado de Brookfield es robustamente no concluyente; y, sin embargo, el efecto verdadero del generador era +10 %, por encima de las 54 estimaciones puntuales. Este es el límite de la curva de especificaciones: muestra cuánto depende una conclusión de las elecciones de análisis, pero todas las especificaciones usan los mismos datos con el mismo ruido. La robustez frente a las elecciones no es exactitud. Solo más información —más eventos, más vecinos, datos más finos— puede resolver Brookfield.

8.4 Preparar la defensa

8.4.1 El resumen inicial

Si el formato incluye una defensa oral, normalmente se le pedirá que resuma el trabajo en 10–15 minutos. Use la estructura de la presentación del seminario (capítulo 2) aplicada a su propio trabajo: la pregunta y por qué importa; el diseño y los datos; los resultados principales con sus intervalos; lo que el diseño descarta y lo que deja abierto; las limitaciones y lo siguiente. Muestre la curva de especificaciones si es probable que los examinadores pregunten por las elecciones. Termine con la respuesta acotada a cada pregunta de investigación con las palabras de la tesis.

8.4.2 Defensas simuladas

Pida a dos personas que le examinen durante una hora —idealmente un metodólogo y un profesional del sector— con las familias de preguntas del §8.2. Grabe la sesión con su consentimiento. Después, clasifique cada pregunta que respondió mal en uno de tres tipos:

1. Lagunas de presentación: sabía la respuesta, pero no pudo encontrarla o decirla con claridad. Se corrigen con preparación.
2. Lagunas del documento: la tesis no contiene información que debería contener. Corrija la tesis antes de la entrega si es posible, o prepare una respuesta honesta.
3. Lagunas del trabajo: el estudio no puede responder a la pregunta. No las oculte; prepárese para enunciarlas como limitaciones y para describir el estudio que las abordaría.

8.4.3 Responder

Use los tres registros del seminario: «la tesis muestra…», «infiero…», «no lo sé; haría falta…». Conceda con prontitud lo que deba concederse; defender un punto indefendible daña la credibilidad de los defendibles. Cuando un examinador proponga un análisis alternativo, no improvise un resultado nuevo en la sala; explique qué esperaría y por qué, y ofrézcase a ejecutarlo como corrección si se le pide. Cuando le pregunten por el mundo real, recuerde el alcance: en el estudio sintético de este libro no se sabe nada sobre hospitales reales.

8.5 Después de la defensa: correcciones

Los informes de los examinadores enumeran las correcciones exigidas, a veces con recomendaciones. Responda con una tabla de correcciones:

Cuando discrepe, dígalo con cortesía, con razones y evidencia, como en la fila 3; los examinadores suelen aceptar un acuerdo parcial razonado. Conserve la tabla con la tesis corregida.

8.6 Compartir los resultados con responsabilidad

8.6.1 Primero los socios

Antes de cualquier presentación pública, dé a los socios la revisión de hechos y de información protegida prometida en el acuerdo de datos (capítulo 3), dentro de su plazo fijo y sin veto sobre los hallazgos. Ofrezca a cada socio una sesión informativa privada que incluya todo lo que le concierna específicamente; por ejemplo, que su SU supo del desvío de manera informal y tarde. Los hallazgos sobre las debilidades de una organización concreta pertenecen primero a esa organización.

8.6.2 El sector y el público

Un informe para la coalición regional de atención sanitaria puede presentar el patrón regional, el mecanismo y las recomendaciones con niveles de confianza:

• Confianza moderada: el SU abierto más cercano en las principales rutas de ambulancias absorbe la mayor parte de la carga desviada en los primeros días; los planes deberían nombrarlo y prever apoyo ante picos.
• Confianza moderada: los vecinos necesitan una notificación formal y temprana; el aviso informal a través de las dotaciones que llegaban costó horas.
• Confianza baja (no comprobado): unas reglas explícitas de reparto de la carga entre los SEM reducirían la carga máxima del SU más cercano.

No publique estimaciones de capacidad sobrante por instalación ni una lista ordenada de qué hospital causaría con su pérdida la mayor tensión regional; esos productos ayudarían a quien busque maximizar el daño y aportan poco valor defensivo más allá de las organizaciones afectadas (se aplican las preguntas sobre doble uso del libro de doctorado). Las regiones sintéticas o anonimizadas son aceptables para su publicación cuando su estructura no puede asociarse a un lugar real.

8.6.3 Hallazgos de seguridad incidentales

La investigación sobre operaciones revela a veces una debilidad de seguridad: un entrevistado menciona un servicio de acceso remoto expuesto, o un extracto de datos contiene credenciales. No la investigue, no la pruebe ni la describa públicamente. Comuníquela en privado a la organización afectada a través del contacto indicado en su acuerdo; si afecta a un producto de un proveedor y no a la configuración de una organización, la vía establecida es la divulgación coordinada de vulnerabilidades a través del proveedor o de un coordinador como el programa CVD de CISA. Registre lo que hizo e informe a su supervisor y al comité de ética si su protocolo lo exige.

8.7 Ejemplo resuelto: un intercambio en una defensa simulada (sintético)

Examinador (metodólogo): «Su resultado principal depende de que Wexmoor tuviera la misma estación. ¿Cómo sabe que la tuvo?».

Candidato: «La tesis muestra que el cociente previo al evento de Alder Point respecto de Wexmoor fue plano durante 180 días, sin ruptura de tendencia, y que el resultado se mantiene frente a cada hospital de Wexmoor por separado: la estimación más baja de la curva de especificaciones ronda el 20 %. Infiero que es improbable que una estación distinta en Wexmoor explique todo el aumento. No sé si la estación respiratoria de Wexmoor empezó exactamente el mismo día; harían falta datos de vigilancia regional que no tenía, y figura en las limitaciones con su dirección probable: si la estación de Wexmoor hubiera sido más suave, mi estimación sería demasiado alta».

Examinador (profesional): «Los responsables de Brookfield dijeron que estaban desbordados. Sus cifras dicen que no pasó nada. ¿Quién tiene razón?».

Candidato: «Mis cifras no dicen que no pasara nada: la estimación de Brookfield es +5,8 %, con un intervalo de alrededor de −7 % a +20 %, así que no pueden distinguir la ausencia de cambio de un cambio sustancial. Las entrevistas describen noches duras y una escasez de personal concurrente. La presentación conjunta lo comunica como una discordancia con tres explicaciones posibles. Zanjarlo requeriría datos horarios y registros de personal».

Examinador: «Entonces, ¿deberían las coaliciones planificar un desbordamiento más allá del hospital más cercano?».

Candidato: «Este estudio no puede decirles cuánto. Puede decirles que el SU más cercano en las rutas principales absorbió la mayor parte de la carga en este evento y que la evidencia sobre los hospitales más distantes no es concluyente, en lugar de negativa».

Las respuestas usan los tres registros, conceden con prontitud, citan la evidencia y mantienen las afirmaciones dentro del diseño.

8.8 Próximos pasos después de la maestría

Una tesis terminada deja una lista de estudios que reducirían su incertidumbre restante: agrupar varios eventos de desvío con métodos para momentos escalonados; resultados horarios y ponderados por gravedad; evaluar un protocolo de reparto de la carga. Algunos son proyectos prácticos para un operador o una coalición; otros tienen escala doctoral. El curso de doctorado de esta área muestra cómo una pregunta así se convierte en una contribución original con validación independiente. En el itinerario de estudio, el siguiente curso es el itinerario doctoral de Ciberseguridad.

8.9 Errores comunes y límites

• Tratar el resumen y la conclusión como formalidades; los examinadores los leen primero.
• Preparar respuestas sobre la presentación, pero no sobre las lagunas reales del trabajo.
• Tratar una curva de especificaciones como prueba de verdad y no de robustez frente a las elecciones.
• Improvisar análisis nuevos en la defensa.
• Defender todos los puntos por igual, incluidos los indefendibles.
• Responder a las correcciones sin una tabla que asigne a cada comentario un cambio.
• Presentar públicamente los hallazgos antes de que los socios hayan hecho la revisión acordada.
• Publicar detalles de capacidad o de vulnerabilidades por instalación.
• Investigar un hallazgo de seguridad incidental en lugar de comunicarlo en privado.

El límite del examen es que juzga la tesis, no el mundo. Aprobar confirma que el estudio se hizo con competencia y que sus afirmaciones están acotadas; no hace generales los hallazgos sintéticos o de una sola región.

Ejercicios — capítulo 8

EX045 — Curvas de especificaciones para dos centros. Objetivo: usar el laboratorio 8. Entradas: laboratorios 4, 6 y 8. Restricciones: sin conexión. Pasos: (1) ejecute el laboratorio 8 y registre la salida; (2) sustituya d["AP"] por d["BF"] y registre la salida; (3) compare las dos curvas; (4) explique por qué el efecto verdadero del 10 % de Brookfield queda por encima de todas las estimaciones puntuales y qué dice esto sobre las curvas de especificaciones. Evidencia esperada: salidas y un párrafo. Rúbrica: 3 = ambas salidas correctas, Brookfield descrito como robustamente no concluyente, el límite (mismos datos, mismo ruido; la robustez no es exactitud) explicado; 2 = una salida errónea; 1 = Brookfield descrito como «sin efecto»; 0 = nada.

EX046 — Banco de preguntas. Objetivo: prepararse para los examinadores. Entradas: el §8.2 y su propia tesis o la del Estudio de Desbordamiento. Restricciones: dos preguntas por familia; respuestas de 120 palabras como máximo que citen la evidencia. Pasos: (1) redacte las preguntas; (2) redacte las respuestas usando los tres registros; (3) marque las tres más difíciles y la laguna que revela cada una (de presentación, del documento o del trabajo). Evidencia esperada: banco de preguntas. Rúbrica: 3 = las preguntas más difíciles lo son de verdad (tendencias paralelas, discordancia de Brookfield, transferencia), las respuestas citan la evidencia y conceden cuando procede, las lagunas están bien tipificadas; 2 = respuestas genéricas; 1 = preguntas fáciles; 0 = nada.

EX047 — Tabla de correcciones. Objetivo: responder a los examinadores. Entradas: un informe sintético con cuatro comentarios: (a) «La revisión de la literatura va autor por autor»; (b) «¿Por qué se incluyó el escalón posterior al desvío? Parece una forma de absorber datos incómodos»; (c) «La sección de ética no menciona la revisión por los socios»; (d) «Añada resultados en los pacientes». Restricciones: el formato de tabla del §8.5. Pasos: responda a cada uno con de acuerdo, parcialmente de acuerdo o en desacuerdo, dando razones y acciones. Evidencia esperada: tabla. Rúbrica: 3 = (a) aceptado y reestructurado por conceptos, (b) defendido con la preespecificación y el motivo (evitar que la cola contamine la tendencia) y con un análisis de sensibilidad ofrecido, (c) aceptado y añadido, (d) declinado por quedar fuera del alcance y de las aprobaciones, con una nota de trabajo futuro; 2 = una respuesta sin razonar; 1 = acepta todo, incluido (d); 0 = nada.

EX048 — Defensa simulada y clasificación de lagunas. Objetivo: usar una defensa simulada para mejorar el trabajo. Entradas: su tesis o los materiales del Estudio de Desbordamiento. Restricciones: una simulación de 45 minutos con dos examinadores; grabación consentida. Pasos: (1) realice la simulación; (2) enumere cada respuesta débil; (3) clasifíquelas en lagunas de presentación, del documento y del trabajo; (4) corrija lo que pueda corregirse y redacte texto de limitaciones para el resto. Evidencia esperada: lista, clasificación y correcciones. Rúbrica: 3 = clasificación honesta con al menos una laguna del trabajo reconocida, correcciones del documento hechas, texto de limitaciones con dirección; 2 = todas las lagunas clasificadas como de presentación; 1 = sin simulación; 0 = nada.

EX049 — Informe para la coalición. Objetivo: compartir los hallazgos con responsabilidad. Entradas: los resultados y los temas del Estudio de Desbordamiento. Restricciones: una página; recomendaciones con niveles de confianza; un párrafo de «lo que este estudio no muestra»; ninguna cifra de capacidad por instalación. Pasos: (1) redacte; (2) marque cada frase con su fuente en la tesis; (3) enumere lo que se compartió en privado con socios concretos en su lugar. Evidencia esperada: informe y lista. Rúbrica: 3 = recomendaciones rastreables y calibradas, recomendaciones no comprobadas etiquetadas, límites explícitos, detalles sensibles comunicados en privado; 2 = una recomendación sin calibrar; 1 = se publican debilidades de instalaciones concretas; 0 = nada.

EX050 — El siguiente estudio. Objetivo: convertir las limitaciones en una propuesta viable. Entradas: las limitaciones con dirección del §7.6. Restricciones: una página; elegir la limitación cuya resolución más cambiaría las conclusiones. Pasos: (1) justifique la elección; (2) enuncie la pregunta y el estimando; (3) elija un diseño y los datos que necesita; (4) enuncie el resultado que cambiaría las decisiones de los planificadores; (5) diga si es un proyecto de maestría, de doctorado o profesional y por qué. Evidencia esperada: propuesta de una página. Rúbrica: 3 = la limitación elegida es trascendente (por ejemplo, un solo evento), el diseño es viable (eventos agrupados con métodos para momentos escalonados, o datos horarios ponderados por gravedad), se enuncia un resultado relevante para la decisión y el juicio sobre la escala está razonado; 2 = diseño vago; 1 = repite el estudio original; 0 = nada.

Síntesis del capítulo

Los examinadores leen buscando coherencia y les influye el cuidado; haga que el resumen, la introducción y la conclusión sean precisos y coherentes, y que las respuestas a cada pregunta sean visibles. Prepárese con evidencia para familias de preguntas previsibles. Responda al «¿y si…?» con una curva de especificaciones que mantenga como primaria la estimación preespecificada y muestre su dependencia de elecciones razonables, recordando que la robustez frente a las elecciones no es exactitud, como muestra la estimación robustamente no concluyente de un efecto real en Brookfield. Use las defensas simuladas para encontrar lagunas en el trabajo, no solo en la exposición. Responda a las correcciones con una tabla de correspondencias y razones. Comparta primero con los socios, publique patrones regionales y no debilidades por instalación, y comunique en privado los hallazgos de seguridad incidentales. Las limitaciones de la tesis se convierten en el siguiente estudio.

Siga estudiando — capítulo 08 de 08

← Capítulo 07 · Índice de capítulos del curso · Siguiente curso desde el índice de capítulos →

Este es el último capítulo de este curso; el índice enlaza con el siguiente curso del itinerario completo de estudio.