Capítulo 3 — Diseño del estudio, ética y reproducibilidad

Capítulo 3 — Diseño del estudio, ética y reproducibilidad

Mapa de la lección

Lección 03 publicada. Mapa, ejemplo, EX015.

flowchart TD
  N0["Resultados de aprendizaje y conexión"]
  N1["3.1 Diseños para un evento que nadie asignó"]
  N2["3.2 Amenazas a la validez"]
  N3["3.3 Análisis del diseño antes de los datos"]
  N4["3.4 Revisión ética"]
  N5["3.5 Acuerdos de datos y plan de gestión de datos"]
  N6["3.6 Un proyecto reproducible desde el primer día"]
  N7["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX015"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje y conexión"]
  N1["3.1 Diseños para un evento que nadie asignó"]
  N2["3.2 Amenazas a la validez"]
  N3["3.3 Análisis del diseño antes de los datos"]
  N4["3.4 Revisión ética"]
  N5["3.5 Acuerdos de datos y plan de gestión de datos"]
  N6["3.6 Un proyecto reproducible desde el primer día"]
  N7["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX015"]

[Resultados de aprendizaje y conexión]
    |
    v
[3.1 Diseños para un evento que nadie asignó]
    |
    v
[3.2 Amenazas a la validez]
    |
    v
[3.3 Análisis del diseño antes de los datos]
    |
    v
[3.4 Revisión ética]
    |
    v
[3.5 Acuerdos de datos y plan de gestión de datos]
    |
    v
[3.6 Un proyecto reproducible desde el primer día]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX015]

Resultados de aprendizaje y conexión

Al final de este capítulo, el estudiante será capaz de:

1. Comparar los diseños disponibles para una pregunta causal sobre un evento de infraestructura no planificado —antes-después, serie temporal interrumpida, serie temporal interrumpida controlada, diferencias en diferencias, control sintético, estudio de caso y métodos mixtos— y elegir uno según los supuestos que necesita y los datos que requiere.
2. Nombrar las principales amenazas a la validez interna, de constructo, de conclusión estadística y externa, y asociar cada una a un rasgo del diseño que la reduzca.
3. Realizar un análisis del diseño antes de acceder a los datos: estimar qué tamaño de efecto puede detectar el diseño previsto y cuán sesgado sería un diseño más simple.
4. Preparar una solicitud ética para un estudio que combina datos operativos agregados y entrevistas, incluidos los riesgos para el personal, las organizaciones y el público, y las salvaguardas de sensibilidad de la información.
5. Especificar acuerdos de datos y un plan de gestión de datos proporcionado a la sensibilidad de los datos.
6. Montar un proyecto reproducible —estructura, entorno, semillas, libro de códigos, control de versiones y un plan de preanálisis registrado— antes de que lleguen los primeros datos.

El capítulo convierte el estimando del capítulo 1 en un diseño. El capítulo 4 examina las explicaciones rivales que el diseño debe derrotar; el capítulo 5 pone a prueba la viabilidad; el capítulo 6 ejecuta el análisis especificado aquí.

3.1 Diseños para un evento que nadie asignó

3.1.1 El problema central

Un ataque de ransomware no es un experimento: nadie lo asignó al azar a Kestrel ni eligió su momento para ayudar a los investigadores. Por eso, todo diseño para el Estudio de Desbordamiento es una forma de aproximar el contrafactual —cuáles habrían sido las llegadas a Alder Point sin el desvío— a partir de datos que existen. Los diseños difieren en dónde encuentran esa aproximación y en los supuestos que la hacen válida.

Si el estudio agrupa varios eventos en momentos distintos —por ejemplo, ataques a distintos sistemas hospitalarios en años distintos—, las diferencias en diferencias estándar con efectos fijos bidireccionales pueden asignar ponderaciones engañosas a algunas comparaciones; Goodman-Bacon (2021) descompone el estimador y Roth et al. (2023) revisan las alternativas. Un estudio de maestría de un solo evento evita ese problema, pero renuncia a la generalidad.

3.1.2 La elección del Estudio de Desbordamiento

El estudio usa una serie temporal interrumpida controlada para PI1 y PI2: llegadas diarias de ambulancias a cada SU vecino durante 180 días antes y 90 días después del día 0, en relación con los SU de Wexmoor agrupados, con una tendencia lineal, un escalón para la ventana de desvío de 21 días y un escalón para el periodo siguiente. Añade entrevistas para PI3. Las razones, registradas en la propuesta: la región de comparación elimina el cambio estacional compartido (una STI no controlada no puede); dos SU de Wexmoor son muy pocos donantes para un control sintético; los datos diarios dan suficientes puntos temporales para la tendencia; y los planificadores necesitan el mecanismo (PI3) tanto como la cifra.

Una revisión metodológica de estudios de STI que evaluaban intervenciones en sistemas de salud encontró que el 81 % no usaba ninguna serie de control, que solo el 55 % consideraba la autocorrelación, el 20,8 % la estacionalidad y el 8,3 % la no estacionariedad, y que solo el 49,2 % especificaba la forma esperada del impacto (Hategeka et al., 2020). Esos son los fallos comunes que el diseño de este capítulo está construido para evitar.

3.2 Amenazas a la validez

El vocabulario siguiente es estándar en los métodos cuasiexperimentales. Asocie cada amenaza al rasgo del diseño que la aborda y admita las amenazas que ningún rasgo aborda.

3.3 Análisis del diseño antes de los datos

3.3.1 Por qué calcular antes de recopilar

En un experimento planificado, un cálculo del tamaño muestral fija cuántos participantes reclutar. Un estudio observacional de un solo evento no puede reclutar más eventos, pero puede y debe preguntarse antes de acceder a los datos: ¿qué tamaño de efecto podría detectar este diseño y cuánto se equivocaría un diseño más simple? Lakens (2022) enumera seis formas de justificar un tamaño muestral, entre ellas medir (casi) toda la población, aceptar las limitaciones de recursos y planificar para una precisión deseada; sea cual sea la que se use, el investigador debe enunciar qué efectos pueden informar los datos y cuáles no. En el Estudio de Desbordamiento, la muestra la fija el evento: un desvío de 21 días y tantos días previos al evento como puedan aportar los socios.

3.3.2 El menor efecto de interés

Un análisis del diseño necesita un efecto de referencia. La coalición de Tamsin Valley (sintética) activa la ayuda mutua cuando un SU espera cuatro o más llegadas de ambulancias adicionales al día, alrededor del 10 % sobre la línea de base de 40 de Alder Point. Eso da al estudio un menor efecto de interés basado en una decisión real: el 10 %. Escriba de dónde salió la cifra; un tamaño de efecto inventado para que un estudio parezca tener potencia suficiente es una debilidad común y fácil de detectar.

3.3.3 Simular el diseño

El laboratorio siguiente simula muchas veces el estudio previsto bajo verdades conocidas, con llegadas diarias sintéticas que tienen variación por día de la semana y variación adicional de un día a otro. Compara un diseño no controlado (el cambio del SU tratado respecto de su propia línea de base) con un diseño controlado (el mismo cambio menos el cambio en un SU de comparación no afectado), para líneas de base de 28, 90 y 180 días, con y sin un aumento estacional compartido que comienza cerca del día 0. Informa del efecto estimado medio (sesgo) y de la proporción de estudios simulados en los que el intervalo del 95 % excluye el cero («señalados»).

# Lab 3 - design check before data access: bias and detection of two designs (offline, standard library only)
# Synthetic daily ambulance arrivals at a neighbouring hospital (treated) and an unaffected comparison hospital.
# Days -pre..-1 are baseline; days 0..20 are the 21-day diversion window at the attacked hospital.
import math, random

DOW = [1.08, 1.02, 1.00, 0.98, 1.00, 0.96, 0.96]

def poisson(rng, lam):                        # Knuth's method; adequate for lam < ~500
    L, k, p = math.exp(-lam), 0, 1.0
    while True:
        p *= rng.random()
        if p <= L:
            return k
        k += 1

def season(t, ramp):                          # respiratory season starting around day 0, shared by both
    return 1 + (0.18 / (1 + math.exp(-(t - 10) / 6)) if ramp else 0.0)

def day(rng, base, t, effect, ramp):
    lam = base * DOW[t % 7] * season(t, ramp) * (1 + effect) * rng.gammavariate(60, 1 / 60)
    return poisson(rng, lam)

def mean_var(x):
    m = sum(x) / len(x)
    return m, sum((v - m) ** 2 for v in x) / (len(x) - 1)

def log_ratio(pre, ev):                       # log(mean_event / mean_pre) and its approximate SE
    mp, vp = mean_var(pre)
    me, ve = mean_var(ev)
    return math.log(me / mp), math.sqrt(ve / (len(ev) * me ** 2) + vp / (len(pre) * mp ** 2))

def one_study(rng, pre_len, effect, ramp):
    days = range(-pre_len, 21)
    tr = {t: day(rng, 40, t, effect if t >= 0 else 0.0, ramp) for t in days}
    co = {t: day(rng, 35, t, 0.0, ramp) for t in days}
    pre, ev = [t for t in days if t < 0], [t for t in days if t >= 0]
    u, su = log_ratio([tr[t] for t in pre], [tr[t] for t in ev])           # uncontrolled pre/post
    c1, s1 = log_ratio([co[t] for t in pre], [co[t] for t in ev])
    return (u, su), (u - c1, math.sqrt(su ** 2 + s1 ** 2))                  # controlled (DiD on logs)

def run(pre_len, effect, ramp, sims=400, seed=11):
    rng = random.Random(seed)
    res = {"uncontrolled": [], "controlled": []}
    for _ in range(sims):
        a, b = one_study(rng, pre_len, effect, ramp)
        res["uncontrolled"].append(a)
        res["controlled"].append(b)
    out = {}
    for k, v in res.items():
        est = [math.exp(e) - 1 for e, _ in v]
        hits = sum(abs(e) / s > 1.96 for e, s in v) / sims
        out[k] = (sum(est) / sims, hits)
    return out

if __name__ == "__main__":
    print("season  true  pre_days  design        mean_est  share_flagged")
    for ramp in (False, True):
        for effect in (0.0, 0.10):
            for pre_len in (28, 90, 180):
                r = run(pre_len, effect, ramp)
                for k in ("uncontrolled", "controlled"):
                    m, h = r[k]
                    print(f"{'ramp' if ramp else 'flat':6}  {effect:4.2f}  {pre_len:8d}  {k:12}  {m:+8.3f}  {h:13.2f}")

Salida esperada (unos tres segundos):

season  true  pre_days  design        mean_est  share_flagged
flat    0.00        28  uncontrolled    +0.004           0.06
flat    0.00        28  controlled      +0.010           0.04
flat    0.00        90  uncontrolled    +0.001           0.04
flat    0.00        90  controlled      +0.004           0.02
flat    0.00       180  uncontrolled    +0.004           0.05
flat    0.00       180  controlled      +0.000           0.04
flat    0.10        28  uncontrolled    +0.102           0.39
flat    0.10        28  controlled      +0.115           0.24
flat    0.10        90  uncontrolled    +0.105           0.52
flat    0.10        90  controlled      +0.110           0.33
flat    0.10       180  uncontrolled    +0.101           0.52
flat    0.10       180  controlled      +0.109           0.29
ramp    0.00        28  uncontrolled    +0.084           0.27
ramp    0.00        28  controlled      +0.003           0.07
ramp    0.00        90  uncontrolled    +0.088           0.40
ramp    0.00        90  controlled      +0.002           0.06
ramp    0.00       180  uncontrolled    +0.096           0.52
ramp    0.00       180  controlled      +0.006           0.07
ramp    0.10        28  uncontrolled    +0.191           0.84
ramp    0.10        28  controlled      +0.105           0.23
ramp    0.10        90  uncontrolled    +0.198           0.94
ramp    0.10        90  controlled      +0.106           0.28
ramp    0.10       180  uncontrolled    +0.202           0.97
ramp    0.10       180  controlled      +0.106           0.31

De ello se siguen cuatro conclusiones, y la propuesta debe enunciarlas antes de ver ningún dato:

1. Sin un desplazamiento estacional, ambos diseños son insesgados, y el diseño no controlado señala un efecto verdadero del 10 % con más frecuencia (alrededor del 52 % frente a alrededor del 30 % con 90 o 180 días de línea de base), porque restar una serie de comparación añade su ruido.
2. Con un aumento estacional compartido, el diseño no controlado está muy sesgado. Cuando el efecto verdadero es cero, estima alrededor de +8 % a +10 % y señala un efecto inexistente en el 27 % al 52 % de los estudios —con más frecuencia cuanto más larga es la línea de base, porque entonces la línea de base se remonta más hacia la temporada baja—. Más datos no resolvieron un problema de diseño; hicieron más confiada la conclusión falsa.
3. El diseño controlado elimina el sesgo estacional (estimaciones medias cercanas a cero; señalado en el 6–7 % de los estudios nulos, cerca del 5 % nominal dados los errores estándar aproximados), pero detecta un efecto verdadero del 10 % solo en el 23–31 % de los estudios.
4. Por tanto, un solo SU vecino no puede detectar de forma fiable el menor efecto de interés. El estudio debe plantearse como estimación con intervalos, no como una prueba que «demuestra» el desbordamiento; debe informar del intervalo y de los efectos que descarta; y el gradiente de distancia de PI2 debe leerse a través de los tres vecinos, no a partir de una sola prueba. (Las estimaciones controladas promedian alrededor de 0,105–0,115 cuando la verdad es 0,10 porque la media de los cocientes logarítmicos exponenciados es ligeramente mayor que la media exponenciada: un sesgo pequeño y conocido).

3.4 Revisión ética

3.4.1 Qué necesita revisión

Las entrevistas con responsables de SU, supervisores de SEM y personal de la coalición son investigación con participantes humanos en casi todas las jurisdicciones y necesitan la aprobación del comité de ética de la investigación o del comité institucional de revisión de la institución antes del reclutamiento. En los Estados Unidos, la Common Rule (45 CFR Part 46) define la investigación con seres humanos y las categorías que pueden quedar exentas; es la institución, no el estudiante, quien decide si un estudio cumple los requisitos. Los recuentos diarios agregados por SU no suelen contener información sobre personas, pero la institución puede exigir igualmente una revisión, y un custodio de datos puede exigir su propia aprobación. En la UE, los datos de salud son una categoría especial según el artículo 9 del RGPD, y el tratamiento con fines de investigación científica se apoya en las garantías del artículo 89. Nota para el lector hispanohablante: en España, el RGPD se complementa con la Ley Orgánica 3/2018, de Protección de Datos Personales y garantía de los derechos digitales; en América Latina rige la ley de cada país, por ejemplo la Ley 25.326 en Argentina o la Ley 1581 de 2012 en Colombia. Si alguna vez se necesitaran registros individuales, los datos de salud estadounidenses traerían consigo los estándares de desidentificación de la HIPAA Privacy Rule y, para un conjunto de datos limitado, un acuerdo de uso de datos (orientación del HHS). El Estudio de Desbordamiento evita por completo los registros individuales: la minimización de datos es la salvaguarda ética más fuerte disponible.

3.4.2 Riesgos propios de los estudios de infraestructura

Los principios del Menlo Report —respeto por las personas, beneficencia, justicia, y respeto por la ley y el interés público— estructuran el análisis de riesgos. En este estudio, los riesgos principales son:

• Para los entrevistados: que se les culpe de decisiones tomadas durante el incidente; la revelación de su identidad mediante la combinación de función y organización (hay un solo supervisor de operaciones de SEM en Tamsin Valley); consecuencias profesionales por criticar a un empleador o a un hospital vecino.
• Para las organizaciones: daño reputacional («Alder Point no pudo hacer frente»); exposición regulatoria; revelación de debilidades de seguridad en Kestrel.
• Para el público: un hallazgo publicado como «los SU de esta región pierden una cuarta parte de su capacidad sobrante cuando un sistema desvía» podría, combinado con otra información, ayudar a un adversario a elegir un objetivo que maximice el daño regional. Se aplica la prueba de sensibilidad de la información del libro de doctorado: ¿identifica un artefacto un activo concreto, su vulnerabilidad o su dependencia de un modo que ayudaría a alguien a dañarlo?
• Para el investigador: presión de los socios para suavizar los resultados; acceso a información para cuyo tratamiento el investigador no está formado.

3.4.3 Salvaguardas

3.4.4 La solicitud

Una solicitud típica contiene: la pregunta y su beneficio; el diseño y las fuentes de datos; el reclutamiento, el consentimiento y la retirada; los riesgos y las salvaguardas; el tratamiento, almacenamiento, conservación y destrucción de los datos; la difusión; los conflictos de intereses; y la formación del investigador. Adjunte la guía de entrevista, la hoja informativa, el formulario de consentimiento y los acuerdos de datos. Escriba para un miembro del comité que no sea especialista en seguridad: explique en lenguaje llano por qué un hallazgo sobre la capacidad regional es sensible.

3.5 Acuerdos de datos y plan de gestión de datos

Antes de que se mueva ningún dato, ponga por escrito: qué datos, con qué nivel de agregación y para qué periodo; la limitación de la finalidad; la ubicación del almacenamiento y el acceso; la conservación y la destrucción; la revisión previa a la publicación (solo revisión de hechos y de información protegida, dentro de un número fijo de días, sin veto); el reconocimiento y la autoría; y la notificación de brechas. Un plan de gestión de datos registra después, para cada activo de datos, su fuente, nivel de sensibilidad, formato, ubicación, quién puede acceder, la conservación y qué puede compartirse al final. Use los niveles de sensibilidad de forma coherente en todo el proyecto:

3.6 Un proyecto reproducible desde el primer día

La reproducibilidad es más fácil de construir que de añadir a posteriori. Sandve et al. (2013) dan diez reglas, entre ellas: registrar cómo se produjo cada resultado; evitar la manipulación manual de los datos; archivar las versiones exactas de los programas externos; poner bajo control de versiones los scripts propios; registrar los resultados intermedios; y anotar las semillas de los procesos aleatorios. El manual comunitario The Turing Way las desarrolla en la práctica. Los principios FAIR —localizable, accesible, interoperable, reutilizable— se aplican a lo que puede compartirse; para datos restringidos, los metadatos FAIR pueden describir un conjunto de datos que no puede publicarse.

Una estructura mínima:

spillover-study/
  README.md            question, how to run everything, environment, contacts
  data/raw/            read-only copies as received (restricted; never in version control)
  data/derived/        produced only by scripts
  code/01_audit.py     numbered in execution order
  code/02_build.py
  code/03_analysis.py
  output/              tables and figures, regenerated by scripts
  docs/codebook.md     every variable: source, definition, unit, missing-value code
  docs/deviations.md   every change to the plan, dated, with reason and whether results had been seen
  docs/environment.txt Python version and package versions

Un plan de preanálisis fija, antes de examinar los datos de resultado: los estimandos, los resultados primarios y secundarios, las unidades de comparación, las ventanas, el modelo, el método de intervalos, las comprobaciones de robustez y cómo se informará de las desviaciones. Registrarlo con una marca de tiempo —por ejemplo, en los OSF Registries— hace verificable el plan; Nosek et al. (2018) explican por qué el prerregistro distingue la predicción de la posdicción. En un estudio observacional, los datos pueden existir ya, así que indique con honestidad qué se había visto cuando se registró el plan (por ejemplo, «los datos previos al evento de un SU se examinaron durante el piloto solo para comprobar su completitud»).

3.7 Ejemplo resuelto: las preguntas del comité de ética (sintético)

El comité devolvió la primera solicitud del candidato con cinco preguntas. Las respuestas del candidato:

La solicitud se aprobó con una condición: el formulario de consentimiento debía indicar que el investigador no trabaja para ninguna organización participante y que no compartirá con ellas datos identificables.

3.8 Errores comunes y límites

• Elegir un diseño antes-después porque los datos son fáciles y después afirmar un efecto causal.
• Usar una STI no controlada cuando es plausible un choque compartido (estación, epidemia, política).
• Suponer tendencias paralelas sin inspeccionar las trayectorias previas al evento.
• Realizar un cálculo de potencia con un tamaño de efecto elegido para que el estudio parezca adecuado, en lugar de un menor efecto de interés ligado a una decisión.
• Creer que más datos de línea de base siempre reducen el sesgo; con una tendencia o un desplazamiento estacional, pueden aumentarlo.
• Presentar una solicitud ética que trata los datos agregados de infraestructura como exentos de riesgo.
• Aceptar una revisión por parte de un socio sin plazo y sin una cláusula de «sin veto sobre los hallazgos».
• Montar la reproducibilidad al final; ediciones manuales de archivos de datos que ningún script registra.
• Registrar un plan de preanálisis sin indicar qué datos se habían visto ya.

El límite del diseño es que solo puede reducir, no eliminar, la dependencia de supuestos no comprobables. Una STI controlada solo es creíble si la región de comparación no sufrió un choque distinto al mismo tiempo; el capítulo 4 pone a prueba ese supuesto hasta donde lo permiten los datos.

Ejercicios — capítulo 3

EX015 — Elegir y defender un diseño. Objetivo: seleccionar un diseño según los supuestos y los datos. Entradas: los diseños del §3.1.1; un escenario en el que un procesador regional de pagos sufrió una interrupción de tres días y usted dispone de recuentos semanales de transacciones con tarjeta para 40 categorías de comercios en la región afectada y en tres regiones no afectadas durante dos años. Restricciones: un diseño primario y un diseño de robustez. Pasos: (1) enuncie el estimando; (2) compare al menos tres diseños en cuanto a supuesto, datos y debilidad; (3) elija; (4) diga qué le haría abandonar la elección. Evidencia esperada: una página. Rúbrica: 3 = se reconoce la consecuencia de la resolución semanal para un evento de tres días, se enuncian supuestos de tendencias paralelas o de grupo de donantes comprobables y la condición de abandono es concreta; 2 = un diseño mal descrito; 1 = sin supuestos; 0 = nada.

EX016 — Análisis del diseño. Objetivo: encontrar el menor efecto de desbordamiento que un diseño antes-después controlado puede detectar de forma fiable y replantear PI1 para que se ajuste a esa potencia. Entradas: código del laboratorio 3. Restricciones: sin conexión; mantener la semilla 11 y 400 simulaciones. Pasos: (1) ejecute el laboratorio y registre la salida; (2) añada un efecto verdadero de 0,20 e informe de la proporción señalada del diseño controlado para 28, 90 y 180 días de línea de base con el aumento estacional; (3) enuncie el menor efecto que el diseño controlado detecta en al menos alrededor de tres cuartas partes de los estudios con 180 días; (4) reescriba PI1 como una pregunta de estimación que este diseño pueda responder con honestidad. Evidencia esperada: salidas, una frase sobre los efectos detectables, PI1 revisada. Rúbrica: 3 = valores correctos, efecto detectable enunciado como alrededor del 20 % y no del 10 %, PI1 replanteada hacia la estimación; 2 = un valor erróneo; 1 = no ejecutado; 0 = nada.

EX017 — Riesgos de la solicitud ética. Objetivo: identificar y mitigar riesgos. Entradas: un estudio que entrevista a operadores de una empresa de agua sobre una interrupción del sistema de desinfección en una empresa pequeña. Restricciones: usar los cuatro principios del Menlo Report; al menos cinco partes interesadas. Pasos: (1) enumere las partes interesadas y los riesgos; (2) proponga salvaguardas; (3) identifique el riesgo de sensibilidad de la información propio de una empresa pequeña; (4) redacte las dos frases de la hoja informativa sobre los límites de la confidencialidad. Evidencia esperada: tabla y texto redactado. Rúbrica: 3 = se reconoce el riesgo de identificación en una población pequeña, se aborda el riesgo de selección de objetivos por el público, las salvaguardas son concretas y el texto de la hoja informativa es honesto sobre los límites; 2 = un principio poco desarrollado; 1 = genérico; 0 = nada.

EX018 — Plan de gestión de datos. Objetivo: clasificar por niveles y tratar los datos. Entradas: los activos del Estudio de Desbordamiento: recuentos diarios de los custodios; recuentos de Wexmoor de un panel público; grabaciones de entrevistas; transcripciones; libro de códigos; código de análisis; formularios de consentimiento; los umbrales de ayuda mutua de la coalición. Restricciones: los tres niveles del §3.5. Pasos: asigne a cada uno un nivel, almacenamiento, acceso, conservación y forma de compartirlo al final del proyecto. Evidencia esperada: tabla. Rúbrica: 3 = niveles coherentes con la sensibilidad (grabaciones y formularios de consentimiento confidenciales, recuentos de los custodios restringidos, código y libro de códigos públicos), datos del panel público tratados según sus condiciones, umbrales de ayuda mutua tratados como sensibles; 2 = uno mal asignado; 1 = todo público o todo confidencial; 0 = nada.

EX019 — Plan de preanálisis. Objetivo: fijar el análisis antes de ver los resultados. Entradas: el §3.1.2 y los estimandos del capítulo 1. Restricciones: dos páginas como máximo. Pasos: especifique los estimandos, los resultados (primario y secundario), la comparación, las ventanas, el modelo, el método de intervalos, las comprobaciones de robustez, el tratamiento de la multiplicidad y la regla de desviaciones; indique qué datos se habían visto en el momento del registro. Evidencia esperada: plan. Rúbrica: 3 = cada elemento es lo bastante específico para que otro analista produzca la misma estimación, la regla de desviaciones es explícita y se divulga el acceso previo a los datos; 2 = un elemento vago; 1 = modelo sin especificar; 0 = nada.

EX020 — Auditoría de reproducibilidad. Objetivo: comprobar si un proyecto puede volver a ejecutarse. Entradas: una carpeta con los laboratorios de los capítulos 1 y 3 y sus salidas. Restricciones: una segunda persona lo vuelve a ejecutar solo a partir del README. Pasos: (1) escriba el README; (2) registre el entorno; (3) pida a otra persona que lo vuelva a ejecutar; (4) enumere cada punto en el que tuvo que preguntarle algo y corríjalo. Evidencia esperada: README, archivo de entorno y una lista de incidencias con sus correcciones. Rúbrica: 3 = la nueva ejecución tuvo éxito con salidas idénticas y cada pregunta queda respondida en el README; 2 = queda un paso manual; 1 = las salidas difieren sin explicación; 0 = nada.

Síntesis del capítulo

Un evento de infraestructura no planificado no ofrece aleatorización, así que todo diseño es una aproximación a un contrafactual, y su credibilidad descansa en supuestos que usted debe enunciar. Una serie temporal interrumpida controlada elimina los choques estacionales compartidos que un diseño antes-después o una STI no controlada atribuirían al evento; las entrevistas aportan el mecanismo. Asocie cada amenaza a la validez a un rasgo del diseño, o admítala. Simule el diseño antes de acceder a los datos: el laboratorio 3 muestra que un aumento estacional compartido hace que un diseño no controlado se equivoque con confianza —más aún con líneas de base más largas—, mientras que el diseño controlado es casi insesgado pero demasiado impreciso para detectar un efecto del 10 % en un solo SU. Plantee el estudio como estimación. La revisión ética debe abarcar a los entrevistados, a las organizaciones y al público, porque los hallazgos sobre la capacidad regional pueden ser sensibles. Los acuerdos, los niveles y un proyecto reproducible con un plan de preanálisis registrado van antes del primer archivo de datos.

Siga estudiando — capítulo 03 de 08

← Capítulo 02 · Índice de capítulos del curso · Capítulo 04 →

Continúe con la siguiente lección escrita.