Capítulo 11 — Proyecto aplicado

Mapa de la lección

Lección 11 publicada. Mapa, ejemplo, EX051.

flowchart TD
  N0["Resultados de aprendizaje y conexión"]
  N1["11.1 Elegir el proyecto"]
  N2["11.2 El acta de constitución del proyecto"]
  N3["11.3 Ejecutar a través de las personas"]
  N4["11.4 Evaluar el resultado"]
  N5["11.5 Informar del proyecto"]
  N6["11.6 Rúbrica de evaluación"]
  N7["11.8 Actividad práctica: ¿funcionó?"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX051"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje y conexión"]
  N1["11.1 Elegir el proyecto"]
  N2["11.2 El acta de constitución del proyecto"]
  N3["11.3 Ejecutar a través de las personas"]
  N4["11.4 Evaluar el resultado"]
  N5["11.5 Informar del proyecto"]
  N6["11.6 Rúbrica de evaluación"]
  N7["11.8 Actividad práctica: ¿funcionó?"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX051"]

[Resultados de aprendizaje y conexión]
    |
    v
[11.1 Elegir el proyecto]
    |
    v
[11.2 El acta de constitución del proyecto]
    |
    v
[11.3 Ejecutar a través de las personas]
    |
    v
[11.4 Evaluar el resultado]
    |
    v
[11.5 Informar del proyecto]
    |
    v
[11.6 Rúbrica de evaluación]
    |
    v
[11.8 Actividad práctica: ¿funcionó?]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX051]

Resultados de aprendizaje y conexión

Al terminar este capítulo, usted debería ser capaz de:

1. Delimitar una mejora de seguridad a escala de la organización como un proyecto con una persona que decide, un objetivo basado en la consecuencia y unos beneficios medibles.
2. Planificar la ejecución con las partes interesadas, los riesgos, las condiciones de seguridad y los puntos de control.
3. Evaluar el resultado con honestidad mediante un grupo de comparación, una estimación de diferencias en diferencias y una comprobación por permutación.
4. Poner a prueba la robustez del resultado de un proyecto e informar de sus límites.
5. Presentar el proyecto para su evaluación según una rúbrica explícita.

El proyecto aplicado es donde el curso se convierte en práctica. Usa todos los capítulos anteriores: el planteamiento y los registros de decisiones (1), la práctica actual y la verificación (2), la evidencia (3), el riesgo y la ética (4), el diseño (5), la evaluación controlada (6), la integración (7), el razonamiento sobre casos difíciles (8), el aseguramiento (9) y la lectura crítica (10). A diferencia de un trabajo de fin de máster, su propósito no es responder a una pregunta de investigación para otros; es mejorar un servicio real y mostrar de forma creíble si se consiguió. Después, el capítulo 12 repasa el curso y lo transfiere.

11.1 Elegir el proyecto

Un buen proyecto aplicado de posgrado es: trascendente (cambia la exposición de un servicio esencial, no solo un documento); acotado (realizable en unos dos semestres de trabajo a tiempo parcial); con titular (un patrocinador designado con autoridad y unos titulares operativos que lo quieren); medible (un beneficio que pueda observarse, preferiblemente en unidades de servicio); seguro y autorizado (no crea ningún riesgo no aprobado para las operaciones, las personas o los datos); y evaluable (existe una forma de compararlo con lo que habría ocurrido sin él). Proyectos típicos: la preparación para la operación manual de un grupo de emplazamientos; el acceso intermediado de proveedores para un sistema de control; una capacidad de restauración para los sistemas clínicos; un plan regional de concentración de proveedores. Si usted no trabaja en el sector, el proyecto puede llevarse a cabo sobre un caso sintético realista como Merrow Bay, con los mismos entregables.

11.2 El acta de constitución del proyecto

Un acta de constitución de una página fija: el problema y su consecuencia; el patrocinador y los derechos de decisión; los objetivos y los beneficios, con medidas y líneas base; el alcance y las exclusiones; los entregables; las partes interesadas; las restricciones (seguridad, presupuesto, regulación); los riesgos; el diseño de la evaluación; los hitos y los puntos de control; y la rúbrica de evaluación. Escribir el diseño de la evaluación en el acta antes de la ejecución es el equivalente en un proyecto del prerregistro (Nosek et al., 2018): protege al especialista de la tentación de elegir después la medida que mejor queda (Kerr, 1998).

11.3 Ejecutar a través de las personas

La mayoría de los proyectos de seguridad en los servicios esenciales fracasan por la adopción, no por la tecnología. Mapee a las partes interesadas según su influencia y su interés; acuerde con operaciones cómo y cuándo los cambios afectan a la planta; planifique la formación y la práctica supervisada; y anticipe quién pierde algo (comodidad, autonomía, presupuesto). Un pre mortem al inicio (Klein, 2007) saca a la luz pronto los riesgos de adopción. Lleve un registro de decisiones del proyecto con el formato del capítulo 1 para que los revisores posteriores puedan ver por qué cambió el plan.

En Merrow Water, las personas más afectadas por el proyecto del manual de operación son los operadores de turno, que deben practicar la operación manual en simulacros trimestrales además de su trabajo habitual. Acordar los horarios de los simulacros con los jefes de turno y usar sus comentarios para revisar el manual hace mucho más probable la adopción que emitirlo desde la sede central.

11.4 Evaluar el resultado

Las comparaciones antes y después son seductoras y débiles: puede que el resultado hubiera mejorado de todos modos por la estación, la práctica, el personal nuevo u otros proyectos. Un diseño más fuerte y práctico es el de diferencias en diferencias (DiD): comparar el cambio en los emplazamientos que recibieron el proyecto (piloto) con el cambio en emplazamientos similares que no lo recibieron (comparación) durante el mismo periodo. La estimación es (piloto después − piloto antes) − (comparación después − comparación antes). Su supuesto clave es el de las tendencias paralelas: sin el proyecto, los emplazamientos piloto y los de comparación habrían cambiado en la misma medida. El diseño se popularizó en economía gracias a un conocido estudio que comparaba el empleo en estados vecinos (Card and Krueger, 1994); se aplica igual a los tiempos de los simulacros o a los tiempos de recuperación entre emplazamientos.

Con pocos emplazamientos, los errores estándar ordinarios no son fiables. Una comprobación por permutación es sencilla y honesta: calcule la DiD para cada forma posible de elegir qué emplazamientos fueron «piloto» y pregúntese lo inusual que es la estimación de la asignación real. Si muchas asignaciones aleatorias producen estimaciones igual de grandes, el resultado podría deberse al azar. Por último, ponga a prueba la robustez: elimine el emplazamiento más influyente, use otra definición del resultado o compruebe si los emplazamientos piloto y los de comparación ya divergían antes del proyecto.

11.5 Informar del proyecto

El informe final indica el problema, lo que se hizo, lo que cambió, con cuánta seguridad lo sabemos y lo que queda pendiente. Informa primero de la medida especificada de antemano; los análisis adicionales se etiquetan como exploratorios. Las limitaciones se redactan con su sentido (¿haría esta debilidad que el efecto pareciera mayor o menor?) para que los lectores puedan juzgar el resultado. Los beneficios que no pudieron medirse se describen, no se inventan. El informe termina con el traspaso: los titulares, el mantenimiento, la evidencia de aseguramiento que mantendrá vigente la afirmación (capítulo 9) y el desencadenante de revisión.

11.6 Rúbrica de evaluación

Los proyectos se evalúan según cinco criterios, cada uno puntuado de 0 a 3:

Tabla de la lección; desplázate para ver todas las columnas →

11.7 Ejemplo resuelto: el proyecto del manual de operación manual (sintético)

El especialista de Merrow Water dirigió un proyecto para introducir un manual de operación manual y simulacros trimestrales en seis plantas (piloto), elegidas porque tenían los sistemas de control más antiguos; otras seis plantas siguieron como antes (comparación). El resultado especificado de antemano era la media de minutos hasta lograr una operación manual estable en los simulacros trimestrales, promediada en dos trimestres anteriores y dos posteriores. El acta especificó de antemano una DiD con una comprobación por permutación y una comprobación de robustez que eliminaba el emplazamiento más influyente.

Elegir los emplazamientos piloto por sus sistemas de control antiguos era sensato para el servicio, porque esas plantas eran las que más necesitaban el manual, pero significa que los grupos piloto y de comparación no eran iguales al principio. Por eso el acta exigía diferencias en diferencias en lugar de una comparación solo posterior, y por eso las tendencias paralelas deben argumentarse en lugar de suponerse. Está previsto que las seis plantas de comparación reciban el manual en la siguiente fase, lo que ofrece una oportunidad posterior de poner a prueba el resultado.

11.8 Actividad práctica: ¿funcionó?

# Lab 11 - did the project work? Difference-in-differences with a permutation check (offline, stdlib only)
# Synthetic: Merrow Water piloted a manual-operation runbook and drills at six works (pilot) and not at six others.
# Outcome: mean minutes to stable manual operation in quarterly drills, two quarters before and two after.
from itertools import combinations
SITES = {  # site: (pilot?, mean minutes before, mean minutes after)
    "Hollin": (1, 41, 27), "Fenley": (1, 38, 29), "Upper Merrow": (1, 55, 36), "Kettle Ford": (1, 33, 28),
    "Ashby": (1, 47, 35), "Saltings": (1, 36, 30),
    "Brack": (0, 39, 35), "Dunmere": (0, 44, 40), "Orrin": (0, 35, 34), "Pelling": (0, 50, 43),
    "Quarry Lane": (0, 31, 30), "Rook": (0, 42, 36),
}
def did(treated):
    t = [SITES[s][2] - SITES[s][1] for s in SITES if s in treated]
    c = [SITES[s][2] - SITES[s][1] for s in SITES if s not in treated]
    return sum(t) / len(t) - sum(c) / len(c), sum(t) / len(t), sum(c) / len(c)
pilot = {s for s, v in SITES.items() if v[0]}
est, dt, dc = did(pilot)
print(f"pilot change {dt:+.2f} min, comparison change {dc:+.2f} min, difference-in-differences {est:+.2f} min")
naive = sum(SITES[s][2] for s in pilot) / 6 - sum(SITES[s][2] for s in SITES if s not in pilot) / 6
print(f"naive after-only difference {naive:+.2f} min")
allc = [did(set(c))[0] for c in combinations(SITES, 6)]
p = sum(1 for d in allc if d <= est) / len(allc)
print(f"permutation: {len(allc)} assignments; share with DiD <= observed = {p:.4f}")
# Sensitivity: drop the site with the largest pilot improvement
big = min(pilot, key=lambda s: SITES[s][2] - SITES[s][1])
rest = {s: SITES[s] for s in SITES if s != big}
t = [v[2]-v[1] for s, v in rest.items() if v[0]]; c = [v[2]-v[1] for s, v in rest.items() if not v[0]]
print(f"without {big}: DiD {sum(t)/len(t) - sum(c)/len(c):+.2f} min")

Salida esperada:

pilot change -10.83 min, comparison change -3.83 min, difference-in-differences -7.00 min
naive after-only difference -5.50 min
permutation: 924 assignments; share with DiD <= observed = 0.0087
without Upper Merrow: DiD -5.37 min

Interpretación. Los emplazamientos piloto mejoraron 10,8 minutos en promedio; los de comparación, 3,8 minutos, probablemente por la práctica y la concienciación generales. La estimación DiD es una mejora de 7,0 minutos atribuible al proyecto bajo el supuesto de tendencias paralelas. Una comparación ingenua solo posterior (5,5 minutos) la subestimaría, porque los emplazamientos piloto partían de tiempos más lentos: se eligieron por sus sistemas antiguos. De las 924 asignaciones posibles de seis emplazamientos «piloto», menos del 1 % produce una mejora tan grande como la real, así que el azar es una explicación improbable. Eliminar Upper Merrow, el emplazamiento con la mayor mejora, reduce la estimación a 5,4 minutos: el resultado es robusto en su sentido, pero sensible en su tamaño a un solo emplazamiento. El informe debería decir «entre 5 y 7 minutos más rápido, principalmente, aunque no solo, por Upper Merrow», señalar que los emplazamientos piloto se seleccionaron por sus sistemas antiguos (de modo que las tendencias paralelas son un supuesto que hay que defender) y recomendar extender el manual a los emplazamientos de comparación con la misma evaluación.

11.9 Errores comunes y límites

• Elegir un proyecto por su interés y no por su consecuencia.
• Empezar sin un patrocinador que pueda tomar decisiones.
• Definir la medida del éxito después de ver los resultados.
• Evaluar solo con una comparación antes y después.
• Informar de una única estimación sin comprobar el azar ni la robustez.
• Enumerar las limitaciones sin su sentido.
• Terminar sin traspaso, de modo que el beneficio se degrada.

Con una docena de emplazamientos, ninguna evaluación es definitiva. La evaluación del proyecto debe ser honesta al respecto y estar diseñada para que la siguiente fase (por ejemplo, el despliegue escalonado en los emplazamientos de comparación) aporte más evidencia.

Ejercicios — capítulo 11

EX051 — Acta de constitución del proyecto. Objetivo: delimitar su propio proyecto aplicado. Entradas: su organización, o Merrow Bay. Restricciones: una página; todos los elementos del acta del §11.2; evaluación especificada de antemano. Pasos: redacte el acta. Evidencia esperada: acta. Rúbrica: use los criterios «Planteamiento» y «Ética y seguridad» del §11.6; 3 = trascendente, acotado, con titular, medible, seguro y evaluable, con una comparación designada; 2 = evaluación vaga; 1 = actividad en lugar de resultado; 0 = nada.

EX052 — Robustez del resultado de la permutación. Objetivo: comprobar la sensibilidad a un solo emplazamiento. Entradas: el Lab 11. Restricciones: elimine por completo Upper Merrow de los datos (11 emplazamientos, 5 piloto). Pasos: (1) vuelva a calcular la DiD; (2) vuelva a calcular la proporción de la permutación sobre todas las asignaciones de 5 pilotos entre 11 emplazamientos; (3) interprételo. Evidencia esperada: cifras y un párrafo. Rúbrica: 3 = DiD de −5,37 minutos, 462 asignaciones, proporción de aproximadamente 0,017; interpretación de que el resultado sigue siendo improbable por azar pero es más débil, con el sentido de la limitación de selección; 2 = cifras correctas, interpretación pobre; 1 = no ejecutado; 0 = nada.

EX053 — Plan de partes interesadas y de adopción. Objetivo: planificar la ejecución a través de las personas. Entradas: el proyecto del manual. Restricciones: incluya los turnos de noche y a los contratistas. Pasos: mapee a las partes interesadas; identifique quién pierde qué; planifique la formación, la práctica supervisada y la retroalimentación; haga un breve pre mortem y enumere tres historias de fracaso con sus mitigaciones. Evidencia esperada: plan. Rúbrica: 3 = partes interesadas concretas, pérdidas reconocidas, formación basada en la práctica, historias de pre mortem creíbles; 2 = sin pre mortem; 1 = solo un plan de comunicación; 0 = nada.

EX054 — Limitaciones con su sentido. Objetivo: redactar limitaciones que ayuden a los lectores a juzgar. Entradas: el resultado del Lab 11. Restricciones: al menos cinco limitaciones, cada una con su sentido y con cómo podría abordarla una fase posterior. Pasos: redáctelas. Evidencia esperada: lista. Rúbrica: 3 = selección de los emplazamientos piloto, regresión a la media (los emplazamientos lentos mejoran más de todos modos; inflaría), efectos de la práctica, muestra pequeña, realismo de los simulacros frente a los sucesos reales, contaminación de los emplazamientos de comparación; sentidos correctos; 2 = faltan los sentidos; 1 = genérico; 0 = nada.

EX055 — Traspaso y beneficios. Objetivo: hacer que los beneficios perduren. Entradas: el proyecto del manual a su término. Restricciones: use las ideas de caso de aseguramiento y de vigencia del capítulo 9. Pasos: (1) designe a los titulares; (2) defina la afirmación de aseguramiento y la evidencia, con sus antigüedades máximas; (3) defina un indicador para el consejo con una referencia XmR; (4) defina el desencadenante de revisión. Evidencia esperada: nota de traspaso. Rúbrica: 3 = titulares operativos, evidencia de grado verificado con su antigüedad, indicador con el periodo de referencia indicado, desencadenante concreto; 2 = falta un elemento; 1 = «proyecto cerrado»; 0 = nada.

Síntesis del capítulo

Un proyecto aplicado mejora un servicio real y muestra de forma creíble si lo consiguió. Elija algo trascendente, acotado, con titular, medible, seguro y evaluable; fije la evaluación en un acta antes de la ejecución; ejecútelo a través de las personas, con el consentimiento de operaciones y un pre mortem; evalúelo con un grupo de comparación, diferencias en diferencias, una comprobación por permutación y pruebas de robustez; informe de las limitaciones con su sentido; y haga el traspaso con titulares, evidencia de aseguramiento y un desencadenante de revisión.