Capítulo 24 — Métodos de investigación aplicada
Mapa de la lección
Lección 24 publicada. Mapa, ejemplo, EX070.
flowchart TD
N0["Resultados de aprendizaje y conexión"]
N1["24.1 De la pregunta al estudio"]
N2["24.2 Las comparaciones y sus trampas"]
N3["24.3 Recoger datos en un entorno operativo"]
N4["24.4 Un análisis ajustado a los datos"]
N5["24.5 Informe"]
N6["24.7 Actividad práctica: diseñe un estudio"]
N7["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX070"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje y conexión"]
N1["24.1 De la pregunta al estudio"]
N2["24.2 Las comparaciones y sus trampas"]
N3["24.3 Recoger datos en un entorno operativo"]
N4["24.4 Un análisis ajustado a los datos"]
N5["24.5 Informe"]
N6["24.7 Actividad práctica: diseñe un estudio"]
N7["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX070"]
[Resultados de aprendizaje y conexión]
|
v
[24.1 De la pregunta al estudio]
|
v
[24.2 Las comparaciones y sus trampas]
|
v
[24.3 Recoger datos en un entorno operativo]
|
v
[24.4 Un análisis ajustado a los datos]
|
v
[24.5 Informe]
|
v
[24.7 Actividad práctica: diseñe un estudio]
|
v
[Síntesis del capítulo]
|
v
[Ejemplo resuelto] --> [Ejercicio EX070]
Resultados de aprendizaje y conexión
Al terminar este capítulo, usted debería ser capaz de:
- convertir una pregunta operativa en un estudio pequeño y respondible, con un método declarado;
- elegir una comparación (antes/después, con/sin, emparejada) y reconocer lo que cada una puede y no puede mostrar;
- recoger datos de forma ética y segura en un entorno operativo;
- informar de los resultados con sus límites para que un directivo pueda actuar sobre ellos sin sobreinterpretarlos.
A los tecnólogos se les hacen a menudo preguntas que parecen sencillas («¿redujo la nueva regla de alerta el tiempo de respuesta?», «¿es RLY-02 más lento desde la actualización?», «¿encuentran nuestras visitas a las estaciones deriva de configuración?») y que se responden con impresiones. Este capítulo enseña el estudio pequeño y honesto que se sitúa entre una impresión y un proyecto de investigación. Lee métodos publicados para usarlos, no para producir otros nuevos.
24.1 De la pregunta al estudio
Formule la pregunta de modo que los datos puedan responderla: población (qué estaciones, alertas o equipos), medida (con su definición, capítulo 9), comparación (frente a qué), periodo y decisión (qué se hará de forma distinta según la respuesta). «¿Redujo el nuevo texto de primera acción de la regla C el tiempo entre la alerta y la llamada a la sala de control?» es respondible; «¿es mejor la monitorización?» no lo es. La pregunta de la regla C nombra su población (alertas de ausencia), su medida (minutos hasta la llamada) y su decisión (adoptar el texto o no).
«¿Es mejor la monitorización?» no nombra ninguna de ellas.
24.2 Las comparaciones y sus trampas
- Antes/después en el mismo sistema es fácil y débil: cualquier otra cosa que cambiara en el periodo (personal, estación del año, carga de trabajo) puede explicar la diferencia.
- Con/sin (algunas estaciones o turnos reciben el cambio y otros no) es más sólida si los grupos son similares, y lo es aún más si quién recibe el cambio se decide con un método justo (alternancia, elección aleatoria) y no según quién se ofreció voluntario.
- Las comparaciones emparejadas (las mismas personas o equipos medidos en ambas condiciones) eliminan las diferencias entre unidades.
Vigile la regresión a la media: los cambios introducidos tras un mes inusualmente malo suelen parecer eficaces porque el mes siguiente habría sido mejor de todos modos. Vigile la agregación de grupos con líneas base distintas (capítulo 9). Y deje por escrito el análisis antes de ver los resultados: la idea que hay detrás del prerregistro en investigación (Nosek et al., 2018) se aplica también a pequeña escala, porque le impide elegir la medida que favorece al cambio.
24.3 Recoger datos en un entorno operativo
Use, siempre que pueda, datos que el servicio ya registra: horas de las alertas y de sus confirmaciones, marcas de tiempo de las incidencias, recuentos del retransmisor. Si necesita datos nuevos (cronometrar un procedimiento manual, preguntar a los operadores), obtenga el acuerdo del responsable operativo, haga que la participación de las personas sea voluntaria, no perturbe las operaciones y no registre más información personal de la que necesita la pregunta. Los principios del Informe Menlo (respeto a las personas, beneficencia, justicia y respeto a la ley y al interés público) son una comprobación útil para cualquier estudio en TIC que implique a personas o sistemas (Menlo Report, 2012).
24.4 Un análisis ajustado a los datos
Para los estudios operativos pequeños, los métodos sencillos son los mejores y los más honestos: medianas y percentiles (capítulo 9), diferencias entre grupos indicando el número de observaciones, intervalos para proporciones (Wilson) y una comprobación de si el resultado resiste las explicaciones alternativas evidentes (eliminar una semana inusual; comparar los turnos por separado). Si la conclusión cambia al eliminar un solo dato, dígalo. El estudio de la regla C hizo esta comprobación: eliminar la semana de la caída del operador movió la mediana del texto antiguo de 14 a 11 minutos, todavía más lenta que 6.
Comparar los turnos por separado habría sido la siguiente comprobación.
24.5 Informe
Una nota de estudio de una página contiene: la pregunta; el método (población, medida, comparación, periodo y lo que se decidió de antemano); los resultados con recuentos; los límites y las explicaciones alternativas; y una recomendación con la confianza que merece. Separe los resultados observados de las inferencias, como en todo este libro. En el estudio de la regla C, los resultados observados son 11 alertas con el texto antiguo y una mediana de 14 minutos, y 12 alertas con el texto nuevo y una mediana de 6; la inferencia es que la primera acción ayuda. La línea de límites nombra los números pequeños, el efecto de saberse observado y la semana de la caída del operador.
24.6 Ejemplo resuelto: ¿ayudó el nuevo texto de primera acción? (sintético)
FSTS reescribió la alerta de la regla C para incluir una primera acción («llamar a la sala de control de Agua y, después, comprobar el estado del operador»). La pregunta: ¿acorta el tiempo entre la alerta y la llamada a la sala de control? El equipo alternó el texto antiguo y el nuevo por semanas durante ocho semanas en todo el turno de guardia, de modo que cada tecnólogo recibió ambos. Resultados: 11 alertas con el texto antiguo, mediana de 14 minutos hasta la llamada; 12 con el texto nuevo, mediana de 6 minutos. Todos los tecnólogos que recibieron ambos tuvieron una mediana más corta con el texto nuevo. Límites: números pequeños; los tecnólogos sabían que había un estudio (puede que se esforzaran más); una semana del texto antiguo incluyó una caída del operador con muchas alertas a la vez. Al eliminar esa semana, la mediana del texto antiguo es de 11 minutos, todavía más lenta que 6. Recomendación: adoptar el texto nuevo en todas las reglas de ausencia; volver a medir dentro de tres meses con datos rutinarios.
24.7 Actividad práctica: diseñe un estudio
Elija una pregunta entre: (a) ¿ha aumentado la latencia p95 de RLY-02 desde relayd 2.4.1? (b) ¿encuentran las visitas trimestrales a las estaciones deriva que no detectan las comprobaciones automatizadas? (c) ¿encuentra la revisión de accesos menos problemas cada trimestre? Redacte el diseño del estudio: pregunta, población, medida, comparación, periodo, decisión, fuente de datos, notas éticas y de seguridad, y análisis planificado de antemano. Para la pregunta (a), la comparación ya está hecha: el canario del capítulo 27 midió una latencia p95 de RLY-03 de 41 ms con relayd 2.4.1 frente a 37 ms con la 2.4.0, durante una hora nocturna. Un estudio la ampliaría a varias semanas de datos rutinarios, incluiría el pico de la mañana y las ejecuciones semanales del informe, y decidiría de antemano qué aumento desencadenaría una reversión.
24.8 Errores frecuentes y límites
- Preguntas que los datos no pueden responder.
- Comparaciones antes/después presentadas como prueba.
- Elegir la medida después de ver los datos.
- Estudios que perturban las operaciones o recogen datos personales innecesarios.
- Resultados presentados sin recuentos ni límites.
- Tratar un estudio pequeño como cosa zanjada; es evidencia para una decisión, que debe volver a comprobarse.
El estudio de la regla C evitó el segundo error alternando el texto por semanas en lugar de comparar el antes con el después.
Preguntar a los tecnólogos su opinión tras la prueba no habría añadido nada que los tiempos no mostraran, y habría recogido opiniones personales que el estudio no necesitaba.
Ejercicios — capítulo 24
EX070 — Hágala respondible. Objetivo: reformular preguntas vagas. Entradas: (a) «¿Es buena nuestra aplicación de parches?»; (b) «¿Son un riesgo los proveedores?»; (c) «¿Ayuda el SOC?». Restricciones: cada pregunta reformulada debe nombrar población, medida, comparación y periodo. Pasos: reformule las tres. Evidencia esperada: tres preguntas. Rúbrica: 3 = concretas, medibles, con comparación y periodo y con una decisión asociada; 2 = una débil; 1 = siguen siendo vagas; 0 = nada.
EX071 — Detecte los puntos débiles. Objetivo: criticar un estudio. Entradas: «Después de la interrupción de marzo añadimos la regla C. En abril hubo un 30 % menos de quejas sobre la telemetría que en marzo, lo que demuestra que la regla C funciona». Restricciones: cuatro puntos débiles. Pasos: nombre cada uno y proponga un diseño mejor. Evidencia esperada: lista y diseño. Rúbrica: 3 = solo antes/después, regresión a la media tras un mes inusual, las quejas como mala medida de la detección, sin recuentos ni intervalo, otros cambios en el periodo; el diseño mejor mide el tiempo de detección de las alertas con una comparación; 2 = tres; 1 = uno; 0 = nada.
EX072 — Redacte la nota de estudio. Objetivo: informar de un estudio pequeño. Entradas: el capítulo 24 («Ejemplo resuelto: ¿ayudó el nuevo texto de primera acción?»). Restricciones: una página; los apartados del capítulo 24 («Informe»). Pasos: redacte la nota. Evidencia esperada: la nota. Rúbrica: 3 = todos los apartados; recuentos y medianas; límites que incluyen el efecto de saberse observado, la n pequeña y la semana de la caída, con la comprobación de sensibilidad; recomendación proporcionada con un plan para volver a medir; 2 = límites escasos; 1 = alegato; 0 = nada.
Síntesis del capítulo
Convierta las preguntas operativas en estudios pequeños con una población, una medida, una comparación, un periodo y una decisión declarados. Prefiera las comparaciones que descartan las alternativas evidentes (alternancia o emparejamiento antes que antes/después) y decida el análisis de antemano. Recoja los datos de forma segura y ética con el acuerdo del responsable operativo, analice con sencillez, compruebe la sensibilidad e informe de recuentos y límites para que el resultado se use con la confianza que merece.
Siga estudiando — capítulo 24 de 30
← Capítulo 23 · Índice de capítulos del curso · Capítulo 25 →
Continúe con la siguiente lección escrita.