Capítulo 33 — Métodos de investigación II

Mapa de la lección

Lección 33 publicada. Mapa, ejemplo, EX065.

flowchart TD
  N0["Resultados de aprendizaje y conexión"]
  N1["33.1 Métodos cualitativos"]
  N2["33.2 Codificación y acuerdo"]
  N3["33.3 Análisis cuantitativo reproducible"]
  N4["33.4 Métodos mixtos"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX065"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje y conexión"]
  N1["33.1 Métodos cualitativos"]
  N2["33.2 Codificación y acuerdo"]
  N3["33.3 Análisis cuantitativo reproducible"]
  N4["33.4 Métodos mixtos"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX065"]

[Resultados de aprendizaje y conexión]
    |
    v
[33.1 Métodos cualitativos]
    |
    v
[33.2 Codificación y acuerdo]
    |
    v
[33.3 Análisis cuantitativo reproducible]
    |
    v
[33.4 Métodos mixtos]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX065]

Resultados de aprendizaje y conexión

Después de este capítulo usted podrá (1) diseñar entrevistas y análisis documentales como métodos cualitativos, incluidos la aprobación ética y el consentimiento; (2) codificar datos cualitativos con un libro de códigos y comprobar el acuerdo entre codificadores; (3) hacer reproducible un análisis cuantitativo; y (4) combinar evidencia cualitativa y cuantitativa en un diseño de métodos mixtos. Se apoya en el capítulo 18 y prepara el proyecto comparativo (capítulo 34) y el proyecto final (capítulos 35–40).

33.1 Métodos cualitativos

Muchas preguntas importantes de la seguridad de los sectores críticos tratan sobre personas y organizaciones: por qué los operadores eluden un control, cómo se tomaron las decisiones durante un incidente, qué creen los profesionales que funciona. Las entrevistas semiestructuradas siguen una guía de preguntas abiertas y permiten repreguntar. El análisis documental examina planes, informes y políticas. Ambos requieren la aprobación ética de su institución cuando implican a personas, el consentimiento informado (los participantes conocen el propósito, qué se registrará y cómo se almacenará, y pueden retirarse) y la protección de los participantes y de sus organizaciones: en su tesis no debe aparecer ningún detalle que identifique a una persona o exponga una vulnerabilidad de un operador real. Las notas de entrevistas sobre debilidades de seguridad son datos sensibles; almacénelas cifradas y elimínelas según el calendario previsto (capítulo 14).

33.2 Codificación y acuerdo

La codificación asigna etiquetas a los fragmentos: «respaldo en papel», «dependencia de un proveedor», «responsable de la decisión poco claro». Un libro de códigos define cada código con reglas de inclusión y exclusión y un ejemplo. Para comprobar la fiabilidad, dos personas codifican la misma muestra de forma independiente y miden el acuerdo. El porcentaje de acuerdo bruto sobrestima la fiabilidad porque parte del acuerdo se produce por azar; el kappa de Cohen lo corrige: $\kappa = (p_o - p_e)/(1 - p_e)$, donde $p_o$ es el acuerdo observado y $p_e$ el acuerdo esperado por azar a partir de las frecuencias de etiquetado de cada codificador. Los desacuerdos no son fracasos; discutirlos afina el libro de códigos.

33.3 Análisis cuantitativo reproducible

Un análisis reproducible mantiene inalterados los datos brutos, realiza todas las transformaciones mediante scripts, registra las versiones y las semillas aleatorias y produce cada número del informe a partir del código (Sandve et al., 2013). Los laboratorios de este libro siguen estas reglas: semillas fijas, solo la biblioteca estándar, salidas impresas reproducidas en el texto. Si se usa una simulación o un modelo, indique cómo se contrastó con la realidad: la verificación y validación de modelos de simulación es una disciplina en sí misma (Sargent, 2013).

33.4 Métodos mixtos

La evidencia cuantitativa dice cuánto; la evidencia cualitativa dice cómo y por qué. Un diseño de métodos mixtos podría contar, en 30 informes públicos de incidentes, cuántos mencionan un paso a la operación manual como respaldo (cuantitativo) y después entrevistar a cuatro operadores sobre qué hace que funcione el respaldo manual (cualitativo). La combinación es más sólida que cualquiera de las dos partes por separado, siempre que cada parte se haga correctamente y que la integración (cómo informa una a la otra) sea explícita. En el diseño de los 30 informes, el vínculo se fija antes de la recogida: cualquier condición del respaldo que aparezca en al menos cinco informes se convierte en una pregunta de la entrevista.

En el ejemplo de los 30 informes, el recuento le dice con qué frecuencia mencionan los informes el respaldo manual, y las entrevistas explican por qué el respaldo falla a veces, por ejemplo porque el personal no lo ha practicado. Integración significa que la guía de entrevista pregunta por las condiciones que reveló el recuento.

33.5 Ejemplo resuelto: codificación de informes de incidentes (datos sintéticos)

Los datos son sintéticos. Dos estudiantes codifican 20 extractos de informes de incidentes según la presencia del código «responsable de la decisión poco claro». Coinciden en 16 de 20 ($p_o = 0.80$). El estudiante A aplicó el código a 8 extractos; el estudiante B, a 6. Acuerdo por azar: ambos «sí» $= (8/20)(6/20) = 0.12$; ambos «no» $= (12/20)(14/20) = 0.42$; $p_e = 0.54$. Kappa $= (0.80 - 0.54)/(1 - 0.54) = 0.26/0.46 \approx 0.57$: acuerdo moderado. Los estudiantes revisan los cuatro desacuerdos, descubren que uno codificó «decisión retrasada» como «responsable poco claro» incluso cuando el responsable estaba nombrado, y precisan la definición: «se aplica solo cuando el informe afirma o muestra que los participantes no sabían quién tenía la decisión».

33.6 Errores comunes y límites

• Entrevistar a profesionales sin aprobación ética ni consentimiento.
• Publicar detalles identificables de las debilidades de operadores reales.
• Presentar el porcentaje de acuerdo como fiabilidad.
• Pasos del análisis hechos a mano y no registrados.
• «Métodos mixtos» que son dos estudios separados que nunca se integran.

En el ejemplo de codificación, informar de un 80 % de acuerdo en lugar de un kappa de 0,57 sería el tercer error. Entrevistar a ingenieros de la CRP sobre el acceso remoto sin consentimiento ni aprobación sería el primero, y citar la pasarela sin parchear de un operador identificado sería el segundo. Una hoja de cálculo editada a mano sin registro sería el cuarto.

Ejercicios — capítulo 33

EX065 — Calcule kappa. Objetivo: medir la fiabilidad. Entradas: dos codificadores, 40 extractos, coinciden en 34; el codificador A aplicó el código 10 veces y el codificador B, 12. Pasos: calcule $p_o$, $p_e$ y $\kappa$, e interprételos. Evidencia esperada: cálculos e interpretación. Rúbrica: 3 = $p_o = 0.85$; $p_e = 0.25 \times 0.30 + 0.75 \times 0.70 = 0.075 + 0.525 = 0.60$; $\kappa = 0.625$, acuerdo entre sustancial y moderado, con la observación de que las escalas de interpretación son convenciones; 2 = error aritmético; 1 = solo $p_o$; 0 = nada.

EX066 — Consentimiento y protección. Objetivo: diseñar un trabajo cualitativo ético. Entradas: el plan de entrevistar a ingenieros de tres operadores de la CRP sobre sus prácticas de acceso remoto. Pasos: escriba la información para el consentimiento (cinco puntos) y tres medidas de protección de datos. Evidencia esperada: listas. Rúbrica: 3 = propósito, participación voluntaria/retirada, qué se registra, almacenamiento/conservación, cómo se anonimizan los resultados, más cifrado, seudónimos y ningún detalle de vulnerabilidades en los resultados/revisión por la organización anfitriona; 2 = parcial; 1 = genérico; 0 = nada.

Síntesis del capítulo

Los métodos cualitativos responden al cómo y al porqué; necesitan aprobación ética, consentimiento y protección de los participantes y de las organizaciones. Los libros de códigos y kappa hacen fiable la codificación; los scripts, las semillas y las versiones hacen reproducible el análisis cuantitativo; los métodos mixtos solo valen lo que valga su integración.