Capítulo 15 — Evidencia y medición

Capítulo 15 — Evidencia y medición

Mapa de la lección

Lección 15 publicada. Mapa, ejemplo, EX029.

flowchart TD
  N0["Resultados de aprendizaje y conexión"]
  N1["15.1 Qué cuenta como evidencia"]
  N2["15.2 Medición y métricas"]
  N3["15.3 Incertidumbre y sensibilidad"]
  N4["15.5 Actividad práctica"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX029"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje y conexión"]
  N1["15.1 Qué cuenta como evidencia"]
  N2["15.2 Medición y métricas"]
  N3["15.3 Incertidumbre y sensibilidad"]
  N4["15.5 Actividad práctica"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX029"]

[Resultados de aprendizaje y conexión]
    |
    v
[15.1 Qué cuenta como evidencia]
    |
    v
[15.2 Medición y métricas]
    |
    v
[15.3 Incertidumbre y sensibilidad]
    |
    v
[15.5 Actividad práctica]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX029]

Resultados de aprendizaje y conexión

Después de este capítulo usted podrá (1) distinguir una medición, un indicador y una afirmación; (2) juzgar la evidencia por su fuente, su método, su actualidad y su independencia; (3) diseñar una métrica de seguridad válida, fiable y difícil de manipular; y (4) usar el análisis de sensibilidad para decidir si una evidencia incierta es suficiente para una decisión. Se apoya en los capítulos 1, 4 y 12 y prepara el capítulo 18 (métodos de investigación), el capítulo 27 (verificación) y el capítulo 37 (revisión de la evidencia).

15.1 Qué cuenta como evidencia

Una afirmación es un enunciado de que algo es cierto («nuestras copias de seguridad pueden restaurar el sistema de despacho en cuatro horas»). La evidencia es lo que la respalda o la debilita. La evidencia varía en solidez. Una demostración (un simulacro de restauración cronometrado sobre la configuración de producción, el mes pasado) es más sólida que un documento (una política de copias de seguridad), que a su vez es más sólido que una aseveración («el fabricante dice que funciona»). Hágale cuatro preguntas a cualquier evidencia: Fuente: ¿quién la produjo y tiene interés en la respuesta? Método: ¿cómo se produjo y podría alguien repetirlo? Actualidad: ¿sigue describiendo el sistema tal como es ahora? Independencia: ¿la comprobó alguien distinto de quien hizo la afirmación?

15.2 Medición y métricas

Una medición es un valor obtenido mediante un procedimiento definido (el tiempo de restauración en minutos, medido desde el inicio hasta la primera transacción de despacho correcta). Un indicador o métrica es una medición que se usa para seguir algo que nos importa. Las buenas métricas son válidas (miden lo que importa: el porcentaje de activos críticos con una restauración probada, no el número de trabajos de copia), fiables (dos personas que miden obtienen el mismo resultado), oportunas y difíciles de manipular. Se aplica la advertencia de Goodhart: en cuanto una medida se convierte en objetivo, la gente optimiza la medida. Una métrica de parcheo como el «porcentaje de sistemas parcheados en 30 días» incentiva excluir del denominador los sistemas difíciles; informe el denominador y las exclusiones.

15.3 Incertidumbre y sensibilidad

La mayor parte de la evidencia de seguridad es incierta: muestras pequeñas (capítulo 12), estimaciones (capítulo 1), indicadores indirectos. El análisis de sensibilidad pregunta cuánto cambia la decisión cuando cambia una entrada incierta. Si una recomendación se mantiene en todo el intervalo plausible, la evidencia es adecuada para esa decisión aunque sea imprecisa. Si se invierte, hay que reunir mejor evidencia sobre esa entrada o tomar una decisión robusta (elegir la opción que es aceptable en todo el intervalo). Es un antídoto práctico tanto contra la falsa precisión como contra la parálisis.

El Lab 1 es el modelo: B sigue por delante cuando cualquiera de las probabilidades se reduce a la mitad o se duplica.

15.4 Ejemplo resuelto: ¿se puede restaurar el despacho del CEDC? (sintético)

Este caso es sintético. El consejo del CEDC pregunta: «¿Podemos restaurar el despacho asistido por ordenador en cuatro horas tras un ransomware?». Evidencia disponible:

Valoración: ninguna evidencia demuestra la afirmación: una restauración de todo el servicio de despacho, incluidos los servidores de aplicaciones, las integraciones y las credenciales, en condiciones de ransomware (en las que el propio servidor de copias puede estar cifrado). La respuesta honesta al consejo es «desconocido, con evidencia parcial de que la base de datos por sí sola se restaura en menos de cuatro horas». Recomendación: un simulacro de restauración de extremo a extremo en un entorno aislado, observado por auditoría interna, que mida el tiempo hasta el primer despacho de prueba correcto; y la confirmación de que al menos una copia está fuera de línea o es inmutable.

15.5 Actividad práctica

Tome una afirmación sobre un servicio que use («mi teléfono hace copia de seguridad de mis fotos»). Enumere la evidencia que tiene, clasifique cada elemento por tipo, fuente, actualidad e independencia, y diseñe una prueba que demostraría la afirmación. No ejecute nada en sistemas que no sean de su propiedad. Para la copia de un teléfono, la prueba más sólida es restaurar una foto en otro dispositivo de su propiedad, cronometrando y anotando la fecha. El «última copia: hoy» de una aplicación de copias es una medición de la copia, no de la restauración.

15.6 Errores comunes y límites

• Tratar el éxito de la copia como evidencia de restauración.
• Métricas que cuentan actividad en lugar de resultados.
• Denominadores que excluyen en silencio los casos más difíciles.
• Ignorar el interés de la fuente de la evidencia.
• Exigir una precisión que la decisión no necesita, o aceptar una confianza que no se ha ganado.

La tabla de evidencia del CEDC muestra el primero: 362 de 365 trabajos correctos no dicen nada sobre restaurar la aplicación. El segundo aparece cuando un equipo informa del número de trabajos de copia en lugar de las restauraciones probadas. El tercero es la métrica de parcheo con los sistemas difíciles fuera. El cuarto es el «menos de 3 horas» sin fecha del fabricante. El quinto corta en ambos sentidos: el consejo no necesita minutos, pero no puede aceptar un «probablemente bien».

Ejercicios — capítulo 15

EX029 — Calificar la evidencia. Objetivo: aplicar las cuatro preguntas. Entradas: la afirmación «el servicio de tarjetas de Calder Mutual conmuta a su segundo centro de datos en 15 minutos»; evidencia: diagrama de arquitectura (2025), el informe de la prueba de conmutación del año pasado elaborado por el equipo de operaciones (14 min), una nota del auditor de que la prueba se anunció con una semana de antelación. Pasos: califique cada elemento e indique lo que la evidencia muestra y lo que no. Evidencia esperada: tabla y dos frases. Rúbrica: 3 = reconoce la prueba como una demostración real pero anunciada y no independiente, y pide una prueba no anunciada u observada de forma independiente con carga realista; 2 = parcial; 1 = acepta la afirmación; 0 = nada.

EX030 — Corregir una métrica. Objetivo: diseñar una métrica válida y difícil de manipular. Entradas: «número de cursos de concienciación sobre phishing completados». Pasos: proponga una métrica mejor para el riesgo de robo de credenciales por phishing, defina su medición y nombre una forma en que podría manipularse. Evidencia esperada: definición y riesgo de manipulación. Rúbrica: 3 = métrica orientada a resultados (p. ej., proporción de cuentas privilegiadas con autenticación resistente al phishing, o tasa de notificación en simulaciones autorizadas) con procedimiento definido y un riesgo de manipulación honesto; 2 = mejor pero poco definida; 1 = métrica de actividad; 0 = nada.

Síntesis del capítulo

La evidencia tiene una fuente, un método, una fecha y un grado de independencia. Mida resultados en lugar de actividad, informe los denominadores y use el análisis de sensibilidad para decidir si una evidencia incierta es suficiente. «Desconocido, con evidencia parcial» suele ser la respuesta más honesta y útil.

Siga estudiando — capítulo 15 de 40

← Capítulo 14 · Índice de capítulos del curso · Capítulo 16 →

Continúe con la siguiente lección escrita.