Capítulo 5 — Estudio principal y validación independiente
Mapa de la lección
Lección 05 publicada. Mapa, ejemplo, EX027.
flowchart TD
N0["Resultados de aprendizaje y conexión"]
N1["5.1 Diseño pareado"]
N2["5.2 Tres incertidumbres"]
N3["5.3 Validación independiente con reglas congeladas"]
N4["5.4 Adjudicación ciega"]
N5["5.5 Actividad práctica — Lab 5: bootstrap pareado"]
N6["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX027"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje y conexión"]
N1["5.1 Diseño pareado"]
N2["5.2 Tres incertidumbres"]
N3["5.3 Validación independiente con reglas congeladas"]
N4["5.4 Adjudicación ciega"]
N5["5.5 Actividad práctica — Lab 5: bootstrap pareado"]
N6["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX027"]
[Resultados de aprendizaje y conexión]
|
v
[5.1 Diseño pareado]
|
v
[5.2 Tres incertidumbres]
|
v
[5.3 Validación independiente con reglas congeladas]
|
v
[5.4 Adjudicación ciega]
|
v
[5.5 Actividad práctica — Lab 5: bootstrap pareado]
|
v
[Síntesis del capítulo]
|
v
[Ejemplo resuelto] --> [Ejercicio EX027]
Resultados de aprendizaje y conexión
Al terminar este capítulo usted podrá (1) realizar una comparación pareada de dos métodos de inventario sobre los mismos elementos; (2) separar la incertidumbre de muestreo, la de medición y la de modelo; (3) validar sobre un corpus independiente con reglas congeladas; (4) llevar a cabo una adjudicación ciega e informar de la concordancia; y (5) redactar un párrafo de resultados honesto. Ejecuta el diseño que el capítulo 4 pilotó y aporta los resultados que atacará el capítulo 6.
5.1 Diseño pareado
Ambos métodos se aplican a los mismos elementos adjudicados, de modo que la magnitud de interés es una diferencia pareada: para cada uso vulnerable a la computación cuántica, ¿lo encontró el análisis estático y lo encontró el análisis de doble fuente? El emparejamiento elimina la variabilidad entre elementos —algunos usos son sencillamente difíciles de encontrar— y da un intervalo mucho más estrecho que comparar dos estimaciones independientes de la exhaustividad. Como la doble fuente es una unión que incluye los hallazgos estáticos, la diferencia por elemento solo puede ser 0 o +1 para la exhaustividad; la precisión, en cambio, puede bajar, y por eso existe H2.
5.2 Tres incertidumbres
La incertidumbre de muestreo es lo que capta un intervalo bootstrap: si se hubiera adjudicado otro conjunto de usos, la estimación sería distinta. La incertidumbre de medición procede de la adjudicación: dos ingenieros pueden discrepar sobre si existe un uso, así que informe de la concordancia (κ) y realice un análisis de sensibilidad en el que los elementos disputados se cuenten de las dos maneras. La incertidumbre de modelo procede de las decisiones analíticas: la regla de canonización, la ventana de observación, la definición de «uso» del libro de códigos. Informe de una pequeña curva de especificaciones: la estimación principal bajo cada alternativa defendible. Una conclusión que se sostiene ante las tres es robusta; una que solo se sostiene con una especificación es un hallazgo sobre esa especificación.
5.3 Validación independiente con reglas congeladas
El corpus de Marrow Logistics nunca se examinó durante el desarrollo. Las reglas de fusión, los umbrales y el libro de códigos se congelan y se les calcula el hash (el SHA-256 del archivo de configuración queda anotado en el registro de la tesis) antes de abrir los datos de Marrow. Marrow es distinto a propósito: menos equipos de fabricantes, más escáneres de mano integrados en los almacenes y un equipo de operaciones que usa mucho SSH. Por eso el mecanismo del capítulo 3 predice una ganancia agregada menor: una predicción acertada de un beneficio reducido es evidencia a favor del mecanismo, no en contra del método.
Anote la fecha en que se abrieron por primera vez los datos de Marrow junto al hash de la configuración congelada.
5.4 Adjudicación ciega
Los ingenieros E01–E10 (sintéticos) reciben cada uso candidato sin la procedencia de la herramienta y en orden aleatorio, junto con la documentación de los dueños. Dos ingenieros adjudican cada elemento; un tercero resuelve los desacuerdos. En el estudio principal, la concordancia sintética es κ = 0,78 tras la enmienda del libro de códigos derivada del piloto. Los elementos que ningún ingeniero puede determinar se codifican como desconocidos: el 9 % de los activos de HRHN y el 14 % de los de Marrow, que se declaran junto a la exhaustividad en lugar de descartarse.
Informe de la concordancia por clase de activo además de la global, porque a los adjudicadores puede costarles más juzgar los equipos de fabricantes que el código propio. Guarde las resoluciones del tercer ingeniero en un archivo aparte, para que un lector pueda ver cuántos elementos la necesitaron y si alguna clase se disputó más que las demás.
5.5 Actividad práctica — Lab 5: bootstrap pareado
# Lab 5 (synthetic): paired bootstrap CI for the recall gain (dual - static) on two corpora.
import random
def corpus(seed, mix):
rng = random.Random(seed); items = []
probs = {"code": (0.90, 0.55), "appliance": (0.20, 0.80), "embedded": (0.30, 0.10), "rest": (0.70, 0.0)}
for cls, n in mix.items():
ps, pp = probs[cls]
for _ in range(n):
s = rng.random() < ps; p = rng.random() < pp
items.append((s, s or p))
return items
def gain_ci(items, reps=2000, seed=1):
rng = random.Random(seed); n = len(items)
point = sum(d - s for s, d in items) / n
boots = sorted(sum(d - s for s, d in (items[rng.randrange(n)] for _ in range(n))) / n for _ in range(reps))
return point, boots[int(0.025 * reps)], boots[int(0.975 * reps)]
for name, seed, mix in [("HRHN hospitals 2-3", 11, {"code": 300, "appliance": 180, "embedded": 120, "rest": 100}),
("Marrow (frozen rules)", 22, {"code": 500, "appliance": 60, "embedded": 200, "rest": 140})]:
g, lo, hi = gain_ci(corpus(seed, mix))
print(f"{name:24s} recall gain = {g:.3f} 95% CI [{lo:.3f}, {hi:.3f}]")
Salida esperada:
HRHN hospitals 2-3 recall gain = 0.207 95% CI [0.176, 0.236]
Marrow (frozen rules) recall gain = 0.097 95% CI [0.079, 0.116]
Con estos supuestos sintéticos, H1 (ganancia ≥ 0,10 en HRHN) queda respaldada, y H4 (ganancia ≥ 0,05 en Marrow) también, con la ganancia menor de Marrow prevista por su mezcla de clases. El intervalo bootstrap refleja solo el muestreo; no dice nada sobre el error de adjudicación ni sobre si Marrow se parece a alguna empresa real.
El laboratorio extrae las detecciones por clase de las mismas probabilidades arbitrarias usadas en el Lab 3 y las aplica a dos mezclas de clases. La mezcla de HRHN, de 700 usos, coincide con el tamaño del corpus reservado; la de Marrow tiene menos equipos de fabricantes y más dispositivos integrados. El bootstrap pareado remuestrea elementos y mantiene juntos los resultados estático y doble de cada uno, y por eso los intervalos son estrechos.
5.6 Ejemplo resuelto: el párrafo de resultados honesto
«En el corpus HRHN reservado (sintético; 700 usos adjudicados vulnerables a la computación cuántica), el inventario de doble fuente aumentó la exhaustividad en 0,21 (IC bootstrap del 95 %: 0,18–0,24) respecto a una línea base estática configurada con competencia; la precisión fue de 0,93. La ganancia se concentró en los equipos de fabricantes (0,63) y fue nula en los datos en reposo (0,00), como se había previsto (H3). Con las reglas congeladas, la ganancia en un corpus independiente fue de 0,10 (0,08–0,12). El nueve y el catorce por ciento de los activos, respectivamente, no pudieron adjudicarse y se excluyen de los denominadores de la exhaustividad; con el supuesto de peor caso de que todos los activos desconocidos contienen usos vulnerables no descubiertos, la exhaustividad baja hasta 0,12. Estos resultados describen dos organizaciones sintéticas y un modelo de detección; no son estimaciones para empresas reales». Fíjese en lo que el párrafo se niega a decir: no afirma que ninguna de las dos organizaciones sea «segura frente a la computación cuántica» ni que el inventario de doble fuente sea suficiente.
5.7 Errores comunes y límites
- Comparar estimaciones de exhaustividad no pareadas y presentar intervalos solapados como «sin diferencia».
- Informar solo de la incertidumbre de muestreo.
- Tocar el corpus de validación antes de congelar las reglas, aunque sea para «comprobar el formato».
- Excluir del denominador los activos desconocidos sin decirlo.
- El Lab 5 simula probabilidades de detección; las clases de activos reales son más desordenadas.
Cada error tiene una salvaguarda concreta en este estudio: el diseño pareado, el informe de las tres incertidumbres, la configuración congelada y con hash antes de abrir Marrow, y las proporciones desconocidas del nueve y el catorce por ciento impresas junto a la exhaustividad. Un revisor debería poder confirmar las cuatro en el archivo sin preguntar al doctorando.
Ejercicios — capítulo 5
- EX027 — ¿Por qué emparejar? Explique con el Lab 5 por qué el intervalo pareado es más estrecho que dos intervalos independientes. Rúbrica: 3 = argumento de varianza correcto.
- EX028 — Elementos disputados. Con 40 elementos disputados en HRHN, describa el análisis de sensibilidad y cómo informaría de él. Rúbrica: 3 = cotas contando de las dos maneras y frase de informe.
- EX029 — Curva de especificaciones. Enumere cuatro especificaciones alternativas defendibles para la estimación principal. Rúbrica: 3 = cada una altera una decisión analítica y está justificada.
- EX030 — Protocolo de congelación. Redacte el procedimiento de congelación para Marrow, incluido qué se somete a hash y quién lo atestigua. Rúbrica: 3 = verificable por alguien externo.
- EX031 — Predecir Marrow. Con las probabilidades por clase del Lab 3, prediga la ganancia agregada de Marrow a partir de su mezcla antes de ejecutar el Lab 5. Rúbrica: 3 = predicción a menos de 0,03 y método mostrado.
- EX032 — Párrafo de resultados. Reescriba un párrafo que exagera («Nuestro método hace que las organizaciones sean seguras frente a la computación cuántica») al estilo de 5.6. Rúbrica: 3 = alcance, incertidumbre e incógnitas presentes.
Síntesis del capítulo
El estudio principal es una comparación pareada que informa de tres tipos de incertidumbre, se valida en un corpus intacto con reglas congeladas, se adjudica a ciegas y se redacta con sus incógnitas presentes en la discusión sobre el denominador. Una reducción prevista del beneficio en un corpus distinto respalda el mecanismo.
Siga estudiando — capítulo 05 de 08
← Capítulo 04 (borrador) · Índice de capítulos del curso · Capítulo 06 (borrador) →