Capítulo 39 — Evaluación del proyecto final

Capítulo 39 — Evaluación del proyecto final

Mapa de la lección

Lección 39 publicada. Mapa, ejemplo, EX077.

flowchart TD
  N0["Resultados de aprendizaje y conexión"]
  N1["39.1 Frente a los criterios que usted fijó"]
  N2["39.2 Sensibilidad y robustez"]
  N3["39.3 Limitaciones con dirección"]
  N4["39.4 Revisión independiente"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX077"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje y conexión"]
  N1["39.1 Frente a los criterios que usted fijó"]
  N2["39.2 Sensibilidad y robustez"]
  N3["39.3 Limitaciones con dirección"]
  N4["39.4 Revisión independiente"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX077"]

[Resultados de aprendizaje y conexión]
    |
    v
[39.1 Frente a los criterios que usted fijó]
    |
    v
[39.2 Sensibilidad y robustez]
    |
    v
[39.3 Limitaciones con dirección]
    |
    v
[39.4 Revisión independiente]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX077]

Resultados de aprendizaje y conexión

Al terminar este capítulo, usted podrá (1) evaluar los resultados de su proyecto final frente a los criterios de éxito fijados en la propuesta; (2) realizar comprobaciones de sensibilidad y de robustez de su comparación; (3) enunciar las limitaciones de forma específica, con la dirección probable de su efecto; y (4) buscar una revisión independiente y responder a ella antes de la memoria final. Se apoya en los capítulos 34, 37 y 38 y prepara la memoria y la presentación (capítulo 40).

39.1 Frente a los criterios que usted fijó

La evaluación empieza por los criterios de éxito de la propuesta (capítulo 35). ¿Se cumplieron, se cumplieron en parte o no se cumplieron? Informe de cada uno con honestidad y con evidencias. Después evalúe la propia comparación: ¿el registro de evidencias respalda las puntuaciones? ¿Otra persona, usando sus escalas ancladas, daría puntuaciones similares (pregunte a alguien)? ¿Alguna restricción excluyó una opción? En la evaluación resuelta (§39.5) se realizó una entrevista y la segunda se sustituyó por documentos, de modo que el criterio de aportación de los profesionales se presenta como cumplido en parte, en lugar de abandonarlo en silencio. Pedir a una segunda persona que puntúe dos opciones con sus escalas ancladas es una comprobación rápida de la fiabilidad; si sus puntuaciones difieren en más de un punto en algún criterio, sus anclas necesitan una redacción más clara antes de la memoria.

39.2 Sensibilidad y robustez

Vuelva a ejecutar su comparación con variaciones plausibles: pesos distintos (Lab 13), evidencias pesimistas y optimistas (la autonomía reducida a la mitad del capítulo 22), supuestos alternativos del modelo (la variante del archivo del capítulo 38). Una recomendación robusta se mantiene en la mayoría de las variaciones; una frágil depende de un supuesto concreto, que usted debe nombrar. Presente el resultado en una tabla breve: variación, ganadora, comentario. La evaluación resuelta muestra un resultado frágil: la pasarela gana en cuanto el peso del coste supera 0,45, y la sustitución acelerada gana cuando se supone que la monitorización del aislamiento no funciona. Ambas se nombran en la conclusión como condiciones de inversión, de modo que el lector puede ver en qué juicio de valor y en qué supuesto descansa la recomendación.

39.3 Limitaciones con dirección

«La muestra era pequeña» es una limitación débil. Una limitación útil dice qué, por qué importa y en qué dirección sesga probablemente el resultado. Por ejemplo: «El modelo de exposición supone que todos los dispositivos sin soporte son igual de explotables; en la práctica, los dispositivos próximos a internet están más expuestos, por lo que el modelo probablemente subestima el beneficio del aislamiento para los equipos de imagen». Las limitaciones con dirección permiten a los lectores ajustar sus conclusiones en lugar de descartarlas. Cuando la dirección sea realmente desconocida, como ocurre con el inventario sintético, dígalo de forma explícita en lugar de dejar la limitación sin dirección por omisión.

39.4 Revisión independiente

Antes de que la memoria sea definitiva, pida a alguien ajeno a su proyecto (un compañero del seminario, capítulo 37; su supervisor en la organización de acogida; un académico no implicado) que revise el capítulo de evaluación. Registre sus observaciones y sus respuestas. La independencia es el eslabón más débil de la mayoría de las evidencias (capítulo 15); el proyecto final es donde usted practica cómo reforzarla. En la evaluación resuelta, la observación del revisor sobre la monitorización sin personal cambió la tabla principal: la variación pesimista pasó a ser un resultado principal y la recomendación pasó a ser condicional. Anote el papel y la independencia del revisor junto a cada observación, para que un evaluador pueda juzgar cuánto peso tiene la revisión.

39.5 Ejemplo resuelto: tabla de evaluación (sintético)

Esta evaluación es sintética. Proyecto final sobre dispositivos sin soporte:

Limitaciones (con dirección): inventario sintético (dirección desconocida, y así se declara); una sola entrevista con profesionales (probablemente subestima la perturbación clínica del aislamiento, por lo que la puntuación del aislamiento puede ser optimista); el modelo de exposición ignora la selección de objetivos por parte del atacante (probablemente subestima el valor de retirar primero los dispositivos más expuestos). Observación principal del revisor: «la ventaja del aislamiento depende de que la monitorización tenga personal; muestre qué ocurre si las alertas no se revisan». Respuesta: la variación pesimista responde a esto y ahora figura en la tabla principal.

39.6 Errores comunes y límites

• Mover la portería: evaluar frente a criterios inventados después de los resultados.
• Análisis de sensibilidad solo sobre parámetros irrelevantes.
• Limitaciones sin dirección.
• Revisiones de personas que ayudaron a producir el trabajo.

La evaluación resuelta evita el primero al usar los criterios de la propuesta, varía los pesos que importan, da una dirección a cada limitación y recurre a un revisor que no ayudó a producir el trabajo. El segundo error es común: variar el peso de la solidez de la evidencia, que apenas cambia la clasificación, sin tocar el coste, que la invierte. Una limitación como «una entrevista» sin dirección deja al lector sin forma de ajustar el resultado. Un revisor que ayudó a construir el modelo de exposición no puede aportar una revisión independiente de él.

Ejercicios — capítulo 39

EX077 — Limitaciones con dirección. Objetivo: redactar limitaciones útiles. Entradas: la comparación del capítulo 34 (Lab 13). Pasos: escriba tres limitaciones, cada una con qué, por qué y dirección probable. Evidencia esperada: tres limitaciones. Rúbrica: 3 = específicas (p. ej., puntuaciones de un solo evaluador: dirección desconocida, se aborda con un segundo puntuador; la puntuación de las copias de seguridad ignora el robo de datos, lo que exagera su beneficio frente al ransomware de doble extorsión; las puntuaciones de coste excluyen el tiempo del personal para los simulacros, lo que exagera la ventaja de coste de las copias de seguridad); 2 = sin dirección; 1 = genéricas; 0 = nada.

EX078 — Responda a la revisión. Objetivo: gestionar la crítica. Entradas: el revisor dice «su evidencia sobre el tiempo de restauración procede de un único entorno de pruebas y de cinco simulacros». Pasos: escriba una respuesta que acepte, acepte en parte o rechace con razones, e indique cualquier cambio. Evidencia esperada: la respuesta. Rúbrica: 3 = acepta la limitación, añade el intervalo de Wilson (capítulo 37), indica las diferencias entre pruebas y producción y la dirección del sesgo, y ajusta la confianza en la recomendación; 2 = acepta sin cambios; 1 = defensiva; 0 = nada.

Síntesis del capítulo

Evalúe frente a los criterios que fijó antes de los resultados, ponga a prueba la robustez de la comparación, enuncie las limitaciones con su dirección e invite a una revisión independiente. Una recomendación frágil etiquetada con honestidad es más útil que una de apariencia robusta que oculta su supuesto.

Siga estudiando — capítulo 39 de 40

← Capítulo 38 · Índice de capítulos del curso · Capítulo 40 →

Continúe con la siguiente lección escrita.