OpenCyber Academy
Tecnólogo · Capítulo 30 · Español
Código del curso: OCA-092Capítulo 30: OCA-092-C030

Capítulo 30 — Evaluación del proyecto final

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 30 publicada. Mapa, ejemplo, EX088.

flowchart TD
  N0["Resultados de aprendizaje y conexión"]
  N1["30.1 La revisión del diseño"]
  N2["30.2 Evidencia operativa"]
  N3["30.3 Rúbrica de evaluación"]
  N4["30.4 Fallos habituales en los proyectos finales"]
  N5["30.6 Mirando atrás: el método"]
  N6["30.7 Práctica continua"]
  N7["30.8 Actividad práctica: autoevaluación"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX088"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje y conexión"]
  N1["30.1 La revisión del diseño"]
  N2["30.2 Evidencia operativa"]
  N3["30.3 Rúbrica de evaluación"]
  N4["30.4 Fallos habituales en los proyectos finales"]
  N5["30.6 Mirando atrás: el método"]
  N6["30.7 Práctica continua"]
  N7["30.8 Actividad práctica: autoevaluación"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX088"]

[Resultados de aprendizaje y conexión]
    |
    v
[30.1 La revisión del diseño]
    |
    v
[30.2 Evidencia operativa]
    |
    v
[30.3 Rúbrica de evaluación]
    |
    v
[30.4 Fallos habituales en los proyectos finales]
    |
    v
[30.6 Mirando atrás: el método]
    |
    v
[30.7 Práctica continua]
    |
    v
[30.8 Actividad práctica: autoevaluación]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX088]

Resultados de aprendizaje y conexión

Al terminar este capítulo, usted debería ser capaz de:

El plan de evaluación del curso tiene tres partes: un proyecto de integración (capítulo 29), la evidencia operativa (el registro de evidencia y los resultados de las pruebas a lo largo del tiempo) y una revisión del diseño. Este capítulo explica cómo se evalúa cada una y cierra el libro repasando el método que ha enseñado.

30.1 La revisión del diseño

Una revisión del diseño es una conversación estructurada en la que los revisores comprueban si el servicio cumple sus requisitos y preserva sus propiedades clave. Prepare: la arquitectura con zonas, conductos y caminos de gestión; la propiedad del sentido de la confianza y cómo la preserva cada cambio (capítulo 8); los escenarios de riesgo principales y el conjunto de controles de cada uno (capítulos 13 y 18); el registro de flujos de datos (capítulo 12); los riesgos aceptados con sus responsables. Los revisores harán preguntas del tipo «¿qué ocurre si…?»: si el retransmisor se ve comprometido; si se filtra una clave; si falla el operador de telecomunicaciones; si la fuente de verdad de la automatización es errónea; si la persona que lo construyó se marcha. Responda con el diseño y la evidencia, y diga «eso no lo hemos probado» cuando sea cierto: una carencia honesta puntúa mejor que una suposición segura de sí misma.

30.2 Evidencia operativa

La evidencia operativa es el registro del servicio en funcionamiento: informes de salud a lo largo de semanas, alertas y su gestión, pruebas de control con sus resultados frente a reglas de afirmación (capítulo 23), pruebas de restauración, revisiones de accesos, informes de deriva, registros de problemas y revisiones sin culpables con sus cambios. Los evaluadores buscan: evidencia fechada y con fuente; recuentos que cuadren; reglas de afirmación declaradas antes de los resultados; un tratamiento honesto de lo «aún no demostrado»; y límites declarados (datos sintéticos, equipos de laboratorio, periodos cortos).

El resumen del equipo B de este capítulo es el modelo: recuentos, un resumen criptográfico, una regla de afirmación y una carencia declarada.

30.3 Rúbrica de evaluación

Tabla de la lección; desplázate para ver todas las columnas →

Criterio 3 — sólido 2 — adecuado 1 — débil 0 — ausente
Función de extremo a extremo Todos los requisitos del capítulo 29 («Lo que debe demostrar el proyecto final») demostrados con evidencia bruta Un requisito con evidencia escasa Función afirmada, no mostrada No funciona
Controles y monitorización Cada escenario principal tiene controles de prevención/detección/recuperación probados frente a reglas de afirmación; hay automonitorización Carencias en un escenario o sin automonitorización Controles configurados pero sin probar Ninguno
Propiedades de diseño Sentido de la confianza e independencia de las capas preservados y argumentados; caminos de gestión mostrados Una propiedad argumentada débilmente Solo un diagrama Ninguna
Operabilidad y traspaso Manuales de operación probados por otros; evidencia de salud; traspaso con elementos abiertos Manuales no probados por otros Solo documentos Nada
Calidad de la evidencia Fechada, con fuente, cuadra, con resumen criptográfico, límites declarados Un punto débil Varios puntos débiles Ninguna
Honestidad sobre los límites Carencias y lo «aún no demostrado» declarados con claridad y con planes Declarados pero sin planes Carencias ocultas —
Seguridad y ética Todo el trabajo práctico dentro de lo autorizado; ningún sistema real tocado — Falta menor Actividad no autorizada (suspende el proyecto final)

30.4 Fallos habituales en los proyectos finales

Los proyectos finales con peores resultados rara vez son los menos técnicos. Son los que presentan la configuración como evidencia, ocultan una prueba fallida, eligen las reglas de afirmación después de los resultados, prueban solo los componentes o describen un diseño que la evidencia no respalda. Los que obtienen mejores resultados suelen ser modestos en alcance y exactos en la evidencia. El equipo A, «totalmente asegurado… todas las pruebas superadas», muestra los dos primeros fallos. El equipo B, en cambio, informa de las pruebas adicionales de la regla C, del 4 de 6 de la FIM y de un compromiso de claves sin probar.

30.5 Ejemplo resuelto: dos resúmenes de proyecto final (sintético)

Equipo A: «LANTERN está totalmente asegurado con HMAC, validación, monitorización y copias de seguridad. Todas las pruebas se superaron». Equipo B: «Cuatro de cuatro fallos inyectados se detectaron en la ejecución final (resumen criptográfico del registro aa40e3905d17…). La regla C cumplió su regla de afirmación solo después de más pruebas (12/12 tras cuatro éxitos más, límite inferior 0,76); la detección de la FIM aún no está demostrada (4/6; las comprobaciones diarias son demasiado lentas; cambio abierto). Encontramos y corregimos un defecto del estado de reproducción durante la integración (capítulo 29). La restauración del historiador cumplió su RTO de 4 horas en 9 de 10 simulacros; el fallo se debió a una carencia del manual de operación, corregida y vuelta a probar. No hemos probado el compromiso de claves ni la caída del operador de telecomunicaciones a escala». El resumen del equipo B puntúa más alto en todos los criterios, salvo quizá en seguridad en sí mismo, y la seguridad en sí mismo no es un criterio.

30.6 Mirando atrás: el método

El curso ha enseñado un solo método, aplicado treinta veces: saber qué debe seguir siendo cierto sobre el servicio; construirlo para que siga siéndolo; comprobar que lo es, con evidencia que otra persona pueda verificar; advertir con rapidez cuándo deja de serlo; responder sin destruir la evidencia; y traspasarlo para que otros puedan hacer lo mismo. El vocabulario cambia según el sector (cloro y bombas en el agua, bibliotecas de fármacos en un hospital, horarios en unas cocheras), pero el método se transfiere.

PS-09 recorrió una vez todo el método: en silencio, conciliada, objeto de una alerta, explicada por su reloj.

30.7 Práctica continua

Los servicios y las amenazas cambian, y también las normas. Mantenga un breve plan de práctica continua: vuelva a leer las normas principales en las que se apoya cuando se revisen (NIST CSF 2.0, SP 800-82, los CPG de la CISA, la guía sectorial de su jurisdicción); siga los avisos de los productos de su inventario; participe en ejercicios; revise cada mes un informe público de incidente en busca de suposiciones fallidas (capítulo 5); y pida que se revise su propio trabajo. El siguiente curso del itinerario de estudio, el curso de grado en Ciberseguridad, amplía los fundamentos de mucho de lo que este libro ha aplicado.

30.8 Actividad práctica: autoevaluación

Puntúe su proyecto final con la rúbrica de evaluación anterior antes de que lo haga su evaluador. Para cada criterio por debajo de 3, escriba qué evidencia lo elevaría y cuándo podría producirla. Use el resumen del equipo B como referencia de la evidencia que necesita cada puntuación. Si la regla C cumplió su regla de afirmación en su registro solo después de pruebas adicionales, dígalo y dé los recuentos, como hizo el equipo B con 12 de 12 y un límite inferior de 0,76. Si la FIM aún no está demostrada en su registro, puntúe ese criterio con honestidad y nombre el cambio que lo elevaría, como comprobaciones de integridad más frecuentes de los archivos críticos, con una fecha para la nueva prueba. Una autoevaluación que difiere de la del evaluador en más de un punto en algún criterio suele significar que faltaba evidencia, no que el trabajo fuera débil.

Ejercicios — capítulo 30

EX088 — Responda a los revisores. Objetivo: defender un diseño con honestidad. Entradas: preguntas: (a) «¿Qué ocurre si se filtra la clave HMAC del retransmisor?»; (b) «¿Y si se marcha la persona que construyó la automatización?»; (c) «¿Y si BayTel cae durante un día?». Restricciones: responda a partir del diseño y la evidencia de este libro; indique dónde falta evidencia. Pasos: responda a cada una en 100–150 palabras. Evidencia esperada: tres respuestas. Rúbrica: 3 = (a) las claves por estación limitan el impacto; la detección mediante un origen inesperado o anomalías de secuencia es débil, y se admite la carencia; manual de rotación probado; pasos de revocación; (b) revisión, rotación de roles, manuales de operación, cadena protegida, traspaso, con evidencia del acompañamiento; (c) las estaciones almacenan 24 h, alertas de silencio, desencadenante de lecturas manuales, margen para la subida de la acumulación, e indica si se ha ejercitado una caída de un día; 2 = una respuesta débil; 1 = seguridad sin evidencia; 0 = nada.

EX089 — Evalúe a los equipos A y B. Objetivo: aplicar la rúbrica. Entradas: los resúmenes del capítulo 30 («Ejemplo resuelto: dos resúmenes de proyecto final»). Restricciones: puntúe solo lo que muestra el resumen. Pasos: puntúe a ambos en cada criterio y justifíquelo. Evidencia esperada: tabla. Rúbrica: 3 = equipo A bajo en calidad de la evidencia y honestidad (solo afirmaciones), desconocido en lo demás; equipo B alto en calidad de la evidencia y honestidad, de adecuado a sólido en controles con carencias declaradas; el evaluador indica qué evidencia adicional necesita de cada uno; 2 = puntuaciones defendibles, justificación escasa; 1 = puntuaciones según la seguridad del tono; 0 = nada.

EX090 — Plan de práctica continua. Objetivo: planificar cómo mantenerse al día. Entradas: los productos de su inventario y la guía sectorial de su jurisdicción. Restricciones: una página; actividades mensuales, trimestrales y anuales; fuentes nombradas con sus versiones. Pasos: redacte el plan. Evidencia esperada: el plan. Rúbrica: 3 = fuentes y versiones concretas (por ejemplo, NIST CSF 2.0, SP 800-82 Rev. 3, los CPG de la CISA o el CAF del NCSC), suscripciones a avisos de los productos del inventario, lectura mensual de informes de incidentes, participación trimestral en ejercicios, revisión anual de las normas, revisión por pares; carga de trabajo realista; 2 = fuentes genéricas; 1 = intención vaga; 0 = nada.

Síntesis del capítulo

El proyecto final se evalúa mediante la revisión del diseño, la evidencia operativa y el proyecto de integración. Los revisores premian los diseños que preservan sus propiedades clave, los controles probados frente a reglas de afirmación declaradas de antemano, la evidencia fechada, con fuente, coherente y protegida, y la honestidad sobre lo que no se ha demostrado. El método del curso (saber qué debe seguir siendo cierto, construir para ello, comprobarlo, advertir el fallo, responder con cuidado, traspasarlo) se transfiere entre sectores y debe mantenerse al día con la práctica continua.

Respuestas desarrolladas

EX088 — Responda a los revisores. (a) Filtración de una clave: las claves son por estación, así que una clave filtrada permite a un atacante suplantar a una estación, no a todas; los mensajes falsificados superarían el MAC y la validación si fueran verosímiles; la detección es débil (podrían delatarla números de secuencia duplicados desde dos orígenes o valores que no concuerdan con los de las estaciones vecinas, pero no se ha probado); respuesta: revocar y rotar con el manual de operación probado, y tratar los datos de esa estación como no fiables hasta la rotación. (b) Se marcha quien lo construyó: el estado deseado y la automatización están en un repositorio revisado con al menos dos mantenedores; el equipo receptor siguió los manuales de operación durante el acompañamiento; las credenciales están en una bóveda, no en manos de la persona; el acceso se retira mediante el proceso de bajas. (c) BayTel cae durante un día: las estaciones almacenan 24 h; saltan las alertas de silencio; Agua pasa a lecturas manuales; al volver, la subida de la acumulación se ha probado para 4 h, pero no para 24 h: una carencia honesta, con una prueba planificada.

EX089 — Evalúe a los equipos A y B. Equipo A: función de extremo a extremo 1 (afirmada), controles 1 (configurados, sin resultados de pruebas), propiedades de diseño: desconocidas, operabilidad: desconocida, calidad de la evidencia 0–1 (sin fechas, recuentos ni resumen criptográfico), honestidad 1 (ninguna carencia declarada). Equipo B: función 3 (cuatro de cuatro con resumen criptográfico), controles 2–3 (reglas de afirmación aplicadas, FIM aún no demostrada con un cambio abierto), propiedades de diseño: no se muestran en el resumen, operabilidad 2 (carencia del manual de operación encontrada y corregida), calidad de la evidencia 3, honestidad 3 (áreas sin probar nombradas). El evaluador pide al equipo A la evidencia bruta y al equipo B su material de revisión del diseño antes de las puntuaciones finales.

EX090 — Plan de práctica continua. Mensual: leer los avisos de los productos del inventario (avisos de los fabricantes; fuentes del CERT nacional; CISA KEV) y un informe público de incidente, anotando las suposiciones fallidas; revisar las tendencias del informe de salud. Trimestral: participar en un ejercicio o una prueba de control; revisar con un compañero los hallazgos de la revisión de accesos y de deriva. Anual: volver a leer las versiones en uso de NIST CSF 2.0, SP 800-82 Rev. 3 y los CPG de la CISA o el CAF del NCSC, y la guía sectorial de la jurisdicción; comprobar si hay revisiones; actualizar las fichas de control afectadas; pedir una revisión externa de una parte del propio trabajo. Carga de trabajo: unas cuatro horas al mes.