Capítulo 5 — Alfabetización en seguridad
Mapa de la lección
Lección 05 publicada. Mapa, ejemplo, EX013.
flowchart TD
N0["Resultados de aprendizaje"]
N1["5.1 La tríada CIA aplicada a la IA"]
N2["5.2 Vocabulario"]
N3["5.3 Marcos"]
N4["5.4 Práctica autorizada"]
N5["5.4b Comunicar un hallazgo"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX013"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["5.1 La tríada CIA aplicada a la IA"]
N2["5.2 Vocabulario"]
N3["5.3 Marcos"]
N4["5.4 Práctica autorizada"]
N5["5.4b Comunicar un hallazgo"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX013"]
[Resultados de aprendizaje]
|
v
[5.1 La tríada CIA aplicada a la IA]
|
v
[5.2 Vocabulario]
|
v
[5.3 Marcos]
|
v
[5.4 Práctica autorizada]
|
v
[5.4b Comunicar un hallazgo]
|
v
[Síntesis]
|
v
[Ejemplo resuelto] --> [Ejercicio EX013]
Resultados de aprendizaje
Usted podrá (1) usar la confidencialidad, la integridad y la disponibilidad para describir los riesgos de la IA; (2) interpretar correctamente amenaza, vulnerabilidad y riesgo; (3) conocer los principales marcos de seguridad de la IA; y (4) explicar la práctica autorizada.
5.1 La tríada CIA aplicada a la IA
Confidencialidad: los datos de entrenamiento, los prompts, los prompts de sistema y los registros de clientes no deben filtrarse. Integridad: las salidas y las acciones del modelo no deben poder manipularse, ya sea mediante inyección, envenenamiento o entradas adversarias. Disponibilidad: los servicios no deben poder agotarse ni inutilizarse. NIST AI 100-2 E2025 usa objetivos similares (disponibilidad, integridad, privacidad) para clasificar los ataques. En Ask Brightwell, los tres objetivos se corresponden con tres pruebas: si un cliente puede ver el pedido de otro, si un texto plantado puede hacer que el asistente inicie una devolución y si una avalancha de peticiones puede agotar el presupuesto de tokens. Cada capítulo posterior añade un control para uno de ellos.
5.2 Vocabulario
Una amenaza es una causa posible de daño (un estafador). Una vulnerabilidad es una debilidad (se le puede ordenar al asistente que inicie devoluciones para otras personas). El riesgo combina probabilidad e impacto. Un control reduce el riesgo. Ser precisos ayuda a los equipos a ponerse de acuerdo sobre qué corregir. En el caso de Brightwell, la consulta de pedidos entre clientes distintos era una vulnerabilidad; un estafador que busca reembolsos es la amenaza; el servicio de políticas es el control. Mantener separadas estas palabras evita que un equipo llame vulnerabilidad al estafador o amenaza al modelo, lo que confunde sobre quién debe actuar. También ayuda al redactar un informe de hallazgo, porque cada parte tiene un lector distinto.
5.3 Marcos
El NIST AI RMF (AI 100-1) organiza el trabajo sobre el riesgo en Govern, Map, Measure y Manage (gobernar, cartografiar, medir y gestionar). El OWASP Top 10 for LLM Applications 2025 enumera los riesgos habituales de las aplicaciones, desde LLM01 Prompt Injection hasta LLM10 Unbounded Consumption. MITRE ATLAS cataloga las técnicas de los atacantes contra la IA. ISO/IEC 42001 define un sistema de gestión de la IA. Jonas los usa juntos para Brightwell: la lista de OWASP para nombrar los riesgos de aplicación de Ask Brightwell, ATLAS para los ataques contra ReturnGuard, como la extracción, y las funciones del AI RMF para organizar el trabajo. ISO/IEC 42001 pasa a ser pertinente si Brightwell busca la certificación de su gestión de la IA.
5.4 Práctica autorizada
Pruebe solo los sistemas que esté autorizado a probar, por escrito y dentro del alcance. Use copias aisladas y datos sintéticos. Comunique los hallazgos por los canales acordados. La curiosidad no es una autorización. La autorización de Jonas cubre la copia de preproducción de Ask Brightwell, no la producción. Cuando quiso comprobar si la consulta entre clientes también funcionaba en vivo, se lo preguntó a su responsable en lugar de intentarlo, y la prueba se ejecutó en preproducción con cuentas de prueba. Todas las pruebas posteriores de este libro se mantienen dentro del mismo alcance escrito. El alcance escrito también protege a Jonas si una prueba en preproducción rompe algo, porque la prueba se acordó de antemano.
5.4b Comunicar un hallazgo
Un buen informe de hallazgo indica el sistema y la versión, los pasos para reproducirlo en la copia autorizada, el efecto observado, el impacto en términos de la tríada CIA, una gravedad y una corrección sugerida. Manténgalo factual y evite los detalles de explotación que vayan más allá de lo que necesita el equipo que corrige. El informe de Jonas sobre la consulta entre clientes siguió esta forma: versión de preproducción, la petición «muestra el pedido 100245» desde otro cliente de prueba, la dirección mostrada, un impacto en la confidencialidad y la corrección en el servicio de la herramienta. Su informe omitió cualquier redacción que ayudara a abusar del fallo.
5.5 Ejemplo resuelto (caso sintético de Brightwell)
Jonas enumera los riesgos de Ask Brightwell en términos de la tríada CIA: confidencialidad, los detalles de los pedidos de otros clientes; integridad, una reseña plantada ordena al asistente aprobar devoluciones; disponibilidad, avalanchas de tokens. Asigna el segundo a OWASP LLM01 y LLM06 (agencia excesiva) y comprueba que su autorización de pruebas cubre solo la copia de preproducción. Escribir los riesgos así dio a cada uno una prueba que podía ejecutar en preproducción y un control que proponer. Confirmar el alcance de su autorización antes de probar mantuvo el trabajo en la copia de preproducción, donde las reseñas plantadas y los clientes de prueba no pueden hacer daño.
5.6 Errores y límites
- Llamar «vulnerabilidad» a cualquier problema.
- Probar en producción «solo para comprobar».
- Usar marcos sin relacionarlos con el sistema.
La lista de Jonas para Ask Brightwell evitó estos errores. El riesgo de avalancha de tokens se describe como una laguna de diseño y no como una vulnerabilidad del modelo, todas las pruebas se mantuvieron en preproducción y cada entrada de un marco está vinculada a una parte del dibujo. Una etiqueta que no puede vincularse a un componente no le dice a nadie qué corregir. Estos hábitos hacen que los desarrolladores puedan actuar con facilidad sobre sus informes posteriores.
Ejercicios
- EX013 — Tríada CIA. Dé un riesgo de confidencialidad, uno de integridad y uno de disponibilidad para ReturnGuard. Rúbrica: 3 = tres adecuados; 2 = dos; 1 = uno; 0 = ninguno.
- EX014 — Vocabulario. Etiquete la amenaza, la vulnerabilidad, el riesgo y el control en un escenario breve. Rúbrica: 3 = los cuatro correctos; 2 = tres; 1 = uno o dos; 0 = ninguno.
- EX015 — Autorización. Un amigo le pide que pruebe el chatbot de su empresa. ¿Qué debe existir primero? Rúbrica: 3 = autorización escrita del propietario, alcance, reglas, canal de comunicación; 2 = tres; 1 = uno; 0 = hacerlo sin más.
Síntesis
La alfabetización en seguridad aporta palabras compartidas —tríada CIA, amenaza, vulnerabilidad, riesgo, control—, marcos compartidos y la disciplina de la práctica autorizada.
Siga estudiando — capítulo 05 de 30
← Capítulo 04 (borrador) · Índice de capítulos del curso · Capítulo 06 (borrador) →