Capítulo 1 — Toma de decisiones avanzada en seguridad
Mapa de la lección
Lección 01 publicada. Mapa, ejemplo, EX001.
flowchart TD
N0["Resultados de aprendizaje"]
N1["1.1 Por qué las decisiones de seguridad de la IA son"]
N2["1.2 Un registro de decisión"]
N3["1.3 Estructurar con el AI RMF"]
N4["1.4 Decidir con incertidumbre"]
N5["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX001"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["1.1 Por qué las decisiones de seguridad de la IA son"]
N2["1.2 Un registro de decisión"]
N3["1.3 Estructurar con el AI RMF"]
N4["1.4 Decidir con incertidumbre"]
N5["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX001"]
[Resultados de aprendizaje]
|
v
[1.1 Por qué las decisiones de seguridad de la IA son]
|
v
[1.2 Un registro de decisión]
|
v
[1.3 Estructurar con el AI RMF]
|
v
[1.4 Decidir con incertidumbre]
|
v
[Síntesis]
|
v
[Ejemplo resuelto] --> [Ejercicio EX001]
Resultados de aprendizaje
Usted podrá (1) plantear una decisión de seguridad de la IA como opciones, consecuencias e incertidumbre; (2) separar hechos, estimaciones y valores en un registro de decisión; (3) usar las funciones del NIST AI RMF para estructurar decisiones a escala de toda la organización; (4) decidir con evidencia incompleta y con desencadenantes explícitos para revisar la decisión; y (5) comunicar una decisión de modo que otros puedan cuestionarla.
1.1 Por qué las decisiones de seguridad de la IA son distintas
La mayoría de las decisiones de seguridad se refieren a sistemas cuyo comportamiento especifica el código. Los sistemas de IA añaden un comportamiento aprendido de los datos y, en el caso de los modelos de lenguaje, un comportamiento dirigido por texto que los atacantes pueden aportar. De ello se siguen tres consecuencias. Primera, las tasas de fallo son estadísticas: un control que bloquea el 97 % de las inyecciones probadas no bloquea «la inyección». Segunda, la evidencia envejece deprisa, porque los modelos, los prompts y las técnicas de los atacantes cambian. Tercera, el mismo modelo puede ser seguro en un despliegue y peligroso en otro, según las herramientas y los datos a los que pueda llegar. Por tanto, el trabajo de un especialista sénior consiste menos en encontrar un control perfecto que en elegir, con una incertidumbre declarada, entre opciones imperfectas, y en disponer que la elección se revise.
1.2 Un registro de decisión
Un registro útil tiene siete partes: la pregunta; las opciones (que siempre incluyen «no hacer nada» y «no desplegar»); las consecuencias de cada una para las partes afectadas; la evidencia, etiquetada como hecho, estimación o supuesto; los valores y el apetito de riesgo aplicados; la decisión con su responsable; y los desencadenantes de revisión (una fecha, un umbral de una métrica, un cambio de modelo, un incidente). Escribir los valores por separado importa: dos personas pueden coincidir en todos los hechos y aun así discrepar sobre si es aceptable un reembolso erróneo de cada 1000. Ocultar ese desacuerdo dentro de una «puntuación de riesgo» impide un debate honesto.
1.3 Estructurar con el AI RMF
NIST AI 100-1 organiza el trabajo sobre el riesgo de la IA en Govern, Map, Measure y Manage (gobernar, mapear, medir y gestionar). Úselo como lista de comprobación para la decisión: ¿hay un responsable que rinde cuentas y una política (Govern)? ¿Está mapeado el contexto —usuarios, datos, herramientas, personas afectadas— (Map)? ¿Hay evidencia sobre los riesgos pertinentes, con límites conocidos (Measure)? ¿Se han elegido, priorizado y monitorizado los tratamientos (Manage)? Las lagunas en cualquier función indican dónde es más débil la decisión. El perfil de IA generativa (NIST AI 600-1) añade riesgos propios de los sistemas generativos, como la integridad de la información y la seguridad de la información, que deben aparecer en el paso Map de los despliegues de modelos de lenguaje.
1.4 Decidir con incertidumbre
Rara vez se tiene la evidencia que se desea. Tres herramientas ayudan. Acotación: si se observaron cero fallos en n ensayos independientes, el límite superior al 95 % de la tasa de fallos es aproximadamente 3/n, así que 0 de 300 sigue permitiendo alrededor del 1 %. Reversibilidad: prefiera las opciones que pueden deshacerse con poco coste, como un indicador de función, un límite de reembolso o un despliegue escalonado. Valor de la información: pregúntese si más pruebas podrían cambiar la decisión; si no, decida ahora. La decisión de Amira sobre los reembolsos usa las tres: el límite de 0 de 400, un tope bajo que puede elevarse después y un desencadenante en lugar de más pruebas.
1.5 Ejemplo resuelto (caso sintético de Corvane)
La junta directiva pregunta a Amira si Dispatch Copilot puede emitir reembolsos automáticamente. Opciones: (a) ningún reembolso por parte del agente; (b) reembolsos de hasta 50 € con comprobaciones de políticas fuera del modelo; (c) reembolsos de hasta 500 €. Evidencia: en una prueba aislada, 0 de 400 conversaciones adversariales produjeron un reembolso contrario a las políticas con la opción (b) (límite superior ≈ 0,75 %), mientras que los datos de atención al cliente estiman un ahorro de gestión de 180 000 € al año. Valores: el director financiero acepta hasta 10 000 € al año en reembolsos indebidos. Amira calcula la peor exposición plausible en 0,75 % de 60 000 reembolsos × 50 € ≈ 22 500 €, por encima del apetito; con un límite de 20 €, el mismo límite superior da 9000 €, dentro de él, así que recomienda (b) con un límite de 20 € durante tres meses, con un desencadenante para revisar la decisión tras 10 000 reembolsos reales o ante cualquier abuso confirmado.
1.6 Errores y límites
- Presentar una sola puntuación en lugar de opciones y consecuencias.
- Tratar «no se observaron fallos» como «no son posibles los fallos».
- Omitir «no desplegar» de las opciones.
- Decisiones sin responsable ni desencadenante de revisión.
Cada error debilita una decisión. Una sola puntuación oculta las opciones y los valores que hay detrás, como el apetito del director financiero ante los reembolsos indebidos. Cero fallos en 400 pruebas siguen permitiendo una tasa cercana al 0,75 %. Sin «no desplegar», la junta nunca ve la opción segura más barata. Una decisión sin responsable ni desencadenante nunca se revisa, ni siquiera tras 10 000 reembolsos reales. Compruebe los cuatro puntos en cada registro.
Ejercicios
- EX001 — Registro de decisión. Redacte un registro de siete partes sobre si permitir que un asistente basado en un LLM resuma las quejas de recursos humanos. Rúbrica: 3 = las siete partes con la evidencia etiquetada y desencadenantes; 2 = cinco o seis; 1 = tres o cuatro; 0 = menos.
- EX002 — Hechos y valores. Clasifique cinco afirmaciones del §1.5 como hecho, estimación, supuesto o valor. Rúbrica: 3 = todas correctas con razones; 2 = cuatro; 1 = dos o tres; 0 = menos.
- EX003 — Acotación. Se observaron cero reembolsos contrarios a las políticas en 1000 ensayos. ¿Cuál es el límite superior aproximado al 95 % y qué significa para 60 000 reembolsos al año? Rúbrica: 3 = ≈0,3 %, ≈180 reembolsos como peor caso plausible, salvedades sobre independencia/representatividad; 2 = cifras sin salvedades; 1 = una cifra; 0 = incorrecto.
- EX004 — Lagunas del RMF. Formule una pregunta de Govern, Map, Measure y Manage que el registro de Amira deba responder. Rúbrica: 3 = cuatro preguntas adecuadas; 2 = tres; 1 = una o dos; 0 = ninguna.
- EX005 — Reversibilidad. Proponga dos decisiones de diseño reversibles para un agente que puede cambiar direcciones de entrega. Rúbrica: 3 = dos controles concretos y baratos de deshacer, con desencadenantes; 2 = dos sin desencadenantes; 1 = uno; 0 = ninguno.
Síntesis
Las decisiones sénior de seguridad de la IA son elecciones entre opciones imperfectas con incertidumbre. Registre por separado las opciones, la evidencia y los valores, acote lo que las pruebas pueden mostrar, prefiera los pasos reversibles y fije desencadenantes para revisar la decisión.
Siga estudiando — capítulo 01 de 12
← Página del curso · Índice de capítulos del curso · Capítulo 02 (borrador) →