Capítulo 9 — Seguridad de la IA y del aprendizaje automático: liderazgo y aseguramiento

Mapa de la lección

Lección 09 publicada. Mapa, ejemplo, EX041.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["9.1 Casos de aseguramiento"]
  N2["9.2 Comunicar hacia arriba"]
  N3["9.3 Auditoría y equipo rojo"]
  N4["9.4 Guiar decisiones disputadas"]
  N5["9.5 Mantener vigente el aseguramiento"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX041"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["9.1 Casos de aseguramiento"]
  N2["9.2 Comunicar hacia arriba"]
  N3["9.3 Auditoría y equipo rojo"]
  N4["9.4 Guiar decisiones disputadas"]
  N5["9.5 Mantener vigente el aseguramiento"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX041"]

[Resultados de aprendizaje]
    |
    v
[9.1 Casos de aseguramiento]
    |
    v
[9.2 Comunicar hacia arriba]
    |
    v
[9.3 Auditoría y equipo rojo]
    |
    v
[9.4 Guiar decisiones disputadas]
    |
    v
[9.5 Mantener vigente el aseguramiento]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX041]

Resultados de aprendizaje

Usted podrá (1) construir un caso de aseguramiento para un sistema de IA; (2) comunicar la postura de seguridad de la IA a la dirección y a los consejos; (3) planificar la auditoría interna y las pruebas independientes de equipo rojo; (4) guiar a los equipos en decisiones disputadas; y (5) mantener el aseguramiento a medida que los sistemas cambian.

9.1 Casos de aseguramiento

Un caso de aseguramiento es un argumento estructurado: una afirmación («Copilot no puede emitir reembolsos fuera de la política»), argumentos («los reembolsos pasan por un servicio de políticas independiente del modelo») y evidencia (pruebas, configuración, monitorización). Cada afirmación debe indicar sus condiciones y la antigüedad de la evidencia. Los puntos débiles son explícitos: ¿qué haría falsa la afirmación? El caso de aseguramiento de Amira para el tope de reembolsos señala como punto débil el compromiso del correo de un transportista. Para el tope de reembolsos, la evidencia es la configuración del servicio de políticas, las pruebas que muestran que 0 de 300 casos adaptativos llegaron al pago y la monitorización de los reembolsos reales. Registre la fecha de cada elemento de evidencia y la versión del modelo que abarca, y revise el caso cuando cambie cualquiera de las dos.

9.2 Comunicar hacia arriba

Los consejos necesitan una imagen breve y honesta: qué sistemas de IA concentran más riesgo, cuánto de ese riesgo está tratado, qué incidentes se produjeron y qué decisiones les corresponden. Use pocas métricas, tendencias y declaraciones claras del riesgo residual. No oculte la incertidumbre tras cuadros de mando en verde. El informe de una página de Amira para el consejo, en el ejemplo resuelto que sigue, muestra los principales riesgos con sus tendencias, los incidentes, la cobertura de las evaluaciones y una solicitud de decisión. Mantenga el mismo formato cada trimestre para que el consejo pueda comparar. Muestre las tendencias de al menos cuatro trimestres.

9.3 Auditoría y equipo rojo

La auditoría interna comprueba que los procesos funcionan según su diseño: inventarios mantenidos, evaluaciones vigentes, cambios revisados. Los equipos rojos independientes prueban si los controles funcionan frente a atacantes motivados. Ganguli et al. (arXiv:2209.07858) describen las lecciones de las pruebas de equipo rojo con modelos de lenguaje; delimite el alcance de los equipos rojos por objetivos (mover dinero, exfiltrar datos) y no por listas de prompts. En Corvane, a un equipo rojo se le podría pedir que moviera dinero a través de Dispatch Copilot o que extrajera direcciones de clientes, en lugar de probar una lista de prompts. Acuerde el alcance, las reglas y la comunicación de resultados con el responsable del sistema antes de empezar.

9.4 Guiar decisiones disputadas

Los equipos de producto quieren velocidad; los equipos de riesgos quieren evidencia. Guíe la discusión haciendo concreto el desacuerdo: qué daño, con qué probabilidad, qué evidencia haría cambiar de opinión. Ofrezca caminos reversibles. Cuando imponga su criterio, explique por escrito por qué.

"""Lab A: spotting extraction-style abuse in a synthetic API log.
Flags clients whose query volume or input diversity is anomalous."""
import random, statistics
rng = random.Random(21)
log = []
for c in range(12):
    for _ in range(rng.randint(40, 90)):
        log.append((f"client{c:02d}", round(rng.gauss(0, 1), 1)))
for i in range(600):                      # synthetic scraper: many, grid-like inputs
    log.append(("client99", round(-3 + 6*(i % 61)/60, 1)))
by = {}
for c, x in log: by.setdefault(c, []).append(x)
vol = {c: len(v) for c, v in by.items()}
med = statistics.median(vol.values()); mad = statistics.median(abs(v-med) for v in vol.values())
for c in sorted(by):
    z = (vol[c]-med)/(1.4826*mad); uniq = len(set(by[c]))/len(by[c])
    flag = "FLAG" if z > 3.5 else "ok"
    print(f"{c} queries={vol[c]:3d} robust_z={z:6.2f} distinct_ratio={uniq:.2f} {flag}")

Salida esperada:

client00 queries= 50 robust_z= -0.34 distinct_ratio=0.56 ok
client01 queries= 64 robust_z=  0.45 distinct_ratio=0.52 ok
client02 queries= 81 robust_z=  1.41 distinct_ratio=0.44 ok
client03 queries= 46 robust_z= -0.56 distinct_ratio=0.52 ok
client04 queries= 52 robust_z= -0.22 distinct_ratio=0.48 ok
client05 queries= 40 robust_z= -0.90 distinct_ratio=0.57 ok
client06 queries= 42 robust_z= -0.79 distinct_ratio=0.57 ok
client07 queries= 87 robust_z=  1.74 distinct_ratio=0.48 ok
client08 queries= 56 robust_z=  0.00 distinct_ratio=0.52 ok
client09 queries= 50 robust_z= -0.34 distinct_ratio=0.62 ok
client10 queries= 68 robust_z=  0.67 distinct_ratio=0.50 ok
client11 queries= 89 robust_z=  1.85 distinct_ratio=0.42 ok
client99 queries=600 robust_z= 30.58 distinct_ratio=0.10 FLAG

En Corvane, la decisión sobre la reprogramación siguió un camino reversible: el diseño B con un tope de valor. Registre quién discrepó y sobre qué, para que la decisión pueda revisarse cuando cambie la evidencia, e invite al equipo discrepante a proponer la evidencia que cambiaría su opinión. Sea breve.

9.5 Mantener vigente el aseguramiento

Cada actualización del modelo, cambio del prompt, nueva herramienta o nueva fuente de datos puede invalidar la evidencia. Vincule las afirmaciones a versiones; vuelva a ejecutar las evaluaciones automáticamente; monitorice las señales de producción (el laboratorio señala a un cliente cuyo volumen de consultas es un valor atípico según la puntuación z robusta, indicio de una posible extracción o de un abuso). En Corvane, cada actualización del modelo o nueva herramienta desencadena una nueva ejecución del conjunto de evaluación de Copilot, y el caso de aseguramiento registra las versiones que abarca su evidencia. Vuelva a ejecutar cada semana la comprobación de valores atípicos del laboratorio sobre los registros reales de consultas y revise con el responsable del sistema cualquier cliente señalado.

9.6 Ejemplo resuelto (caso sintético de Corvane)

El informe trimestral de Amira para el consejo ocupa una página: los cinco principales riesgos de IA con flechas de tendencia, dos incidentes (la reprogramación del almacén y un pegado de datos en una IA en la sombra), una cobertura de evaluación de 4 de 5 sistemas de nivel alto y una solicitud de decisión: aprobar la subida del tope de reembolsos a 50 € sobre la base de 12 000 reembolsos reales con 2 indebidos confirmados. El caso de aseguramiento del tope señala su punto débil: el compromiso del correo de un transportista.

La solicitud de decisión está respaldada por evidencia real e indica su punto débil, de modo que el consejo puede sopesarla. El informe muestra además qué evidencia es la más reciente.

9.7 Errores y límites

• Casos de aseguramiento sin condiciones ni fechas.
• Cuadros de mando en verde que ocultan lo desconocido.
• Equipos rojos limitados a listas de prompts.

Cada error hace que el aseguramiento quede obsoleto o resulte engañoso. Una afirmación sin condiciones ni fechas puede describir un modelo que ya no está en funcionamiento. Los cuadros de mando en verde ocultan lo que se desconoce, como el único sistema de nivel alto de Corvane que sigue sin evaluar. Los equipos rojos limitados a listas de prompts no pueden encontrar ataques encadenados que muevan dinero; delimite su alcance por objetivos, como mover dinero o extraer direcciones de clientes. Revise cada trimestre sus casos de aseguramiento y sus informes en busca de los tres.

Ejercicios

• EX041 — Caso de aseguramiento. Redacte una cadena afirmación–argumento–evidencia para el control de la reprogramación. Rúbrica: 3 = afirmación, argumento, evidencia, condiciones, punto débil; 2 = cuatro; 1 = dos; 0 = nada.
• EX042 — Página para el consejo. Esboce el informe de una página para el consejo. Rúbrica: 3 = riesgos, tendencias, incidentes, cobertura, decisiones; 2 = cuatro; 1 = dos; 0 = nada.
• EX043 — Alcance del equipo rojo. Redacte los objetivos de un equipo rojo contra Copilot. Rúbrica: 3 = objetivos basados en efectos, reglas de enfrentamiento, fuera de alcance; 2 = dos; 1 = lista de prompts; 0 = nada.
• EX044 — Laboratorio de monitorización. Interprete el valor atípico del laboratorio de monitorización y proponga una respuesta. Rúbrica: 3 = z robusta muy por encima del resto, investigar, limitar la tasa; 2 = dos; 1 = uno; 0 = incorrecto.
• EX045 — Decisión sobre el tope. ¿Debe el consejo aprobar los 50 €? Use los datos. Rúbrica: 3 = tasa ≈0,017 % con cota, apetito de riesgo, punto débil; 2 = parcial; 1 = afirmación; 0 = nada.

Síntesis

El liderazgo en seguridad de la IA convierte la evidencia en casos de aseguramiento, comunica el riesgo con honestidad hacia arriba, usa la auditoría y los equipos rojos como comprobaciones independientes y mantiene vigentes las afirmaciones a medida que los sistemas cambian.

Siga estudiando — capítulo 09 de 12

← Capítulo 08 (borrador) · Índice de capítulos del curso · Capítulo 10 (borrador) →