Capítulo 19 — Seguridad de la IA y del aprendizaje automático: supervisión | Tecnólogo Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 19 publicada. Mapa, ejemplo, EX055.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["19.1 Señales"]
  N2["19.2 Detección de anomalías"]
  N3["19.3 Volumen de alertas"]
  N4["19.4 Guías de actuación"]
  N5["19.4b Revisión de la supervisión"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX055"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["19.1 Señales"]
  N2["19.2 Detección de anomalías"]
  N3["19.3 Volumen de alertas"]
  N4["19.4 Guías de actuación"]
  N5["19.4b Revisión de la supervisión"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX055"]

[Resultados de aprendizaje]
    |
    v
[19.1 Señales]
    |
    v
[19.2 Detección de anomalías]
    |
    v
[19.3 Volumen de alertas]
    |
    v
[19.4 Guías de actuación]
    |
    v
[19.4b Revisión de la supervisión]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX055]

Resultados de aprendizaje

Usted podrá (1) elegir señales para supervisar sistemas de IA; (2) construir una detección de anomalías sencilla; (3) gestionar el volumen de alertas teniendo en cuenta las tasas base; y (4) redactar guías de actuación para las alertas.

19.1 Señales

Señales útiles: volumen de solicitudes y de tokens por usuario o clave; denegaciones del servicio de políticas; llamadas a herramientas por conversación; cadenas canario en las salidas; salidas que contienen enlaces; picos de negativas o de quejas; distribuciones de puntuaciones de los clasificadores (deriva); y coste por hora. Elija señales relacionadas con sus escenarios de riesgo, para que cada alerta tenga una razón de ser. En Ask Brightwell, Jonas vincula cada señal con un escenario: las denegaciones de políticas con el fraude de reembolsos, las cadenas canario con la divulgación y el volumen de tokens con las avalanchas de coste. Las señales de ReturnGuard son las llamadas de puntuación por clave, que detectaron una integración comprometida de un socio, y la distribución de las puntuaciones a lo largo del tiempo.

19.2 Detección de anomalías

La estadística sencilla llega lejos. Una puntuación z robusta basada en la mediana y en la desviación absoluta mediana resiste los valores atípicos mejor que la media y la desviación típica. Marque a los usuarios cuyo volumen o cuya proporción de consultas distintas se aleja mucho del resto, un patrón propio de la extracción masiva de datos (scraping) o de la extracción del modelo.

"""Lab A: spotting extraction-style abuse in a synthetic API log.
Flags clients whose query volume or input diversity is anomalous."""
import random, statistics
rng = random.Random(21)
log = []
for c in range(12):
    for _ in range(rng.randint(40, 90)):
        log.append((f"client{c:02d}", round(rng.gauss(0, 1), 1)))
for i in range(600):                      # synthetic scraper: many, grid-like inputs
    log.append(("client99", round(-3 + 6*(i % 61)/60, 1)))
by = {}
for c, x in log: by.setdefault(c, []).append(x)
vol = {c: len(v) for c, v in by.items()}
med = statistics.median(vol.values()); mad = statistics.median(abs(v-med) for v in vol.values())
for c in sorted(by):
    z = (vol[c]-med)/(1.4826*mad); uniq = len(set(by[c]))/len(by[c])
    flag = "FLAG" if z > 3.5 else "ok"
    print(f"{c} queries={vol[c]:3d} robust_z={z:6.2f} distinct_ratio={uniq:.2f} {flag}")

Salida esperada:

client00 queries= 50 robust_z= -0.34 distinct_ratio=0.56 ok
client01 queries= 64 robust_z=  0.45 distinct_ratio=0.52 ok
client02 queries= 81 robust_z=  1.41 distinct_ratio=0.44 ok
client03 queries= 46 robust_z= -0.56 distinct_ratio=0.52 ok
client04 queries= 52 robust_z= -0.22 distinct_ratio=0.48 ok
client05 queries= 40 robust_z= -0.90 distinct_ratio=0.57 ok
client06 queries= 42 robust_z= -0.79 distinct_ratio=0.57 ok
client07 queries= 87 robust_z=  1.74 distinct_ratio=0.48 ok
client08 queries= 56 robust_z=  0.00 distinct_ratio=0.52 ok
client09 queries= 50 robust_z= -0.34 distinct_ratio=0.62 ok
client10 queries= 68 robust_z=  0.67 distinct_ratio=0.50 ok
client11 queries= 89 robust_z=  1.85 distinct_ratio=0.42 ok
client99 queries=600 robust_z= 30.58 distinct_ratio=0.10 FLAG

Los paneles de Brightwell aplican este método a las llamadas de puntuación de ReturnGuard por cuenta. Una clave de un socio muy alejada de las demás, con consultas que variaban un atributo cada vez, coincidía con el patrón de extracción del laboratorio. El método no necesita ningún modelo y se ejecuta en la misma consulta programada que los paneles.

19.3 Volumen de alertas

Cada alerta cuesta tiempo de analista. Cuando los ataques son raros, incluso los detectores precisos producen sobre todo falsas alarmas (efecto de la tasa base), así que fije los umbrales midiendo el volumen de alertas con tráfico normal y envíe las señales de baja confianza a paneles y no a sistemas de aviso. La alerta de volumen de transferencias de Gift Card Help, el proyecto final de Jonas (capítulos 29–30), mostró este efecto: su precisión con tráfico reproducido fue de 0,5, así que Jonas la envió a un panel. En cambio, los valores atípicos de llamadas de puntuación de ReturnGuard se tratan con una limitación automática de frecuencia y un aviso a guardia, no con una alerta urgente. Medir primero el volumen con tráfico normal es lo que permite al equipo elegir entre estas vías.

19.4 Guías de actuación

Cada alerta necesita una guía de actuación: qué significa, cómo comprobarla, cómo contenerla (limitar la frecuencia, desactivar una herramienta, revertir un prompt), a quién notificar y cuándo cerrarla. Las guías de actuación permiten que un ingeniero de guardia actúe de noche sin adivinar. La alerta de la clave del socio siguió su guía: limitar la frecuencia de la clave, contactar con el socio y revisar los registros. Como cada paso estaba escrito, el ingeniero de guardia no tuvo que decidir qué hacer primero. La misma guía indica quién cierra la alerta y qué evidencia se conserva, para que el caso pueda revisarse más tarde.

19.4b Revisión de la supervisión

Cada mes, revise qué alertas saltaron, cuántas eran reales y qué incidentes se detectaron por otras vías. Ajuste o retire las alertas ruidosas; añada señales para los incidentes que la supervisión pasó por alto. En Brightwell, la revisión mensual cuenta los casos reales y falsos de cada alerta. El problema del plazo de devolución de 60 días lo detectaron los clientes, no la supervisión, y dio lugar a una prueba de regresión y a una nueva comprobación de la caducidad de los documentos recuperados. La revisión mensual comprueba también si se siguió la guía de actuación de cada alerta y la actualiza cuando un paso se omitió o no estaba claro.

19.5 Ejemplo resuelto (caso sintético de Brightwell)

Jonas añade paneles por cuenta. Una semana, la clave de API de un socio muestra una z robusta ≈ 30 en las llamadas de puntuación de ReturnGuard, parecida a la del cliente atípico client99 del laboratorio; las consultas de la clave varían un atributo cada vez, lo que es coherente con una extracción. La guía de actuación: limitar la frecuencia de la clave, contactar con el socio y revisar los registros. La integración del socio había sido comprometida; se rotó la clave. La guía de actuación convirtió una señal estadística en una breve secuencia de acciones. Rotar la clave puso fin a la extracción; contactar con el socio permitió encontrar la causa. El panel siguió vigilando la clave de sustitución, que desde entonces muestra volúmenes de llamadas normales.

19.6 Errores y límites

Alertas sin guías de actuación.
Avisos urgentes por cada denegación.
Supervisar solo la infraestructura y no el comportamiento de la IA.

La supervisión de Brightwell evita estos errores. Cada alerta tiene una guía de actuación, las denegaciones van a paneles salvo que se disparen y el comportamiento de la IA se vigila junto con los servidores. La alerta de la clave del socio no habría servido de nada si nadie hubiera sabido qué hacer con ella. Sin señales de comportamiento, la inyección que deniega un servicio de políticas nunca llegaría a verse. El panel de denegaciones cubre el segundo error, y la alerta de llamadas de puntuación cubre el tercero.

Ejercicios

EX055 — Señales. Elija cinco señales para Ask Brightwell y vincule cada una con un escenario de riesgo. Rúbrica: 3 = cinco vinculadas; 2 = cuatro; 1 = dos; 0 = ninguna.
EX056 — z robusta. ¿Por qué usar la mediana y la MAD en lugar de la media y la desviación típica? Rúbrica: 3 = los valores atípicos inflan la desviación típica y se enmascaran a sí mismos; 2 = parcial; 1 = vago; 0 = erróneo.
EX057 — Guía de actuación. Redacte la guía de actuación de la alerta de extracción. Rúbrica: 3 = significado, comprobaciones, contención, notificación, cierre; 2 = cuatro; 1 = dos; 0 = ninguno.

Síntesis

La supervisión vigila señales específicas de la IA, usa estadística robusta, respeta las tasas base y vincula cada alerta con una guía de actuación.

Siga estudiando — capítulo 19 de 30

← Capítulo 18 (borrador) · Índice de capítulos del curso · Capítulo 20 (borrador) →