Capítulo 17 — Seguridad de la IA y del aprendizaje automático: herramientas | Tecnólogo Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 17 publicada. Mapa, ejemplo, EX049.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["17.1 Banco de evaluación"]
  N2["17.2 Trazado"]
  N3["17.3 Escáneres"]
  N4["17.4 Elección de herramientas"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX049"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["17.1 Banco de evaluación"]
  N2["17.2 Trazado"]
  N3["17.3 Escáneres"]
  N4["17.4 Elección de herramientas"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX049"]

[Resultados de aprendizaje]
    |
    v
[17.1 Banco de evaluación]
    |
    v
[17.2 Trazado]
    |
    v
[17.3 Escáneres]
    |
    v
[17.4 Elección de herramientas]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX049]

Resultados de aprendizaje

Usted podrá (1) construir un pequeño banco de evaluación; (2) usar herramientas de registro y trazado para las solicitudes de IA; (3) integrar escáneres de dependencias y de archivos de modelos; y (4) elegir las herramientas con sentido crítico.

17.1 Banco de evaluación

Un banco de evaluación carga los casos de prueba, prepara el entorno (coloca documentos, crea usuarios de prueba), ejecuta conversaciones contra un despliegue de preproducción, recoge los registros de herramientas y las salidas, los califica con código y redacta un informe fechado con tasas e intervalos. Debe ejecutarse con un solo comando y en la integración continua. Guarde el banco de evaluación en control de versiones junto a la aplicación, para que un cambio en cualquiera de los dos pueda probarse a la vez. El banco de evaluación de Ask Brightwell de Jonas es un ejemplo práctico: coloca documentos, ejecuta los 120 casos cada noche e informa de las tasas con intervalos.

17.2 Trazado

El trazado registra cada paso de una solicitud con un identificador compartido: mensaje del usuario, fragmentos recuperados, prompt (o su hash y su versión), respuesta del modelo, llamadas a herramientas y respuesta final. Las trazas permiten explicar los incidentes y los fallos de las pruebas. Depure los datos personales, guarde las trazas con control de acceso y fije límites de conservación para que el almacén de trazas no se convierta en el mayor montón de datos personales de la empresa. Los identificadores de traza de Ask Brightwell demostraron su valor durante el ejercicio de mesa de operaciones, cuando el ingeniero de guardia encontró en minutos la página de políticas inyectada a partir de una traza. El antiguo contenedor de registros compartido muestra el riesgo: prompts con direcciones de clientes legibles por 40 ingenieros. Las trazas almacenan ahora el hash y la versión del prompt, con los datos personales depurados.

17.3 Escáneres

Los escáneres de dependencias comprueban las bibliotecas en busca de vulnerabilidades conocidas; en la IA, compruebe también los archivos de modelos (fijación de hashes, comprobaciones de formato que rechacen formatos que ejecutan código) y las fuentes de los conjuntos de datos. Los asistentes de programación pueden sugerir paquetes que no existen, con el consiguiente riesgo de acaparamiento de nombres, así que compruebe las nuevas dependencias frente a una lista de permitidos. Una lista de materiales de software que incluya modelos y conjuntos de datos ayuda a responder a «¿estamos afectados?» cuando aparece un aviso. En CodePilot, que sugiere paquetes, la comprobación de la lista de permitidos importa porque el nombre de un paquete sugerido podría no existir todavía y un atacante podría registrarlo. El pipeline de Brightwell comprueba además los hashes de los archivos de modelos y rechaza los formatos basados en pickle.

17.4 Elección de herramientas

Muchos productos afirman «proteger la IA». Pregunte: ¿a qué amenaza responde? ¿Está en la ruta de la solicitud (añade latencia, puede bloquear) o solo supervisa? ¿Cómo se evaluó? ¿De forma adaptativa? ¿Qué datos envía al proveedor? ¿Puede probarlo con sus propios conjuntos antes de comprarlo? Una herramienta debe cubrir una laguna de su arquitectura, no sustituir una parte de ella. La demostración del cortafuegos de prompts mostró por qué importa la última pregunta: con el conjunto reservado de Jonas bloqueó muchos casos indirectos, pero también detuvo por error algunas preguntas normales, un coste que la demostración del proveedor no mostraba. Jonas registró ambas tasas antes de cualquier decisión de compra, y el responsable del producto las sopesó frente al servicio de políticas que ya estaba en funcionamiento.

17.5 Ejemplo resuelto (caso sintético de Brightwell)

Jonas escribe un banco de evaluación en Python de 300 líneas para los 120 casos de Ask Brightwell. Se ejecuta cada noche en preproducción y publica un informe: éxito de los ataques por categoría con intervalos de Wilson y finalización de las tareas normales. Añade identificadores de traza al orquestador y una comprobación en la CI que rechaza las nuevas dependencias que no figuran en la lista de permitidos. Un proveedor hace una demostración de un «cortafuegos de prompts»; Jonas lo ejecuta con su conjunto reservado antes de cualquier compra: bloquea el 60 % de los casos indirectos, pero también el 7 % de las preguntas normales. El resultado del cortafuegos es el tipo de evidencia que necesita una decisión de compra: una mejora frente a los ataques y un coste medido para los clientes, ambos con los casos propios de Brightwell.

17.6 Errores y límites

Pruebas manuales e irrepetibles.
Trazas con datos personales sin depurar.
Comprar herramientas sin probarlas con sus conjuntos.

El trabajo de Jonas en Brightwell evita los tres. El banco de evaluación se ejecuta cada noche con un solo comando, las trazas depuran los datos personales y el cortafuegos de prompts se probó con el conjunto reservado antes de la compra. Probar a mano habría hecho fácil pasar por alto la regresión posterior causada por un cambio del prompt. Una demostración del proveedor con sus propios ejemplos no sustituye esa prueba. Cada hábito aporta evidencia a la puerta de publicación.

Ejercicios

EX049 — Pasos del banco de evaluación. Enumere en orden los pasos del banco de evaluación. Rúbrica: 3 = cargar, preparar, ejecutar, recoger, calificar, informar; 2 = cuatro o cinco; 1 = dos o tres; 0 = ninguno.
EX050 — Campos de la traza. Especifique los campos de la traza y las reglas de depuración. Rúbrica: 3 = campos más depuración y conservación; 2 = solo campos; 1 = pocos; 0 = ninguno.
EX051 — Herramienta de un proveedor. Decida sobre el cortafuegos de prompts a partir de las cifras de Jonas. Rúbrica: 3 = sopesa el 60 % frente al 7 % de bloqueos erróneos, lo sitúa como supervisión y no como sustituto de las políticas; 2 = parcial; 1 = afirmación; 0 = nada.

Síntesis

Las herramientas hacen repetible el trabajo de seguridad de la IA: bancos de evaluación automatizados, trazas, escáneres y herramientas elegidas tras probarlas frente a sus propias amenazas.

Siga estudiando — capítulo 17 de 30

← Capítulo 16 (borrador) · Índice de capítulos del curso · Capítulo 18 (borrador) →