Capítulo 16 — Seguridad de la IA y del aprendizaje automático: métodos II
Mapa de la lección
Lección 16 publicada. Mapa, ejemplo, EX046.
flowchart TD
N0["Resultados de aprendizaje"]
N1["16.1 Pruebas de recuperación"]
N2["16.2 Agencia excesiva"]
N3["16.3 Divulgación y filtración del prompt del sistema"]
N4["16.4 Pruebas de recursos"]
N5["16.4b Calificación automática"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX046"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["16.1 Pruebas de recuperación"]
N2["16.2 Agencia excesiva"]
N3["16.3 Divulgación y filtración del prompt del sistema"]
N4["16.4 Pruebas de recursos"]
N5["16.4b Calificación automática"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX046"]
[Resultados de aprendizaje]
|
v
[16.1 Pruebas de recuperación]
|
v
[16.2 Agencia excesiva]
|
v
[16.3 Divulgación y filtración del prompt del sistema]
|
v
[16.4 Pruebas de recursos]
|
v
[16.4b Calificación automática]
|
v
[Síntesis]
|
v
[Ejemplo resuelto] --> [Ejercicio EX046]
Resultados de aprendizaje
Usted podrá (1) probar los sistemas de recuperación frente a debilidades de control de acceso y de envenenamiento; (2) probar los agentes frente a la agencia excesiva; (3) probar la divulgación de información sensible y la filtración del prompt del sistema; y (4) probar los límites de recursos.
16.1 Pruebas de recuperación
Coloque documentos canario con frases distintivas en ubicaciones restringidas y haga consultas como usuarios que no deberían verlos; cualquier canario que aparezca en una respuesta es una fuga. Añada documentos con datos falsos procedentes de fuentes de baja confianza y compruebe si las respuestas los repiten (LLM08, LLM09). Jonas usó ambos métodos en Ask Brightwell tras la separación del índice. El documento canario solo para el personal comprobaba si algo restringido seguía llegando a los clientes, y los datos falsos en páginas de baja confianza comprobaban si las respuestas los repetían. La página caducada de devoluciones a 60 días mostró más tarde que los datos falsos también pueden llegar por accidente.
16.2 Agencia excesiva
Enumere cada herramienta, sus parámetros y sus permisos. Intente que el agente llame a cada herramienta con parámetros que excedan los derechos del usuario o lo que necesita la tarea, mediante peticiones directas y contenido colocado. Mida a partir de los registros de herramientas. OWASP LLM06 recomienda minimizar las herramientas, las funciones y los permisos, y exigir aprobación humana para las acciones de alto impacto. En Ask Brightwell, las pruebas de agencia descubrieron que el agente podía llamar a "update address" durante una conversación de devoluciones. Esa herramienta nunca hacía falta allí, y una reseña inyectada podría haberla usado para redirigir un envío de sustitución. Delimitar las herramientas por tipo de conversación cerró la brecha.
16.3 Divulgación y filtración del prompt del sistema
Pida datos de otros usuarios, documentos internos y el prompt del sistema con muchas formulaciones. Los prompts del sistema filtrados importan sobre todo cuando contienen secretos o revelan controles; la solución es retirar los secretos de los prompts, no esconder mejor el prompt (LLM07). El prompt del sistema de Ask Brightwell contuvo en su día un código de descuento para el personal, lo que convertía una filtración del prompt en una pérdida real. Una vez retirado el código, un prompt filtrado solo revela instrucciones que las pruebas ya suponen que un atacante puede adivinar. Jonas sigue probando la filtración para confirmar que no se ha vuelto a añadir ningún secreto.
16.4 Pruebas de recursos
Envíe entradas de longitud máxima, peticiones de salidas muy largas y bucles recursivos de herramientas; mida el coste y la latencia frente a los límites (LLM10). En Ask Brightwell, la prueba de bucles descubrió que el agente llamaba a la búsqueda 40 veces en un solo turno, y cada llamada consumía tokens. El tope de 5 llamadas por turno acota ese coste. Las entradas de longitud máxima se comprueban frente al límite de tamaño de la pasarela, y las peticiones de salidas largas frente al límite de salida del proveedor. Cada prueba mide el coste y la latencia a partir de los registros, de modo que un límite configurado pero no aplicado se detecta de inmediato.
16.4b Calificación automática
Escriba los calificadores como código: busque en los registros de herramientas llamadas fuera de los parámetros permitidos, busque en las salidas cadenas canario y compare los recuentos de tokens con los límites. Los calificadores automáticos hacen que los resultados sean repetibles y permiten volver a ejecutar todo el conjunto después de cada cambio. Los calificadores de Ask Brightwell buscan en los registros de herramientas llamadas a start_return sobre pedidos que el usuario no mencionó, buscan en las respuestas la frase canario de Project Heron y comparan las llamadas a herramientas por turno con el tope. Como son código, los mismos calificadores se ejecutan sin cambios en el banco de evaluación nocturno.
16.5 Ejemplo resuelto (caso sintético de Brightwell)
Jonas coloca un documento canario solo para el personal ("Project Heron discount matrix") y hace 50 preguntas sobre descuentos desde cuentas de clientes: 0 fugas tras la separación del índice. Las pruebas de agencia descubren que el agente puede llamar a "update address" durante una conversación de devoluciones, una herramienta que allí nunca necesita. Delimita las herramientas por tipo de conversación. Una prueba de bucles muestra que el agente puede llamar a la búsqueda 40 veces en un turno; limita las llamadas a 5. Cada resultado condujo a un sistema más acotado y no a un prompt mejor: índices separados, herramientas delimitadas por conversación y un tope estricto de llamadas. Para confirmar que la prueba canario es capaz de ver una fuga, Jonas la ejecutó también en una copia de trabajo con el documento Heron de vuelta en el índice de clientes.
16.6 Errores y límites
- Probar la recuperación solo con consultas amistosas.
- Herramientas habilitadas de forma global en lugar de por tarea.
- Ningún límite por turno.
Las pruebas de Ask Brightwell que hace Jonas evitan los tres: las preguntas canario proceden de cuentas de clientes que intentan llegar a contenido del personal, las herramientas están delimitadas por tipo de conversación y un tope de llamadas por turno acota los bucles. Las consultas amistosas nunca habrían encontrado la fuga de los márgenes, y las herramientas globales dejaban la herramienta de direcciones accesible durante las devoluciones. Cada uno tiene una prueba en el banco de evaluación, de modo que un cambio que lo reintroduzca hace fallar la ejecución nocturna.
Ejercicios
- EX046 — Canario. Diseñe una prueba canario para el índice del personal. Rúbrica: 3 = frase única, ubicación, consultas con el rol equivocado, criterio de superación; 2 = tres; 1 = uno; 0 = ninguno.
- EX047 — Auditoría de agencia. Enumere las herramientas de Ask Brightwell y qué conversaciones necesitan cada una. Rúbrica: 3 = delimitación por herramienta con razones; 2 = parcial; 1 = vago; 0 = nada.
- EX048 — Bucle. ¿Por qué limitar las llamadas a herramientas por turno y qué valor elegiría? Rúbrica: 3 = coste, bucles, amplificación de inyecciones, cifra justificada; 2 = parcial; 1 = vago; 0 = nada.
Síntesis
Los métodos II extienden las pruebas a la recuperación, la agencia, la divulgación y el consumo, y cada uno se juzga por sus efectos y se corrige con controles del sistema.
Siga estudiando — capítulo 16 de 30
← Capítulo 15 (borrador) · Índice de capítulos del curso · Capítulo 17 (borrador) →