Capítulo 14 — Seguridad de la IA y del aprendizaje automático: métodos I | Tecnólogo Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 14 publicada. Mapa, ejemplo, EX040.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["14.1 Pruebas de clasificadores"]
  N2["14.2 Pruebas de inyección de prompts"]
  N3["14.3 Estructura del conjunto de pruebas"]
  N4["14.4 Registro de los hallazgos"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX040"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["14.1 Pruebas de clasificadores"]
  N2["14.2 Pruebas de inyección de prompts"]
  N3["14.3 Estructura del conjunto de pruebas"]
  N4["14.4 Registro de los hallazgos"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX040"]

[Resultados de aprendizaje]
    |
    v
[14.1 Pruebas de clasificadores]
    |
    v
[14.2 Pruebas de inyección de prompts]
    |
    v
[14.3 Estructura del conjunto de pruebas]
    |
    v
[14.4 Registro de los hallazgos]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX040]

Resultados de aprendizaje

Usted podrá (1) ejecutar pruebas adversarias básicas sobre clasificadores; (2) probar aplicaciones de LLM frente a la inyección de prompts directa e indirecta; (3) estructurar un conjunto de pruebas con resultados esperados; y (4) registrar los hallazgos de forma reproducible.

14.1 Pruebas de clasificadores

En un clasificador como ReturnGuard, las pruebas de evasión preguntan: ¿pueden cambios pequeños y verosímiles en una solicitud alterar la puntuación? Modifique los atributos que controla un atacante (motivo de la devolución, momento, división del valor del artículo) y mida con qué frecuencia un caso de fraude se puntúa como seguro. Goodfellow et al. (arXiv:1412.6572) demostraron que incluso un comportamiento lineal simple hace que los modelos sean sensibles a perturbaciones pequeñas; el laboratorio de evasión muestra lo mismo en un modelo de juguete. En ReturnGuard, las pruebas de evasión de Jonas cambian los atributos que controla un cliente, como dividir una devolución grande en varias pequeñas o cambiar el motivo declarado. La prueba cuenta cuántos casos de fraude conocidos quedan por debajo del umbral de alerta tras el cambio, medidos frente a los mismos casos antes de él.

14.2 Pruebas de inyección de prompts

Inyección directa: el usuario escribe instrucciones para anular las reglas. Inyección indirecta: las instrucciones llegan en contenidos que lee el modelo, como reseñas, correos o páginas web (Greshake et al., arXiv:2302.12173). Construya documentos de prueba que pidan al modelo llamar a una herramienta con parámetros dañinos, revelar su prompt del sistema o generar un enlace que filtre datos. Varíe la redacción, el idioma, el formato y la ubicación. El conjunto de Ask Brightwell de Jonas contiene ambos tipos: peticiones directas escritas por un cliente de prueba e instrucciones indirectas colocadas en reseñas y páginas de políticas en preproducción. Los casos indirectos apuntan a la herramienta de devoluciones, porque es ahí donde una inyección se convierte en dinero. Variar la redacción y la ubicación evita que una defensa supere las pruebas solo porque reconoce una formulación concreta.

14.3 Estructura del conjunto de pruebas

Cada caso de prueba: identificador, categoría (entrada de OWASP), entrada, preparación (documentos colocados), comportamiento seguro esperado y cómo se juzga el éxito (registro de herramientas, patrón de salida). Mantenga un conjunto de desarrollo para ajustar las defensas y un conjunto reservado para los informes. El conjunto de Ask Brightwell registra el documento colocado en cada caso indirecto y juzga el éxito a partir del registro de herramientas. Sus casos reservados nunca se usan al ajustar el prompt separado ni las reglas de políticas, de modo que las tasas comunicadas no se inflan por haberlas ajustado con ellos. Unos scripts de preparación colocan en preproducción los documentos de cada caso antes de la ejecución.

14.4 Registro de los hallazgos

Para cada fallo, guarde la conversación completa, los documentos recuperados, las llamadas a herramientas y las versiones. Redacte el hallazgo con los pasos de reproducción, el impacto y la gravedad. Cuando 31 casos indirectos iniciaron devoluciones, Jonas guardó cada conversación completa, la reseña recuperada, la llamada a la herramienta y las versiones en uso. Ese registro permitió al desarrollador del servicio de políticas reproducir cada fallo en preproducción sin preguntarle. El mismo registro mostró después que los 31 fallos cruzaban el mismo límite entre documentos y prompt. Cada hallazgo nombra a su responsable y una fecha de nueva prueba, de modo que los 31 fallos del límite se volvieron a probar juntos tras la corrección.

14.5 Ejemplo resuelto (caso sintético de Brightwell)

Jonas construye 120 casos de inyección para Ask Brightwell en preproducción: 40 directos y 80 indirectos mediante reseñas y páginas de políticas colocadas. Calificados por los registros de herramientas, 31 casos indirectos inician una devolución de un pedido por el que el usuario no había preguntado; 4 casos directos revelan el prompt del sistema. Registra dos hallazgos y aparta 40 casos como conjunto reservado. Calificar por los registros de herramientas es lo que hizo visibles los 31 éxitos indirectos: en varios casos la respuesta parecía útil mientras se iniciaba una devolución. Mantener un conjunto reservado permite medir las defensas posteriores con casos con los que no se ajustaron.

14.6 Errores y límites

Juzgar el éxito leyendo las respuestas.
Usar solo cadenas públicas de jailbreak.
Ajustar e informar con los mismos casos.

El conjunto de Jonas evita estos errores. Califica a partir de los registros de herramientas y no de las respuestas, redacta casos indirectos específicos de las reseñas y las páginas de políticas de Ask Brightwell en lugar de basarse en cadenas públicas de jailbreak y mantiene 40 casos reservados al margen del ajuste. Un conjunto construido solo con cadenas públicas mediría sobre todo si el proveedor ya las había visto. Ajustar con los casos reservados haría que las tasas comunicadas parecieran mejores de lo que son.

Ejercicios

EX040 — Prueba de evasión. Diseñe tres pruebas de evasión para ReturnGuard. Rúbrica: 3 = tres cambios controlables por el atacante con su medición; 2 = dos; 1 = uno; 0 = ninguno.
EX041 — Casos de inyección. Redacte tres documentos de prueba de inyección indirecta (descritos, no convertidos en armas) con el comportamiento seguro esperado. Rúbrica: 3 = tres casos variados con expectativas; 2 = dos; 1 = uno; 0 = ninguno.
EX042 — Registro de pruebas. Enumere los campos del registro de un caso de prueba. Rúbrica: 3 = identificador, categoría, entrada, preparación, resultado esperado, calificador; 2 = cuatro; 1 = dos; 0 = ninguno.

Síntesis

Las pruebas básicas de seguridad de la IA varían de forma sistemática las entradas que controla el atacante, juzgan los resultados por sus efectos y mantienen conjuntos reproducibles y separados.

Siga estudiando — capítulo 14 de 30

← Capítulo 13 (borrador) · Índice de capítulos del curso · Capítulo 15 (borrador) →