Capítulo 26 — Seguridad de la IA y del aprendizaje automático: métodos II
Mapa de la lección
Lección 26 publicada. Mapa, ejemplo, EX076.
flowchart TD
N0["Resultados de aprendizaje"]
N1["26.1 Pruebas de equipo rojo en aplicaciones de LLM"]
N2["26.2 Conjuntos de pruebas"]
N3["26.3 Ataques adaptativos"]
N4["26.4 Cobertura e informes"]
N5["26.5 Automatización"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX076"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["26.1 Pruebas de equipo rojo en aplicaciones de LLM"]
N2["26.2 Conjuntos de pruebas"]
N3["26.3 Ataques adaptativos"]
N4["26.4 Cobertura e informes"]
N5["26.5 Automatización"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX076"]
[Resultados de aprendizaje]
|
v
[26.1 Pruebas de equipo rojo en aplicaciones de LLM]
|
v
[26.2 Conjuntos de pruebas]
|
v
[26.3 Ataques adaptativos]
|
v
[26.4 Cobertura e informes]
|
v
[26.5 Automatización]
|
v
[Síntesis]
|
v
[Ejemplo resuelto] --> [Ejercicio EX076]
Resultados de aprendizaje
Usted podrá (1) planificar de forma segura evaluaciones adversariales de aplicaciones de LLM (pruebas de equipo rojo); (2) construir conjuntos de pruebas para la inyección, la divulgación y la agencia excesiva; (3) usar ataques adaptativos contra sus propias defensas; y (4) comunicar los resultados con intervalos y cobertura.
26.1 Pruebas de equipo rojo en aplicaciones de LLM
Las pruebas de equipo rojo (red-teaming) son pruebas adversariales estructuradas: un equipo intenta alcanzar objetivos de atacante definidos dentro de un alcance autorizado. NIST AI 600-1 incluye las pruebas de equipo rojo entre las acciones sugeridas para el riesgo de la IA generativa. Defina los objetivos (p. ej., hacer que el chatbot revele la cita de otro paciente; hacer que reserve sin consentimiento), las reglas de enfrentamiento y la forma de informar. En Ask Lumen, las reglas de enfrentamiento señalaron la copia de preproducción como único objetivo, limitaron las pruebas a dos semanas, exigieron pacientes sintéticos y designaron al responsable de seguridad de LCH como contacto si ocurría algo inesperado. El formato del informe se acordó de antemano, de modo que los hallazgos no pudieran suavizarse después.
26.2 Conjuntos de pruebas
Convierta los objetivos en conjuntos: muchos casos de prueba que varíen la redacción, el idioma, la posición del texto inyectado (inicio, mitad y final de un documento), la codificación y las estrategias de varios turnos. Reserve una parte que los desarrolladores no vean nunca. Use cargas útiles inofensivas y datos sintéticos. La posición importa porque un modelo puede tratar una instrucción al final de un folleto largo de forma distinta a una situada en la primera línea. El conjunto de Rina colocó cada carga útil en las tres posiciones y en una tabla, e incluyó algunos casos de varios turnos en los que el segundo mensaje del paciente volvía a referirse al documento. La parte reservada la escribió un compañero y se guardó por separado.
26.3 Ataques adaptativos
Después de añadir una defensa, ataque la defensa: si los documentos se envuelven en delimitadores, pruebe texto que imite los delimitadores; si un clasificador marca «ignore previous», pruebe paráfrasis. Carlini et al. (arXiv:1902.06705) insisten en la evaluación adaptativa; se aplica igualmente a las defensas de los LLM. Cuando Ask Lumen empezó a envolver los documentos de asociados en etiquetas marcadas, la siguiente ronda de Rina incluyó texto que cerraba la etiqueta antes de tiempo y abría un bloque «system» falso. Algunos intentos cambiaron la respuesta del modelo, pero ninguno produjo una reserva, porque la comprobación de políticas no dependía de las etiquetas.
26.4 Cobertura e informes
Informe de las tasas de éxito por categoría con intervalos, el número total de intentos y las categorías no probadas. Los mapas de cobertura sobre las entradas de OWASP LLM ayudan a los lectores a ver las lagunas. El informe de Rina sobre 100 casos de información falsa dio 9 éxitos con un intervalo de Wilson de aproximadamente el 4,8 % al 16,2 %, e indicó con claridad que no se habían probado los ataques en portugués ni los ataques ocultos en imágenes. La tabla de cobertura mostraba cubiertas LLM01, LLM02, LLM06 y LLM10, y LLM03 remitida a la revisión de la cadena de suministro, con un responsable designado y una fecha para las pruebas.
26.5 Automatización
Los scripts pueden generar variantes a partir de plantillas, ejecutarlas y calificar los resultados a partir de los registros de las herramientas en lugar del texto del modelo. Valide cualquier calificador automático frente a etiquetas humanas en una muestra. Para las reservas para otro paciente, el calificador de Rina leía el registro del entorno aislado de citas y contaba las reservas cuyo paciente difería del paciente de la sesión. Eso es exacto. Para la información falsa, la calificación requería criterio, así que comparó el calificador automático con sus propias etiquetas en 60 transcripciones y encontró dos discrepancias, que la llevaron a endurecer su regla.
26.6 Ejemplo resuelto (caso sintético de LCH)
El ejercicio autorizado de equipo rojo de Rina sobre la preproducción de Ask Lumen usó 600 casos en seis categorías. Resultados: reserva para otro paciente 0/100; divulgación de datos de otros pacientes 2/100 (ambas mediante el resumen de una nota del personal que había quedado en el índice); información falsa sobre las clínicas a partir de documentos inyectados 9/100; agotamiento de costes bloqueado por las cuotas. Las dos divulgaciones llevaron a retirar las notas del personal del índice; la tasa de información falsa llevó a una comprobación de fundamentación frente a los datos estructurados de las clínicas. Las divulgaciones de notas del personal procedían del contenido, no de las reglas del modelo: retirar las notas corrigió la causa.
26.7 Errores y límites
- Probar solo listas estáticas y públicas de jailbreaks.
- Calificar por las propias palabras del modelo.
- Pruebas de equipo rojo en producción sin alcance definido.
Las listas públicas de jailbreaks son lo que el proveedor de Ask Lumen probablemente ya ha visto, así que superarlas demuestra poco. Un calificador que lee la respuesta del modelo, como «He hecho esa reserva», pasa por alto las reservas hechas en silencio y cuenta alardes que no hicieron nada; los registros de las herramientas muestran lo que ocurrió realmente. Probar en producción sin alcance pone en riesgo las citas de pacientes reales, y por eso Rina solo probó en preproducción con aprobación escrita.
Ejercicios
- EX076 — Objetivos. Redacte tres objetivos de equipo rojo para DocSort. Rúbrica: 3 = tres objetivos específicos y medibles; 2 = dos; 1 = vago; 0 = nada.
- EX077 — Adaptativo. Proponga una prueba adaptativa para una defensa basada en delimitadores (descrita de forma segura). Rúbrica: 3 = imitar/cerrar los delimitadores para que el contenido parezca instrucciones; 2 = genérica; 1 = vaga; 0 = detalle dañino.
- EX078 — Calificación. ¿Por qué calificar a partir de los registros de las herramientas y no de las respuestas? Rúbrica: 3 = las acciones pueden ocurrir aunque el texto se niegue; los registros muestran los efectos reales; 2 = parcial; 1 = vago; 0 = incorrecto.
Síntesis
Métodos II construye pruebas adversariales disciplinadas: pruebas de equipo rojo con alcance definido, conjuntos reservados, ataques adaptativos y calificación basada en registros, comunicadas con intervalos y cobertura.
Siga estudiando — capítulo 26 de 40
← Capítulo 25 (borrador) · Índice de capítulos del curso · Capítulo 27 (borrador) →