Capítulo 42 — Seguridad de la IA y del aprendizaje automático: investigación aplicada | Ingeniería Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 42 publicada. Mapa, ejemplo, EX124.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["42.1 Del problema a la pregunta"]
  N2["42.2 Revisión eficiente de la literatura"]
  N3["42.3 Experimentos pequeños y válidos"]
  N4["42.4 Informar para los profesionales"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX124"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["42.1 Del problema a la pregunta"]
  N2["42.2 Revisión eficiente de la literatura"]
  N3["42.3 Experimentos pequeños y válidos"]
  N4["42.4 Informar para los profesionales"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX124"]

[Resultados de aprendizaje]
    |
    v
[42.1 Del problema a la pregunta]
    |
    v
[42.2 Revisión eficiente de la literatura]
    |
    v
[42.3 Experimentos pequeños y válidos]
    |
    v
[42.4 Informar para los profesionales]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX124]

Resultados de aprendizaje

Usted será capaz de (1) formular una pregunta de investigación aplicada a partir de un problema de ingeniería; (2) revisar la literatura de forma eficiente usando taxonomías compartidas; (3) diseñar un experimento pequeño y válido; y (4) informar de los hallazgos con sus limitaciones de forma útil para los profesionales.

42.1 Del problema a la pregunta

Los problemas de ingeniería se convierten en preguntas de investigación cuando la respuesta no se conoce y sería generalizable: «¿Marcar el contenido no confiable con etiquetas de procedencia reduce las propuestas inyectadas en nuestro agente, y en qué medida en comparación con un patrón de modelo dual?». Limite el alcance a lo que pueda responderse en un semestre. Una buena pregunta nombra la comparación, la medida y el contexto, de modo que pueda responderse con un experimento planificado. «¿Son útiles las etiquetas?» no puede responderse; «¿cuántas propuestas inyectadas evitan las etiquetas en Wrench en comparación con un diseño de modelo dual, sobre boletines reservados?» sí. Mantener un alcance pequeño deja tiempo para hacer bien el experimento, incluido el ataque adaptativo que muchos proyectos omiten.

42.2 Revisión eficiente de la literatura

Empiece por panoramas de referencia —NIST AI 100-2 E2025 para el ML adversarial, OWASP LLM 2025 para los riesgos de las aplicaciones, MITRE ATLAS para las técnicas— y después lea los artículos clave: Greshake et al. (arXiv:2302.12173) y Liu et al. (arXiv:2306.05499) sobre la inyección de instrucciones; Chen et al. (arXiv:2402.06363) sobre las defensas de consultas estructuradas; Carlini et al. (arXiv:1902.06705) sobre la evaluación. Registre para cada uno el modelo de amenazas, el método, la métrica y los límites. Los panoramas cartografían el campo con rapidez y señalan los artículos que merece la pena leer con atención. Para cada artículo, una nota breve registra el modelo de amenazas, el método, la métrica y los límites, de modo que los artículos puedan compararse en los mismos términos. Sam deja de leer cuando los artículos nuevos ya no cambian el plan.

42.3 Experimentos pequeños y válidos

Especifique de antemano las hipótesis y las métricas; use conjuntos de prueba reservados; compare con referencias de base sólidas; ejecute varias semillas; informe de las diferencias emparejadas con intervalos; incluya un ataque adaptativo dirigido contra su método. Compruebe las trampas habituales en Arp et al. (arXiv:2010.09470). Un experimento pequeño puede ser válido si es honesto sobre sus límites. Especificar de antemano impide elegir la métrica que favorece al método. Las referencias de base sólidas impiden que un método parezca bueno frente a una comparación débil. Varias semillas muestran si una diferencia es estable. Un ataque adaptativo, escrito por alguien que sabe cómo funciona el método, es la prueba más importante, porque los atacantes también lo sabrán.

42.4 Informar para los profesionales

Indique con precisión el contexto, el efecto con su intervalo, el coste, las condiciones en las que falló y qué debe hacer un profesional con el resultado. Los profesionales quieren saber si adoptar un método, en qué condiciones y con qué coste. Un informe que termina con un valor p les deja averiguarlo por su cuenta. Indicar dónde falló el método es especialmente útil, ya que dice a los lectores cuándo no deben confiar en él. Sam termina cada informe aplicado con una recomendación breve y sus condiciones, escrita para un ingeniero que no leerá los métodos.

42.5 Ejemplo resuelto (caso sintético de NRS)

La pregunta aplicada de Sam comparaba el etiquetado de procedencia solo, el modelo dual y ambos, sobre 400 boletines sintéticos inyectados y 400 tareas benignas, con cinco semillas cada uno. El etiquetado redujo las propuestas inyectadas del 14 % al 9 % (IC emparejado de 3–7 puntos); el modelo dual, al 2 %; ambos, al 1,5 %. Una carga útil adaptativa que imitaba el formato de las etiquetas volvió a elevar al 13 % las propuestas con solo etiquetado, mientras que el modelo dual se mantuvo en el 2,5 %. Conclusión para los profesionales: las etiquetas ayudan un poco y son fáciles de imitar; las interfaces restringidas ayudan más; ninguna de las dos sustituye a la aplicación de políticas.

El ataque adaptativo cambió la conclusión: sin él, el etiquetado habría parecido una defensa sólida.

42.6 Errores y límites

Preguntas demasiado amplias para el tiempo disponible.
Ningún ataque adaptativo contra el método propuesto.
Informes sin orientación para los profesionales.

Las preguntas demasiado amplias terminan con resultados vagos o experimentos inacabados. Un método probado solo frente a ataques escritos antes de que existiera parecerá más fuerte de lo que es, como mostró la carga útil que imitaba las etiquetas. Los informes que se quedan en las estadísticas dejan a los profesionales sin saber qué hacer. Sam revisa que las propuestas tengan una única pregunta que pueda responderse, un ataque adaptativo en el plan y un resumen para profesionales en el esquema antes de ejecutar ningún experimento.

Ejercicios — capítulo 42

EX124 — Pregunta. Convierta «nuestro clasificador no detecta algunas inyecciones» en una pregunta de investigación aplicada. Rúbrica: 3 = específica, comparativa, medible, viable; 2 = tres; 1 = vaga; 0 = nada.
EX125 — Ataque adaptativo. ¿Por qué importó la carga útil que imitaba las etiquetas en el estudio de Sam? Rúbrica: 3 = muestra que el etiquetado es débil frente a un atacante que lo conoce; cambia la conclusión; 2 = parcial; 1 = vago; 0 = incorrecto.
EX126 — Frase para profesionales. Redacte una recomendación para profesionales a partir de los resultados de Sam. Rúbrica: 3 = práctica, condicional, con evidencia; 2 = parcial; 1 = exagera; 0 = nada.

Síntesis del capítulo

La investigación aplicada responde a preguntas de ingeniería con experimentos pequeños y válidos —incluidos los ataques contra la propia idea— e informa de resultados que los profesionales pueden usar.

Siga estudiando — capítulo 42 de 50

← Capítulo 41 (borrador) · Índice de capítulos del curso · Capítulo 43 (borrador) →