Capítulo 18 — Métodos de investigación I | Grado Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Capítulo 18 — Métodos de investigación I

Mapa de la lección

Lección 18 publicada. Mapa, ejemplo, EX052.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["18.1 Preguntas"]
  N2["18.2 Bibliografía"]
  N3["18.3 Experimentos"]
  N4["18.4 Comunicación honesta"]
  N5["18.4b Ética en el diseño de la investigación"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX052"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["18.1 Preguntas"]
  N2["18.2 Bibliografía"]
  N3["18.3 Experimentos"]
  N4["18.4 Comunicación honesta"]
  N5["18.4b Ética en el diseño de la investigación"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX052"]

[Resultados de aprendizaje]
    |
    v
[18.1 Preguntas]
    |
    v
[18.2 Bibliografía]
    |
    v
[18.3 Experimentos]
    |
    v
[18.4 Comunicación honesta]
    |
    v
[18.4b Ética en el diseño de la investigación]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX052]

Resultados de aprendizaje

Usted podrá (1) formular preguntas de investigación en seguridad de la IA; (2) encontrar y evaluar bibliografía; (3) diseñar experimentos sencillos con controles; y (4) comunicar los resultados con honestidad y con sus limitaciones.

18.1 Preguntas

Una buena pregunta es específica, respondible y útil: «¿Reduce la exigencia de confirmación del paciente las reservas no autorizadas de Ask Lumen bajo documentos inyectados, y cuánto cuesta en reservas completadas?». Nombra el sistema, la intervención, el resultado y la comparación. La comparación es la parte que más a menudo falta: sin ella, un resultado como «ninguna reserva no autorizada» no puede atribuirse a la confirmación y no a que los casos de prueba fueran fáciles. Nombrar el coste, las reservas completadas, hace que el estudio sea útil para LCH, que debe sopesar la seguridad frente al servicio.

18.2 Bibliografía

Empiece por las visiones de conjunto —NIST AI 100-2 E2025 para la terminología del aprendizaje automático adversario, OWASP LLM 2025 para los riesgos de las aplicaciones con LLM, MITRE ATLAS para las técnicas del mundo real—, después lea los artículos clave y anote el modelo de amenaza, el método, las métricas y las limitaciones. Verifique cada referencia. Para su estudio sobre la confirmación, Rina lee trabajos sobre la inyección indirecta de instrucciones y sobre la confirmación humana en sistemas automatizados, y anota para cada artículo qué ataque supone y cómo se midió el éxito. Registra dónde discrepan los artículos y por qué, a menudo por modelos de amenaza distintos. Verificar las referencias es el hábito del capítulo de escritura, aplicado ahora a una revisión bibliográfica completa.

18.3 Experimentos

Cambie una sola cosa cada vez; mantenga una condición de control; use datos de prueba reservados; repita con varias semillas; registre las versiones. Decida las métricas y los umbrales antes de ejecutar, para que los resultados no puedan dirigir el análisis. En el estudio de Rina, el único cambio es la confirmación activada o desactivada; el control es el mismo chatbot sin ella; los documentos de prueba se escriben por separado del desarrollo; y las métricas, reservas causadas por documentos inyectados y reservas normales completadas, se fijan de antemano con un plan para los intervalos, escrito antes de cualquier ejecución.

18.4 Comunicación honesta

Informe de todas las condiciones, no solo de la mejor; dé intervalos; describa lo que no se probó. Lipton y Steinhardt (arXiv:1807.03341) describen troubling trends (tendencias preocupantes) como las fuentes poco claras de las mejoras; evítelas explicando qué cambio causó qué efecto. El informe de Rina incluye la caída de las reservas completadas, que algunos lectores podrían ver como un debilitamiento de los argumentos a favor de la confirmación. Omitirla engañaría a LCH sobre el coste. También explica que fue la confirmación, y no otro cambio, lo que causó el efecto, porque solo ese ajuste difería entre las condiciones. Lo que no probó, como otros idiomas, queda enumerado.

18.4b Ética en el diseño de la investigación

Los experimentos de seguridad de la IA pueden causar daño: cargas útiles que funcionan en productos reales, conjuntos de datos con datos personales o pruebas en sistemas que no son suyos. Use datos sintéticos y sistemas aislados, mantenga inofensivas las cargas útiles (por ejemplo, dirigidas a dominios reservados .invalid), obtenga la aprobación ética cuando participen personas y planifique la divulgación si descubre una vulnerabilidad real. Los documentos inyectados de Rina intentan reservar citas para un identificador de paciente sintético en la copia aislada, así que nada afecta a pacientes ni a sistemas reales. No se engaña a ningún miembro del personal de las clínicas.

18.5 Ejemplo resuelto (caso sintético de LCH)

El primer estudio de Rina comparó Ask Lumen con y sin confirmación sobre 300 documentos inyectados sintéticos y 300 conversaciones normales de reserva. Sin confirmación, 21 documentos inyectados causaron reservas (7,0 %); con confirmación, 0 (cota superior ≈ 1 %). Las reservas normales completadas bajaron del 97 % al 94 % porque algunos usuarios de prueba abandonaron en el paso de confirmación. Comunicó ambos efectos y anotó que los usuarios de prueba eran compañeros de clase, no pacientes. La tasa del 7,0 % tiene un intervalo de Wilson de aproximadamente el 4,6 % al 10,5 %, claramente por encima de la condición con confirmación, así que la diferencia no es un resultado del azar. La caída de tres puntos en las reservas normales es el coste.

18.6 Errores y límites

Preguntas demasiado amplias.
Ninguna condición de control.
Comunicar solo los resultados favorables.

Una pregunta demasiado amplia, como «¿es seguro Ask Lumen?», no puede responderse con ningún estudio aislado. Sin una condición de control, un resultado observado no puede atribuirse a la intervención. Comunicar solo los resultados favorables, por ejemplo la ganancia de seguridad sin la caída del 97 % al 94 % en las reservas completadas, engaña a quienes deciden sobre los compromisos. El diseño del estudio de Rina evita cada uno de estos errores nombrando de antemano la comparación, el coste y los límites.

Ejercicios

EX052 — Pregunta. Escriba una pregunta de investigación sobre DocSort con los cuatro elementos. Rúbrica: 3 = sistema, intervención, resultado, comparación; 2 = tres; 1 = vaga; 0 = nada.
EX053 — Controles. ¿Por qué es necesaria una condición de control en el estudio de Rina? Rúbrica: 3 = muestra el efecto de la confirmación frente a la línea base; 2 = parcial; 1 = vago; 0 = incorrecto.
EX054 — Limitación. Indique una limitación del estudio de Rina y su efecto en las conclusiones. Rúbrica: 3 = compañeros de clase y no pacientes → el coste en reservas completadas puede ser distinto; o documentos sintéticos; 2 = solo la limitación; 1 = genérica; 0 = nada.

Síntesis

Los métodos de investigación convierten las preguntas en respuestas fiables: preguntas claras, una bibliografía sólida, experimentos controlados e informes honestos con sus limitaciones.

Siga estudiando — capítulo 18 de 40

← Capítulo 17 (borrador) · Índice de capítulos del curso · Capítulo 19 (borrador) →