Capítulo 17 — Fundamentos de control y realimentación
Mapa de la lección
Lección 17 publicada. Mapa, ejemplo, EX049.
flowchart TD
N0["Resultados de aprendizaje"]
N1["17.1 Realimentación y estabilidad"]
N2["17.2 Lazos de realimentación en los sistemas de IA"]
N3["17.3 Envolventes de operación seguras"]
N4["17.4 Lazos de monitorización"]
N5["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX049"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["17.1 Realimentación y estabilidad"]
N2["17.2 Lazos de realimentación en los sistemas de IA"]
N3["17.3 Envolventes de operación seguras"]
N4["17.4 Lazos de monitorización"]
N5["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX049"]
[Resultados de aprendizaje]
|
v
[17.1 Realimentación y estabilidad]
|
v
[17.2 Lazos de realimentación en los sistemas de IA]
|
v
[17.3 Envolventes de operación seguras]
|
v
[17.4 Lazos de monitorización]
|
v
[Síntesis del capítulo]
|
v
[Ejemplo resuelto] --> [Ejercicio EX049]
Resultados de aprendizaje
Usted será capaz de (1) describir el control en lazo abierto y en lazo cerrado, la realimentación, la ganancia y la estabilidad; (2) reconocer los lazos de realimentación en los sistemas de IA (reentrenamiento con las propias salidas, lazos de los sistemas de recomendación, agentes que actúan sobre sus propios resultados); (3) explicar cómo explotan los adversarios la realimentación; y (4) diseñar envolventes de operación seguras y enclavamientos para el control impulsado por IA.
17.1 Realimentación y estabilidad
Un controlador en lazo cerrado mide la salida, la compara con un objetivo y ajusta la entrada. La ganancia determina con cuánta fuerza reacciona; demasiada ganancia provoca oscilación o inestabilidad, y demasiado poca, una respuesta lenta. Los retardos en el lazo hacen más probable la inestabilidad. Un termostato es un lazo conocido: mide la temperatura de la habitación y enciende o apaga la calefacción. Si reacciona a cada pequeña fluctuación, la calefacción se enciende y apaga sin parar; si reacciona demasiado despacio, la habitación oscila entre el calor y el frío. El retardo empeora ambas cosas, porque el controlador actúa con información que ya está desfasada. Los mismos compromisos aparecen dondequiera que un sistema se ajuste a partir de sus propios resultados, incluido el ajuste automático de umbrales.
17.2 Lazos de realimentación en los sistemas de IA
Los sistemas de IA forman a menudo lazos: las decisiones de un modelo cambian los datos con los que después se reentrena; un modelo de anomalías cuyas alertas desencadenan mantenimiento nunca ve lo que habría ocurrido sin ese mantenimiento; un agente observa los resultados de sus propias llamadas a herramientas y planifica nuevas acciones. Los lazos pueden amplificar errores pequeños, y también la influencia de un atacante. Si los atacantes pueden inyectar datos que se reincorporan al entrenamiento (por ejemplo, valoraciones de «me gusta» de los usuarios sobre respuestas manipuladas), pueden dirigir el modelo con el tiempo; es una vía de envenenamiento (OWASP LLM04).
17.3 Envolventes de operación seguras
Los ingenieros de control acotan las órdenes a los actuadores, limitan la velocidad de los cambios y añaden enclavamientos que anulan al controlador cuando las mediciones salen de una región segura. Aplique lo mismo a la IA: acote las acciones que un agente puede realizar por hora, exija aprobación humana fuera de una envolvente y añada comprobaciones independientes (un monitor sencillo basado en reglas) que puedan vetar al modelo. El monitor basado en reglas es deliberadamente sencillo, de modo que falla de formas distintas a las del modelo. Una regla como «no más de cinco órdenes de trabajo por hora desde una misma sesión» detecta un comportamiento desbocado sea cual sea la razón por la que el modelo lo produjo. Las envolventes se redactan a partir de datos de operación: el rango normal de acciones observadas, con un margen, y un responsable explícito que aprueba los cambios.
17.4 Lazos de monitorización
Monitorice la distribución de las entradas, la distribución de las salidas y las tasas de resultados. Los cambios bruscos pueden indicar deriva o un ataque; una deriva lenta puede indicar un lazo de realimentación. Mantenga un conjunto de datos de referencia que no esté influido por el modelo para medir el rendimiento real. Un conjunto de referencia se etiqueta de forma independiente y se mantiene apartado del entrenamiento y del ajuste. Medir periódicamente el modelo sobre él muestra el rendimiento real, incluso cuando la realimentación de producción está sesgada por las propias decisiones del modelo. Monitorizar las tasas de resultados también requiere cuidado: si cada alerta va seguida de mantenimiento, el sistema nunca ve directamente los fallos no detectados, así que los ingenieros toman muestras de casos sin alerta para inspeccionarlos y estimarlos.
17.5 Ejemplo resuelto (caso sintético de NRS)
Los umbrales de Pulse se reajustaban automáticamente cada semana a partir de las valoraciones de los técnicos sobre las alertas. Un equipo de contratistas, presionado por los plazos, marcó muchas alertas verdaderas como «falsa alarma»; en seis semanas el umbral subió y la tasa de verdaderos positivos bajó del 92 % al 78 % en el conjunto de referencia. Sam sustituyó el reajuste automático por una actualización acotada (como máximo un 2 % de cambio del umbral por semana), una comprobación con el conjunto de referencia antes de cada cambio y la revisión de las valoraciones de cualquier equipo cuyas valoraciones divergieran mucho de las de los demás. Sin el conjunto de referencia, el deterioro habría parecido una mejora, ya que se generaban menos alertas.
17.6 Errores y límites
- Reentrenar con datos influidos por el modelo sin una referencia limpia.
- Actualizaciones automáticas sin límites.
- Agentes sin presupuesto de acciones.
Reentrenar con datos moldeados por las propias decisiones del modelo puede consolidar sus errores, porque los casos que pasó por alto nunca vuelven como ejemplos. Las actualizaciones sin límites permiten que unas pocas entradas sesgadas desplacen mucho el sistema antes de que nadie lo note. Los agentes sin presupuesto de acciones pueden repetir muchas veces una acción dañina en los minutos previos a que una persona revise el registro. Cada error es la falta de una cota en un lazo de realimentación, y cada corrección es un límite que no depende de que el modelo acierte.
Ejercicios — capítulo 17
- EX049 — Lazos. Identifique dos lazos de realimentación en Wrench. Rúbrica: 3 = dos lazos verosímiles (valoraciones → ajuste fino; agente que observa los resultados de las herramientas) con sus riesgos; 2 = uno; 1 = vago; 0 = nada.
- EX050 — Envolvente. Proponga tres límites de envolvente para un agente que crea órdenes de trabajo. Rúbrica: 3 = tope por periodo, aprobación fuera del alcance, veto/monitor independiente; 2 = dos; 1 = uno; 0 = nada.
- EX051 — Corrección de Pulse. Explique por qué el conjunto de referencia es esencial en la corrección de Sam. Rúbrica: 3 = no está influido por las valoraciones y revela el deterioro real del rendimiento; 2 = parcial; 1 = vago; 0 = incorrecto.
Síntesis del capítulo
La realimentación hace que los sistemas sean adaptativos y también explotables. Las actualizaciones acotadas, las referencias limpias, las envolventes de acciones y los enclavamientos independientes mantienen estables los lazos de IA bajo ataque.
Siga estudiando — capítulo 17 de 50
← Capítulo 16 (borrador) · Índice de capítulos del curso · Capítulo 18 (borrador) →