Capítulo 20 — Seguridad de la IA y del aprendizaje automático: diagnóstico de averías
Mapa de la lección
Lección 20 publicada. Mapa, ejemplo, EX058.
flowchart TD
N0["Resultados de aprendizaje"]
N1["20.1 Un método"]
N2["20.2 Distinguir las causas"]
N3["20.3 Reproducción segura"]
N4["20.4 Corregir y prevenir"]
N5["20.4b Comunicar durante el diagnóstico"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX058"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["20.1 Un método"]
N2["20.2 Distinguir las causas"]
N3["20.3 Reproducción segura"]
N4["20.4 Corregir y prevenir"]
N5["20.4b Comunicar durante el diagnóstico"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX058"]
[Resultados de aprendizaje]
|
v
[20.1 Un método]
|
v
[20.2 Distinguir las causas]
|
v
[20.3 Reproducción segura]
|
v
[20.4 Corregir y prevenir]
|
v
[20.4b Comunicar durante el diagnóstico]
|
v
[Síntesis]
|
v
[Ejemplo resuelto] --> [Ejercicio EX058]
Resultados de aprendizaje
Usted podrá (1) diagnosticar de forma sistemática los fallos de los sistemas de IA; (2) distinguir entre causas de modelo, de datos, de configuración y de ataque; (3) reproducir los problemas de forma segura; y (4) corregirlos y evitar que se repitan.
20.1 Un método
Defina el síntoma con precisión (qué, cuándo, a quién y con qué frecuencia). Reúna las trazas. Formule hipótesis de cuatro clases: comportamiento del modelo (una actualización del modelo cambió las salidas), datos (el índice contiene contenido erróneo o malicioso), configuración (se editó el prompt, se cambió un permiso de una herramienta, se eliminó un límite) y ataque (alguien lo está provocando deliberadamente). Pruebe las hipótesis de una en una en una copia de preproducción. El problema del plazo de devolución de 60 días siguió este método: el síntoma era concreto, se comprobaron las versiones y las trazas de recuperación apuntaron a la clase de los datos. Cada clase tiene su propia primera comprobación, empezando por las versiones.
20.2 Distinguir las causas
Compruebe primero las versiones: ¿cambió el modelo, el prompt, el índice o el código cerca del inicio del síntoma? Compruebe si el contenido recuperado incluye texto inyectado. Compruebe si los fallos se concentran en determinados usuarios o fuentes, como suele ocurrir con los ataques. Compruebe si el problema se reproduce con la versión anterior: si desaparece, el cambio está implicado. En el caso de los 60 días, las versiones no habían cambiado, lo que descartó rápidamente las causas de modelo y de configuración. Todas las respuestas erróneas habían recuperado la misma página caducada de una campaña, así que los fallos se concentraban en torno a una fuente, no a unos usuarios. Ese patrón de concentración apuntaba a los datos y no a un ataque.
20.3 Reproducción segura
Reproduzca en preproducción con datos sintéticos. Mantenga la evidencia de producción en modo de solo lectura. Si la reproducción requiere entradas peligrosas, guárdelas en un almacén de pruebas con control de acceso. En el caso de los 60 días, Jonas reprodujo la respuesta errónea en preproducción indexando la página caducada y preguntando por el plazo de devolución, sin necesidad de datos de clientes. Las reseñas con inyecciones colocadas que se usan en pruebas posteriores están en ese almacén con control de acceso, separadas de los datos de prueba ordinarios. Las copias de preproducción de Ask Brightwell solo contienen clientes y pedidos sintéticos, de modo que las pruebas allí no pueden exponer datos personales reales.
20.4 Corregir y prevenir
Corrija la causa, añada una prueba de regresión al banco de evaluación y actualice las guías de actuación. Si la causa raíz fue un supuesto de confianza del diseño, corrija el diseño y no solo el síntoma. El caso de los 60 días se corrigió en ambos niveles: se retiró la página caducada y el diseño incorporó un campo de caducidad y una tarea nocturna para que el contenido caducado no pueda volver a llegar a las respuestas. Una prueba de regresión pregunta por el plazo de devolución en cada cambio. La guía de actuación para respuestas erróneas sobre políticas comprueba ahora si hay contenido caducado en los documentos recuperados justo después de la comprobación de versiones.
20.4b Comunicar durante el diagnóstico
Lleve un registro continuo de lo que se comprobó y se encontró. Indique al personal de atención al cliente qué decir a los clientes mientras tanto, y avise a los responsables cuando se confirme la causa. Durante el caso de los 60 días, se indicó al personal de atención que confirmara el plazo de 30 días a cualquier cliente que preguntara, mientras Jonas comprobaba las versiones y la recuperación. El registro anotó cada comprobación, de modo que, cuando se identificó la página caducada, la persona responsable de marketing pudo ver exactamente por qué se había retirado y la persona responsable de atención al cliente supo cuándo dejar de usar el guion provisional.
20.5 Ejemplo resuelto (caso sintético de Brightwell)
Los clientes informan de que el asistente cita un plazo de devolución de 60 días; la política es de 30 días. Jonas comprueba las versiones: ningún cambio de modelo ni de prompt. Comprueba la recuperación de las preguntas que fallan: todas incluyen una página de una campaña de marketing subida la semana anterior ("60-day holiday returns", caducada). Es un problema de datos, no un ataque. Corrección: retirar la página, añadir un campo de caducidad a los documentos indexados y una tarea nocturna que elimine el contenido caducado, además de una prueba de regresión que pregunte por el plazo de devolución. El campo de caducidad corrige la clase de problema, no solo esta página.
20.6 Errores y límites
- Culpar a «la IA» sin comprobar las versiones y los datos.
- Depurar en producción.
- Correcciones sin pruebas de regresión.
El caso de los 60 días evitó cada uno de ellos: Jonas comprobó las versiones y los datos antes de culpar al modelo, reprodujo el problema en preproducción y añadió una prueba de regresión. Si hubiera depurado en producción, una pregunta de prueba podría haber llegado a la conversación de un cliente real. Sin la prueba, la siguiente página caducada de una campaña traería de vuelta el mismo síntoma. La guía de actuación enumera ahora estas comprobaciones en ese orden: su primer paso es la comprobación de versiones, y el segundo, una comprobación de contenido caducado en los documentos recuperados. Comprobar primero las versiones y la recuperación lleva minutos y descarta las causas más comunes.
Ejercicios
- EX058 — Hipótesis. Para «el asistente rechaza de repente la mayoría de las preguntas», enumere una hipótesis de cada clase. Rúbrica: 3 = cuatro clases con comprobaciones; 2 = tres; 1 = una o dos; 0 = ninguna.
- EX059 — ¿Ataque o no? ¿Qué evidencia indicaría que el problema de los 60 días fue un ataque? Rúbrica: 3 = autor de la subida desconocido, texto inyectado, concentración, momento; 2 = dos; 1 = uno; 0 = ninguno.
- EX060 — Prevención. Proponga dos medidas de prevención frente al contenido obsoleto. Rúbrica: 3 = metadatos de caducidad, revisión por el responsable, prueba de regresión; 2 = dos; 1 = una; 0 = ninguna.
Síntesis
El diagnóstico de averías en sistemas de IA separa las causas de modelo, de datos, de configuración y de ataque mediante versiones y trazas, reproduce de forma segura y evita la repetición con pruebas.
Siga estudiando — capítulo 20 de 30
← Capítulo 19 (borrador) · Índice de capítulos del curso · Capítulo 21 (borrador) →