Capítulo 29 — Seguridad de la IA y del aprendizaje automático: operaciones
Mapa de la lección
Lección 29 publicada. Mapa, ejemplo, EX085.
flowchart TD
N0["Resultados de aprendizaje"]
N1["29.1 Monitorización"]
N2["29.2 Respuesta a incidentes"]
N3["29.3 Gestión de cambios"]
N4["29.4 Accesos y cuentas"]
N5["29.5 Informes"]
N6["29.5b Ejercicios y simulacros"]
N7["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX085"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["29.1 Monitorización"]
N2["29.2 Respuesta a incidentes"]
N3["29.3 Gestión de cambios"]
N4["29.4 Accesos y cuentas"]
N5["29.5 Informes"]
N6["29.5b Ejercicios y simulacros"]
N7["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX085"]
[Resultados de aprendizaje]
|
v
[29.1 Monitorización]
|
v
[29.2 Respuesta a incidentes]
|
v
[29.3 Gestión de cambios]
|
v
[29.4 Accesos y cuentas]
|
v
[29.5 Informes]
|
v
[29.5b Ejercicios y simulacros]
|
v
[Síntesis]
|
v
[Ejemplo resuelto] --> [Ejercicio EX085]
Resultados de aprendizaje
Usted podrá (1) operar los sistemas de IA de forma segura en el día a día; (2) monitorizar señales específicas de la IA; (3) dirigir la respuesta a incidentes de IA; y (4) gestionar los cambios en modelos, prompts y datos.
29.1 Monitorización
Siga las señales que revelan ataques o fallos: marcas del clasificador de inyección, denegaciones de políticas, tasas inusuales de llamadas a herramientas, volúmenes de consultas por usuario, coste por conversación, fallos de fundamentación de las respuestas y deriva en las distribuciones de entrada o de salida. Envíelas al equipo de operaciones de seguridad con responsables claros. En LCH, el recuento de denegaciones de políticas resultó ser la señal temprana más útil: un aumento repentino de reservas denegadas solía significar que alguien intentaba manipular el chatbot, aunque ninguna reserva tuviera éxito. Cada señal del panel tiene un responsable en el equipo de operaciones de seguridad, y fuera del horario de oficina las alertas se dirigen al ingeniero de guardia.
29.2 Respuesta a incidentes
Prepare manuales de actuación. Ante una sospecha de inyección con impacto: contener (desactivar la herramienta afectada o revocar sus credenciales), investigar (rastrear la conversación, los documentos recuperados y los registros de las herramientas), recuperar (deshacer las acciones, eliminar el contenido malicioso), aprender (añadir pruebas, corregir el proceso). Ante una sospecha de envenenamiento: detener el reentrenamiento, identificar los datos y modelos afectados mediante el linaje, revertir. Ante una sospecha de extracción: limitar el ritmo, preservar los registros, implicar a la asesoría jurídica. El paso de contención figura primero porque puede hacerse en minutos sin entender la causa. En LCH, desactivar la herramienta de reservas sigue permitiendo que Ask Lumen responda preguntas, así que los pacientes solo pierden la reserva por autoservicio mientras el personal investiga, y pueden llamar a la clínica en su lugar.
29.3 Gestión de cambios
Trate los modelos, los prompts, las fuentes de recuperación y las herramientas como elementos de configuración. Los cambios superan pruebas de seguridad, se despliegan gradualmente y pueden revertirse. Los modelos alojados pueden cambiar sin aviso; vuelva a ejecutar los conjuntos de evaluación de forma programada. En LCH, el prompt de sistema está en el mismo repositorio que el código, así que una edición del prompt pasa por la misma canalización de revisión y pruebas. El modelo del proveedor puede cambiar bajo el mismo nombre, así que el conjunto de evaluación de Rina se ejecuta cada semana contra el modelo en servicio, y una caída en cualquier métrica abre un ticket aunque LCH no haya cambiado nada.
29.4 Accesos y cuentas
Revise quién puede cambiar los prompts, subir documentos, etiquetar datos y administrar los servicios de IA. Elimine las cuentas obsoletas; exija autenticación multifactor a los administradores. La revisión trimestral de LCH encontró a dos antiguos contratistas que aún podían etiquetar cartas de DocSort y una cuenta de becario con permisos para editar el prompt de Ask Lumen. Se eliminaron las tres. Las cuentas de subida de los asociados están ahora vinculadas a personas con nombre en lugar de a credenciales compartidas, de modo que un documento hostil puede rastrearse hasta una subida individual y suspenderse por separado sin perturbar a los demás asociados.
29.5 Informes
Informes mensuales: incidentes, denegaciones, marcas, resultados de evaluación y riesgos abiertos, con tendencias. El informe mensual de LCH muestra cuatro cifras en la primera página: incidentes, denegaciones de políticas, fallos de fundamentación y la última tasa de aprobación de la evaluación, cada una con los tres meses anteriores para comparar. Una tendencia al alza de las denegaciones, incluso sin incidentes, motiva un examen más detenido. Los riesgos abiertos indican un responsable y una fecha objetivo, así que el informe también sigue si las correcciones se hacen a tiempo, y los elementos vencidos se enumeran por separado.
29.5b Ejercicios y simulacros
Realice simulacros breves: un documento inyectado simulado en preproducción, un lote envenenado simulado, una filtración de clave simulada. Mida el tiempo de detección y de contención, y actualice los manuales de actuación con lo aprendido. El primer simulacro de documento inyectado de LCH tardó 40 minutos en contenerse porque el manual de actuación indicaba el interruptor de herramienta equivocado; el manual corregido se usó en el incidente real. Los simulacros son baratos comparados con aprender la misma lección durante un ataque, y cada uno terminó con una breve lista de ediciones del manual que se hicieron esa misma semana y se comprobaron en el simulacro siguiente.
29.6 Ejemplo resuelto (caso sintético de LCH)
Un lunes por la mañana, la monitorización mostró cancelaciones de citas mediante Ask Lumen a cinco veces la tasa habitual. El manual de actuación llevó al ingeniero de guardia a desactivar la herramienta de cancelación, rastrear las cancelaciones hasta conversaciones que habían recuperado un documento de asociado recién subido y restaurar las citas canceladas. La cuenta de subida del documento quedó suspendida a la espera de revisión. Tiempo de contención: 18 minutos. Restaurar las citas fue posible porque el registro de reservas vinculaba cada cancelación a su conversación. Sin ese vínculo, el personal habría tenido que preguntar a cada paciente si había cancelado.
29.7 Errores y límites
- Señales de IA que nadie monitoriza.
- Ningún manual de actuación para incidentes específicos de la IA.
- Cambios de prompts hechos directamente en producción.
Las señales que nadie vigila no protegen: el incidente del falso cierre duró una noche, con 23 respuestas falsas, porque no existía ninguna señal de fundamentación y nadie vigilaba las respuestas hasta que una recepcionista las comunicó. Sin manuales de actuación, un ingeniero de guardia tiene que inventar una respuesta bajo presión. Editar los prompts directamente en producción elude las pruebas que detectarían una instrucción debilitada o una salvaguarda eliminada, y no deja constancia de lo que cambió cuando algo falla en producción.
Ejercicios
- EX085 — Señales. Enumere cinco señales de IA que monitorizar en Ask Lumen. Rúbrica: 3 = cinco pertinentes; 2 = cuatro; 1 = dos; 0 = nada.
- EX086 — Manual de actuación. Redacte los pasos de contener/investigar/recuperar/aprender para el incidente de las cancelaciones. Rúbrica: 3 = los cuatro concretos; 2 = tres; 1 = vago; 0 = nada.
- EX087 — Cambios en modelos alojados. ¿Por qué volver a ejecutar las evaluaciones de forma programada en los modelos alojados? Rúbrica: 3 = las actualizaciones del proveedor pueden cambiar el comportamiento sin aviso; detectar regresiones; 2 = parcial; 1 = vago; 0 = incorrecto.
Síntesis
Las operaciones mantienen la seguridad de la IA en funcionamiento después del lanzamiento: señales de IA monitorizadas, manuales de actuación practicados, cambios controlados e informes periódicos.
Siga estudiando — capítulo 29 de 40
← Capítulo 28 (borrador) · Índice de capítulos del curso · Capítulo 30 (borrador) →