Capítulo 32 — Seguridad de la IA y del aprendizaje automático: fiabilidad
Mapa de la lección
Lección 32 publicada. Mapa, ejemplo, EX094.
flowchart TD
N0["Resultados de aprendizaje"]
N1["32.1 La fiabilidad en la IA"]
N2["32.2 Calibración"]
N3["32.3 Redundancia y degradación"]
N4["32.4 ¿Fiabilidad o ataque?"]
N5["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX094"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["32.1 La fiabilidad en la IA"]
N2["32.2 Calibración"]
N3["32.3 Redundancia y degradación"]
N4["32.4 ¿Fiabilidad o ataque?"]
N5["Síntesis del capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX094"]
[Resultados de aprendizaje]
|
v
[32.1 La fiabilidad en la IA]
|
v
[32.2 Calibración]
|
v
[32.3 Redundancia y degradación]
|
v
[32.4 ¿Fiabilidad o ataque?]
|
v
[Síntesis del capítulo]
|
v
[Ejemplo resuelto] --> [Ejercicio EX094]
Resultados de aprendizaje
Usted será capaz de (1) definir la fiabilidad de los componentes de IA (comportamiento correcto y coherente a lo largo del tiempo y de las condiciones); (2) cuantificar la fiabilidad con tasas de error estratificadas, calibración y disponibilidad; (3) diseñar la redundancia y la degradación controlada; y (4) distinguir los fallos de fiabilidad de los ataques en el análisis de incidentes.
32.1 La fiabilidad en la IA
La fiabilidad clásica pregunta con qué frecuencia falla un componente. En la IA, el «fallo» incluye salidas erróneas que parecen normales. Por tanto, la fiabilidad incluye la exactitud en las distintas condiciones (tasas de error estratificadas), la calibración (¿una confianza del 90 % significa un 90 % de aciertos?), la estabilidad entre versiones y la disponibilidad del servicio. Un servicio caído se nota de inmediato; un modelo que, sin hacer ruido, pasa por alto más defectos al amanecer, no. Por eso las medidas de fiabilidad de la IA deben examinar las salidas a lo largo del tiempo y por condición, no solo el tiempo de actividad. La estabilidad entre versiones importa porque una actualización del modelo puede cambiar las decisiones en casos que antes eran correctos, y los operadores que aprendieron a confiar en el comportamiento anterior pueden no notarlo.
32.2 Calibración
La confianza de un modelo calibrado coincide con su exactitud. Los modelos con exceso de confianza hacen frágil la automatización posterior: si TrackEye dice «sin defecto» con un 99 %, pero solo acierta el 95 % de las veces con esa confianza, los operadores confían demasiado en él. Mida la calibración con diagramas de fiabilidad o con el error de calibración esperado; recalibre con métodos sencillos, como el escalado de temperatura sobre datos reservados. El escalado de temperatura divide las puntuaciones en bruto del modelo por un único número ajustado antes de convertirlas en probabilidades. No cambia qué clase gana, así que la exactitud se mantiene, pero las confianzas se acercan a la exactitud observada. La calibración también debe comprobarse por estrato de condición, porque un modelo puede estar bien calibrado en conjunto y tener un exceso de confianza grave al amanecer.
32.3 Redundancia y degradación
La redundancia puede ser diversa (un modelo distinto o una comprobación basada en reglas) o repetida (una segunda inferencia). La redundancia diversa ayuda frente a los modos de fallo compartidos y frente a algunos ataques, porque una entrada adversarial diseñada para un modelo puede no transferirse perfectamente a otro. La degradación controlada define qué ocurre cuando un componente falla o no está seguro: TrackEye señala los tramos para revisión manual en lugar de marcarlos como sin incidencias. La inferencia repetida con el mismo modelo solo ayuda frente a fallos aleatorios, como un error transitorio del hardware, ya que la misma entrada produce el mismo error.
32.4 ¿Fiabilidad o ataque?
Cuando cambian las tasas de error, pregúntese: ¿cambiaron las entradas (deriva), cambió el modelo (versión) o actuó alguien (ataque)? Examine el momento, los estratos afectados, la correlación con fuentes concretas y los registros. Muchos ataques aparentes son deriva; parte de la deriva aparente es un ataque. Decide la evidencia, no el instinto. Una deriva suele empezar de forma gradual o con un cambio conocido, afecta a muchas entradas de una condición y se correlaciona con el entorno o con la versión. Un ataque suele empezar de forma brusca, se concentra en fuentes u objetivos concretos y puede evitar las condiciones que lo harían evidente. La lista de comprobación de triaje de Sam registra cada observación, de modo que un revisor posterior pueda ver por qué un incidente se clasificó de una manera y revisarlo si aparece evidencia nueva.
32.5 Ejemplo resuelto (caso sintético de NRS)
La tasa de falsos negativos de Pulse aumentó en una ruta. Los registros mostraron que el aumento coincidió con una actualización del firmware de los sensores que cambió las unidades en dos ejes: un fallo de fiabilidad, no un ataque. Sam añadió comprobaciones de unidades en la ingesta y una comprobación de umbral diversa basada en reglas que habría detectado las lecturas extremas con independencia del modelo. El momento apuntaba a la actualización del firmware, y solo cambiaron los dos ejes afectados, lo que encaja con un cambio de configuración más que con un atacante. Las correcciones abordan tanto la causa como la clase de fallo: las comprobaciones de unidades rechazan de inmediato los valores imposibles, y la comprobación basada en reglas no depende en absoluto del modelo.
32.6 Errores y límites
- Tratar las puntuaciones de confianza como probabilidades sin calibrarlas.
- Redundancia con modelos idénticos (fallo compartido).
- Concluir precipitadamente que es un «ataque» sin comprobar la deriva ni los cambios.
Las puntuaciones sin calibrar inducen a error a quien fija umbrales o explica decisiones con ellas. Los modelos redundantes idénticos fallan a la vez, así que añaden coste sin añadir seguridad. Llamar ataque a cada cambio malgasta el esfuerzo de investigación y puede dañar la confianza de proveedores y socios, mientras que llamar deriva a cada cambio puede dejar que continúe un ataque real. El hábito que enseña Sam es reunir evidencia de ambas explicaciones antes de decidir.
Ejercicios — capítulo 32
- EX094 — Calibración. Un modelo acierta el 80 % de las predicciones en las que declara una confianza del 95 %. ¿Qué falla y cuál es una corrección? Rúbrica: 3 = exceso de confianza; recalibrar (escalado de temperatura) y verificar; 2 = solo el diagnóstico; 1 = vago; 0 = incorrecto.
- EX095 — Redundancia diversa. ¿Por qué es útil una comprobación basada en reglas junto a Pulse? Rúbrica: 3 = modos de fallo distintos; es menos probable que los efectos adversariales o de deriva afecten a ambos; 2 = parcial; 1 = vago; 0 = incorrecto.
- EX096 — Triaje. Enumere tres preguntas para separar la deriva de un ataque. Rúbrica: 3 = qué cambió (entradas, versiones), qué estratos/fuentes, momento y correlación con los registros; 2 = dos; 1 = una; 0 = ninguna.
Síntesis del capítulo
Una IA fiable está calibrada y estratificada, tiene redundancia diversa y se degrada de forma segura; el análisis de incidentes separa la deriva del ataque mediante la evidencia.
Siga estudiando — capítulo 32 de 50
← Capítulo 31 (borrador) · Índice de capítulos del curso · Capítulo 33 (borrador) →