Capítulo 21 — Seguridad de la IA y del aprendizaje automático: modelos de sistema | Grado Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 21 publicada. Mapa, ejemplo, EX061.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["21.1 Componentes"]
  N2["21.2 Flujos de datos y confianza"]
  N3["21.3 Acciones privilegiadas"]
  N4["21.4 Usar el modelo"]
  N5["21.4b Componentes del momento del entrenamiento"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX061"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["21.1 Componentes"]
  N2["21.2 Flujos de datos y confianza"]
  N3["21.3 Acciones privilegiadas"]
  N4["21.4 Usar el modelo"]
  N5["21.4b Componentes del momento del entrenamiento"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX061"]

[Resultados de aprendizaje]
    |
    v
[21.1 Componentes]
    |
    v
[21.2 Flujos de datos y confianza]
    |
    v
[21.3 Acciones privilegiadas]
    |
    v
[21.4 Usar el modelo]
    |
    v
[21.4b Componentes del momento del entrenamiento]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX061]

Resultados de aprendizaje

Usted podrá (1) modelar un sistema de IA con componentes, flujos de datos y niveles de confianza; (2) marcar las entradas no confiables y las acciones privilegiadas; (3) rastrear cómo el contenido no confiable llega a las decisiones; y (4) usar el modelo para planificar los controles.

21.1 Componentes

Enumere usuarios, interfaces, lógica de la aplicación, el modelo, almacenes de recuperación, herramientas, servicios externos, canalizaciones de entrenamiento, registro de modelos y registros. Los sistemas de IA ocultan componentes: un «chatbot sencillo» puede incluir un modelo de embeddings, un almacén vectorial y varias herramientas. Ask Lumen lo ilustra. El personal lo describía como «el chatbot», pero la lista de Rina tenía once componentes, entre ellos el modelo de embeddings usado para buscar documentos, el almacén de documentos indexados de las clínicas, la herramienta de reservas, la herramienta de horarios de apertura y el registro de conversaciones. Cada componente es un lugar donde un atacante podría actuar o donde podrían filtrarse datos.

21.2 Flujos de datos y confianza

Para cada flujo, marque el nivel de confianza de su contenido. Mensajes de pacientes: contenido autenticado, pero no confiable. Documentos de las clínicas: internos, confianza media. Subidas de asociados: externas, confianza baja. Resultados de herramientas: dependen de la herramienta. Cualquier contenido de confianza baja que llegue al modelo puede influir en sus salidas. En el diagrama de Rina, las subidas de asociados se dibujan en rojo, ya que una organización externa controla su contenido. El diagrama mostró que un flujo rojo llegaba a la herramienta de reservas a través del modelo, y por eso la confirmación y la comprobación de políticas están en esa vía y no antes en la conversación.

21.3 Acciones privilegiadas

Marque las acciones con impacto: reservar, cancelar, enviar mensajes, modificar historiales. Dibuje las vías desde las entradas de confianza baja hasta estas acciones; cada vía necesita un control fuera del modelo. En Ask Lumen, las acciones privilegiadas son reservar y cancelar citas. Rina rastreó tres vías hasta ellas: desde los mensajes de pacientes, desde los documentos de las clínicas y desde las subidas de asociados. Las tres pasaban por el modelo, así que las tres quedaban cubiertas por un solo control externo, la comprobación de políticas con confirmación del paciente, en lugar de por tres filtros separados que podrían fallar cada uno en algo.

21.4 Usar el modelo

El modelo de sistema guía el análisis de amenazas, la ubicación de los controles y las pruebas. Manténgalo versionado; actualícelo cuando cambien las herramientas, las fuentes de datos o los modelos. Rina guarda el diagrama en el mismo repositorio que el código de Ask Lumen, de modo que un cambio que añada una herramienta deba actualizar también el diagrama en la misma revisión. Cuando se modificó la herramienta de horarios de apertura, la revisión incluyó el cambio del diagrama, y el revisor pudo ver que se había eliminado el flujo de comentarios no confiables. Un diagrama desactualizado da una falsa tranquilidad.

21.4b Componentes del momento del entrenamiento

Los modelos de sistema a menudo se detienen en la aplicación desplegada, pero las canalizaciones de entrenamiento también importan. Muestre de dónde proceden los datos de entrenamiento, quién puede añadirlos o reetiquetarlos, dónde se almacenan los modelos y cómo llegan a producción. Los riesgos de envenenamiento y de puertas traseras viven en estas vías, y se aplica el mismo marcado de niveles de confianza: las ediciones de un contratista de etiquetado tienen menos confianza que la revisión de un experto interno. En DocSort, esta vista mostró al equipo de contratistas entre el archivo de cartas y el trabajo de entrenamiento. Nada registraba qué contratista etiquetó qué carta, así que un lote envenenado no podía rastrearse, una laguna que cierra el capítulo siguiente.

21.5 Ejemplo resuelto (caso sintético de LCH)

El modelo de sistema de Ask Lumen elaborado por Rina mostró un flujo olvidado: el chatbot podía leer la página web pública de la clínica mediante una herramienta de «consultar horarios de apertura», y esa página incluía una sección de comentarios. Los comentarios eran contenido público no confiable que fluía hacia el modelo. LCH cambió la herramienta para que leyera un archivo estructurado de horarios de apertura en lugar de la página completa. Nadie había enumerado la fuente de datos de la herramienta porque esta parecía inofensiva; dibujar el flujo hizo visible el riesgo. Leer un archivo estructurado también hizo más fiables las respuestas, ya que el personal lo edita directamente.

21.6 Errores y límites

Modelos sin niveles de confianza.
Herramientas y sus fuentes de datos que faltan.
No actualizar nunca el modelo.

Un diagrama sin niveles de confianza no puede mostrar dónde corresponden los controles, porque todos los flujos parecen iguales. Omitir las herramientas oculta las vías hacia las acciones privilegiadas, como ocurrió con la herramienta de horarios de apertura que leía comentarios públicos. Un diagrama que no se actualiza con los cambios de código describe un sistema que ya no existe, así que las revisiones basadas en él pasan por alto los nuevos riesgos introducidos desde que se dibujó. La regla de Rina vincula las actualizaciones del diagrama a la revisión de código.

Ejercicios

EX061 — Niveles de confianza. Asigne niveles de confianza a cinco entradas de Ask Lumen. Rúbrica: 3 = cinco razonables; 2 = cuatro; 1 = dos; 0 = nada.
EX062 — Vías. Describa una vía desde contenido de confianza baja hasta una acción privilegiada en DocSort. Rúbrica: 3 = texto de una carta elaborada → modelo → encaminamiento al departamento equivocado; 2 = parcial; 1 = vago; 0 = nada.
EX063 — Corrección de los comentarios. ¿Por qué fue eficaz sustituir la lectura de la página por un archivo estructurado? Rúbrica: 3 = elimina los comentarios no confiables de la entrada del modelo; reduce los datos a los campos necesarios; 2 = parcial; 1 = vago; 0 = incorrecto.

Síntesis

Un modelo de sistema con niveles de confianza muestra exactamente dónde puede el contenido no confiable llegar a acciones con consecuencias: el mapa para todos los controles posteriores.

Siga estudiando — capítulo 21 de 40

← Capítulo 20 (borrador) · Índice de capítulos del curso · Capítulo 22 (borrador) →