Capítulo 11 — Seguridad de la IA y del aprendizaje automático: activos y contexto | Tecnólogo Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 11 publicada. Mapa, ejemplo, EX031.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["11.1 Activos de IA"]
  N2["11.2 Contexto"]
  N3["11.3 Clasificación"]
  N4["11.4 Mantenerlo al día"]
  N5["11.4b Campos del inventario"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX031"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["11.1 Activos de IA"]
  N2["11.2 Contexto"]
  N3["11.3 Clasificación"]
  N4["11.4 Mantenerlo al día"]
  N5["11.4b Campos del inventario"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX031"]

[Resultados de aprendizaje]
    |
    v
[11.1 Activos de IA]
    |
    v
[11.2 Contexto]
    |
    v
[11.3 Clasificación]
    |
    v
[11.4 Mantenerlo al día]
    |
    v
[11.4b Campos del inventario]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX031]

Resultados de aprendizaje

Usted podrá (1) inventariar los activos de IA: modelos, prompts, datos, índices, herramientas y claves; (2) registrar el contexto: usuarios, personas afectadas y finalidad; (3) clasificar los sistemas por riesgo; y (4) mantener el inventario al día.

11.1 Activos de IA

Los activos incluyen: archivos de modelos o identificadores y versiones de modelos de proveedores; prompts del sistema; datos de entrenamiento y de evaluación; índices de recuperación y sus fuentes; herramientas y sus permisos; claves de API; y registros. Cada uno necesita un responsable y un nivel de protección. Los prompts del sistema no son secretos en los que se pueda confiar (OWASP LLM07 señala que pueden filtrarse), así que nunca incluya credenciales en ellos. La entrada del inventario de Ask Brightwell mostró por qué esto importa: su prompt del sistema contenía un código de descuento para el personal, un secreto que una filtración del prompt habría dejado al descubierto.

11.2 Contexto

El mismo modelo es de bajo riesgo en un cuadro de búsqueda de productos y de alto riesgo cuando puede emitir reembolsos. Registre la finalidad, los usuarios, las personas afectadas, las decisiones en las que influye y las herramientas disponibles. En Brightwell, el mismo modelo del proveedor impulsa Ask Brightwell y el redactor de correos de marketing, pero el primero puede iniciar devoluciones y consultar pedidos, mientras que el segundo puede enviar correos a la lista de clientes. Sus entradas del inventario registran esas finalidades y herramientas distintas, de modo que cada uno recibe su propia puntuación de riesgo y su propio responsable. Son las herramientas y los datos que rodean a un modelo, y no el modelo, los que determinan su riesgo.

11.3 Clasificación

Puntúe los sistemas según: entrada no confiable, herramientas con efectos secundarios, datos sensibles, número de personas afectadas y automatización sin revisión humana.

"""Lab V: an AI system inventory scored for review priority (synthetic).
Each system lists exposure, autonomy, data sensitivity and whether it reads
untrusted content; mapping to OWASP LLM Top 10 (2025) IDs is illustrative."""
import json
inv = json.loads("""[
 {"name":"support-chatbot","exposure":"public","autonomy":"tools","data":"customer","untrusted_input":true},
 {"name":"invoice-ocr-model","exposure":"internal","autonomy":"none","data":"financial","untrusted_input":true},
 {"name":"code-assistant","exposure":"internal","autonomy":"suggest","data":"source","untrusted_input":true},
 {"name":"churn-predictor","exposure":"internal","autonomy":"none","data":"customer","untrusted_input":false},
 {"name":"hr-cv-screener","exposure":"internal","autonomy":"decide","data":"personal","untrusted_input":true}
]""")
E = {"public": 3, "internal": 1}; A = {"none": 0, "suggest": 1, "tools": 3, "decide": 3}
D = {"customer": 2, "financial": 2, "source": 2, "personal": 3}
for s in inv:
    s["score"] = E[s["exposure"]] + A[s["autonomy"]] + D[s["data"]] + (2 if s["untrusted_input"] else 0)
    risks = []
    if s["untrusted_input"]: risks.append("LLM01")
    if s["autonomy"] in ("tools", "decide"): risks.append("LLM06")
    if s["data"] in ("customer", "personal"): risks.append("LLM02")
    s["owasp"] = ",".join(risks) or "-"
for s in sorted(inv, key=lambda s: -s["score"]):
    print(f"{s['name']:18s} score={s['score']:2d} owasp={s['owasp']}")

Salida esperada:

support-chatbot    score=10 owasp=LLM01,LLM06,LLM02
hr-cv-screener     score= 9 owasp=LLM01,LLM06,LLM02
code-assistant     score= 6 owasp=LLM01
invoice-ocr-model  score= 5 owasp=LLM01
churn-predictor    score= 3 owasp=LLM02

El laboratorio de Jonas puntúa los sistemas de Brightwell según estos cinco factores. Ask Brightwell ocupa el primer puesto porque lee reseñas no confiables, tiene herramientas que inician devoluciones y maneja datos de clientes. El redactor de correos que encontró más tarde queda justo por debajo porque tiene datos personales y envía correo. Anotar la puntuación de cada factor permite a los responsables ver por qué un sistema ocupa su lugar y discutir un factor concreto en vez del total.

11.4 Mantenerlo al día

Añada comprobaciones del inventario a la gestión de cambios: nuevo modelo, nueva herramienta, nueva fuente de datos o nuevo prompt → actualizar la entrada. Busque la IA en la sombra: funciones de proveedores activadas o personal que usa chatbots públicos con datos de la empresa. Brightwell encontró su cuarto sistema de IA, el redactor de correos de marketing, solo al mirar más allá de los sistemas que había enumerado ingeniería. Los agentes de atención al cliente que pegaban correos en un chatbot público, descubiertos más tarde durante unas prácticas, eran un uso en la sombra que ningún escaneo de sistemas podía detectar. Por eso Jonas añadió a cada revisión trimestral del inventario una pregunta a todos los equipos sobre qué funciones de IA o chatbots usan con datos de la empresa.

11.4b Campos del inventario

Una entrada práctica contiene: nombre del sistema; responsable; finalidad; modelo (proveedor y versión, o archivo y hash); prompts (ubicación, versión); fuentes de datos y su sensibilidad; índices; herramientas y sus permisos; claves y dónde se guardan; usuarios; personas afectadas; puntuación de riesgo; fecha de la última evaluación. Guarde las entradas en control de versiones para que los cambios se revisen. La entrada de Ask Brightwell registra ahora el proveedor y la versión fijada del modelo, el archivo del prompt y su versión, los índices de clientes y de personal, las herramientas de pedidos y de devoluciones con sus alcances y dónde se guarda la clave del proveedor.

11.5 Ejemplo resuelto (caso sintético de Brightwell)

Jonas elabora el inventario de Brightwell y encuentra un cuarto sistema que nadie había enumerado: el redactor de correos con IA del equipo de marketing, con acceso a la lista de clientes. Lo puntúa con el enfoque del laboratorio; queda justo por debajo de Ask Brightwell porque tiene datos personales y envía correo. También descubre que el prompt del sistema de Ask Brightwell contenía un código de descuento destinado al personal y lo retira de allí. Ambos hallazgos se debieron a rellenar con cuidado los campos del inventario. Preguntar quién usa la lista de clientes reveló el redactor de correos; leer el prompt del sistema para registrar su ubicación reveló el código de descuento.

11.6 Errores y límites

Inventarios que solo enumeran modelos.
Secretos en los prompts del sistema.
Inventarios de una sola vez.

El primer inventario de Brightwell mostraba los tres. Enumeraba modelos, pero no el acceso del redactor de correos a la lista de clientes; el prompt de Ask Brightwell contenía un código de descuento para el personal; y nada programaba una nueva revisión. Las entradas en control de versiones, revisadas con cada cambio, resuelven ahora el tercero, y la clasificación de riesgos se vuelve a ejecutar cada vez que cambia una entrada. Los secretos residen ya solo en el gestor de secretos, de modo que un prompt filtrado revela instrucciones, pero nada que conceda acceso.

Ejercicios

EX031 — Activos. Enumere siete tipos de activos de Ask Brightwell, cada uno con un responsable. Rúbrica: 3 = siete con responsables; 2 = cinco; 1 = tres; 0 = menos.
EX032 — Clasificación. Explique por qué el laboratorio sitúa support-chatbot por encima de churn-predictor. Rúbrica: 3 = entrada no confiable, herramientas, datos; 2 = dos; 1 = uno; 0 = erróneo.
EX033 — Secreto en el prompt. ¿Por qué no debe estar el código de descuento en el prompt del sistema? Rúbrica: 3 = los prompts pueden filtrarse (LLM07), el control de acceso corresponde a otro lugar; 2 = parcial; 1 = vago; 0 = erróneo.

Síntesis

Conozca sus activos de IA y el contexto en que funcionan, clasifíquelos según sus consecuencias y mantenga el registro al día mediante la gestión de cambios.

Siga estudiando — capítulo 11 de 30

← Capítulo 10 (borrador) · Índice de capítulos del curso · Capítulo 12 (borrador) →