◇ OpenCyber Academy
Posgrado · Capítulo 7 · Español

Capítulo 7 — Seguridad de la IA y del aprendizaje automático: integración organizativa

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Capítulo 7 — Seguridad de la IA y del aprendizaje automático: integración organizativa

Mapa de la lección

Lección 07 publicada. Mapa, ejemplo, EX031.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["7.1 Inventario y niveles"]
  N2["7.2 Reutilizar los procesos existentes"]
  N3["7.3 Roles"]
  N4["7.4 Métricas"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX031"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["7.1 Inventario y niveles"]
  N2["7.2 Reutilizar los procesos existentes"]
  N3["7.3 Roles"]
  N4["7.4 Métricas"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX031"]

[Resultados de aprendizaje]
    |
    v
[7.1 Inventario y niveles]
    |
    v
[7.2 Reutilizar los procesos existentes]
    |
    v
[7.3 Roles]
    |
    v
[7.4 Métricas]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX031]

Resultados de aprendizaje

Usted podrá (1) elaborar un inventario de sistemas de IA con niveles de riesgo; (2) integrar los controles de IA en los procesos de seguridad existentes (cambios, accesos, proveedores, incidentes); (3) definir roles y la rendición de cuentas; (4) fijar métricas para toda la organización; y (5) planificar la hoja de ruta de un programa.

7.1 Inventario y niveles

No se puede proteger lo que no se conoce. Un inventario recoge cada sistema de IA, su responsable, su finalidad, el origen del modelo, los datos, las herramientas, los usuarios, las partes afectadas y el nivel de riesgo. Asigne el nivel según la consecuencia: ¿cuál es el peor daño plausible y a cuántas personas alcanza? Los agentes con herramientas de escritura y los sistemas que afectan a derechos se sitúan en lo más alto. La IA en la sombra —el personal que pega datos en chatbots públicos— pertenece al inventario como un uso, aunque no se haya construido ningún sistema.

"""Lab V: an AI system inventory scored for review priority (synthetic).
Each system lists exposure, autonomy, data sensitivity and whether it reads
untrusted content; mapping to OWASP LLM Top 10 (2025) IDs is illustrative."""
import json
inv = json.loads("""[
 {"name":"support-chatbot","exposure":"public","autonomy":"tools","data":"customer","untrusted_input":true},
 {"name":"invoice-ocr-model","exposure":"internal","autonomy":"none","data":"financial","untrusted_input":true},
 {"name":"code-assistant","exposure":"internal","autonomy":"suggest","data":"source","untrusted_input":true},
 {"name":"churn-predictor","exposure":"internal","autonomy":"none","data":"customer","untrusted_input":false},
 {"name":"hr-cv-screener","exposure":"internal","autonomy":"decide","data":"personal","untrusted_input":true}
]""")
E = {"public": 3, "internal": 1}; A = {"none": 0, "suggest": 1, "tools": 3, "decide": 3}
D = {"customer": 2, "financial": 2, "source": 2, "personal": 3}
for s in inv:
    s["score"] = E[s["exposure"]] + A[s["autonomy"]] + D[s["data"]] + (2 if s["untrusted_input"] else 0)
    risks = []
    if s["untrusted_input"]: risks.append("LLM01")
    if s["autonomy"] in ("tools", "decide"): risks.append("LLM06")
    if s["data"] in ("customer", "personal"): risks.append("LLM02")
    s["owasp"] = ",".join(risks) or "-"
for s in sorted(inv, key=lambda s: -s["score"]):
    print(f"{s['name']:18s} score={s['score']:2d} owasp={s['owasp']}")

Salida esperada:

support-chatbot    score=10 owasp=LLM01,LLM06,LLM02
hr-cv-screener     score= 9 owasp=LLM01,LLM06,LLM02
code-assistant     score= 6 owasp=LLM01
invoice-ocr-model  score= 5 owasp=LLM01
churn-predictor    score= 3 owasp=LLM02

El inventario de Amira en el ejemplo resuelto que sigue encontró 23 usos de IA.

7.2 Reutilizar los procesos existentes

La gestión de cambios abarca los cambios del modelo, del prompt y del índice de recuperación además del código. La gestión de accesos abarca las identidades que usan los agentes. La gestión de proveedores pregunta a los proveedores de modelos y de API por el uso de los datos, la conservación, las pruebas de seguridad y la notificación de incidentes. La respuesta a incidentes añade manuales de actuación para la inyección de prompts, la fuga de datos a través de un modelo y los datos envenenados, incluida la reversión de modelos y prompts. La integración es mejor que un «proceso de IA» aparte que los equipos pueden ignorar.

En Corvane, Amira añadió «cambio de prompt o de modelo» a la lista de comprobación del comité de cambios y preguntas sobre IA al cuestionario de proveedores, en lugar de crear un proceso aparte.

7.3 Roles

Asigne: un responsable del sistema que rinda cuentas de cada sistema de IA; una función de seguridad de la IA que fije normas y realice pruebas; responsables de datos que aprueben su uso; y un comité de riesgos que acepte el riesgo residual en los niveles altos. La norma ISO/IEC 42001 espera que esos roles estén definidos y dotados de recursos. En Corvane, el equipo de Amira es la función de seguridad de la IA, el director financiero aceptó el riesgo residual de FraudScore y cada sistema construido tiene un responsable designado. Escriba los roles en el inventario para que cada entrada muestre quién rinde cuentas, y revíselos cuando las personas cambien de puesto.

7.4 Métricas

Métricas útiles para la organización: porcentaje de sistemas de IA inventariados y con nivel asignado; sistemas de nivel alto con una evaluación adversaria vigente; tiempo para revertir un modelo o un prompt; incidentes y casi incidentes relacionados con la IA; porcentaje de herramientas de agentes con aplicación externa de controles. Evite métricas de vanidad como el «número de prompts filtrados». En Corvane, la hoja de ruta del primer año mide la proporción de sistemas de nivel alto evaluados en seis meses. Comunique cada métrica con su tendencia e indique cuáles están por debajo del objetivo y por qué, para que la junta vea dónde hace falta esfuerzo.

7.5 Ejemplo resuelto (caso sintético de Corvane)

El inventario de Amira encuentra 23 usos de IA: 3 sistemas construidos, 11 funciones de proveedores activadas en productos SaaS y 9 usos en la sombra. Dos funciones de proveedores —un asistente de correo con acceso al buzón y un resumidor del CRM— nunca se habían revisado. Les asigna nivel, añade preguntas sobre IA al cuestionario de proveedores, añade «cambio de prompt o de modelo» a la lista de comprobación del comité de cambios y redacta un manual de actuación para la inyección. Su hoja de ruta del primer año tiene como objetivo evaluar todos los sistemas de nivel alto en seis meses.

Un inventario limitado a los sistemas construidos habría pasado por alto las dos funciones de proveedores sin revisar.

7.6 Errores y límites

Cada error deja riesgos sin ver o sin gestionar. Un inventario limitado a los sistemas construidos habría pasado por alto las 11 funciones de proveedores y los 9 usos en la sombra de Corvane. Un proceso de IA paralelo es fácil de ignorar para los equipos; añadir preguntas a las listas de comprobación existentes sí llega a ellos. Contar actividad, como los prompts filtrados, no dice nada sobre si el riesgo bajó; mida, en su lugar, la proporción de sistemas de nivel alto con una evaluación adversarial vigente. Revise su programa en busca de los tres.

Ejercicios

Síntesis

La integración organizativa consiste en conocer cada uso de la IA, incorporar la IA a procesos que las personas ya siguen, asignar la rendición de cuentas y medir la reducción del riesgo.

Siga estudiando — capítulo 07 de 12

← Capítulo 06 (borrador) · Índice de capítulos del curso · Capítulo 08 (borrador) →