Capítulo 43 — Práctica en la industria o en el servicio público | Ingeniería Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 43 publicada. Mapa, ejemplo, EX127.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["43.2 La gobernanza en la práctica"]
  N2["43.3 Solo trabajo autorizado"]
  N3["43.4 Práctica reflexiva"]
  N4["43.4b Trabajar con restricciones"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX127"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["43.2 La gobernanza en la práctica"]
  N2["43.3 Solo trabajo autorizado"]
  N3["43.4 Práctica reflexiva"]
  N4["43.4b Trabajar con restricciones"]
  N5["Síntesis del capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX127"]

[Resultados de aprendizaje]
    |
    v
[43.2 La gobernanza en la práctica]
    |
    v
[43.3 Solo trabajo autorizado]
    |
    v
[43.4 Práctica reflexiva]
    |
    v
[43.4b Trabajar con restricciones]
    |
    v
[Síntesis del capítulo]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX127]

Resultados de aprendizaje

Usted será capaz de (1) trabajar dentro de los procesos de gobernanza y seguridad de la IA de una organización; (2) contribuir bajo supervisión a tareas reales (autorizadas) de seguridad de la IA; (3) reflexionar sobre la práctica a partir de la evidencia; y (4) mantener la confidencialidad y la ética profesionales durante la estancia.

43.1 Objetivos de la estancia

Una estancia conecta el trabajo del curso con la realidad de la organización: presupuestos, plazos, sistemas heredados, compras y regulación. Acuerde los objetivos con la organización anfitriona y con la universidad: normalmente, un entregable (una evaluación, la implementación de un control, un conjunto de evaluación) más la participación en los procesos habituales. Un entregable da a la estancia un propósito claro y algo que la organización anfitriona puede seguir usando; participar en los procesos habituales, como los comités de cambios o las revisiones de incidentes, muestra cómo se toman realmente las decisiones. Los objetivos se ponen por escrito en la primera semana con el supervisor de la organización anfitriona y el tutor académico, de modo que los tres estén de acuerdo en qué es el éxito y a qué puede acceder el estudiante.

43.2 La gobernanza en la práctica

Las organizaciones que adoptan ISO/IEC 42001 o el NIST AI RMF tienen políticas de IA, inventarios, evaluaciones de riesgos y comités de aprobación. Aprenda cómo se propone, evalúa, aprueba y monitoriza un sistema de IA, quién da la conformidad y qué evidencia espera. Observar una aprobación real muestra cómo son los marcos en el uso diario. Un comité puede pedir una evaluación de riesgos, una ficha de modelo y un resumen de pruebas antes de aprobar un piloto, y datos de monitorización antes de aprobar el uso pleno. Los estudiantes aprenden qué evidencia leen quienes toman las decisiones y cuál se saltan, lo que influye en cómo redactan sus propios informes. También ven cuánto tarda la aprobación y planifican su trabajo en función de ello.

43.3 Solo trabajo autorizado

Todas las pruebas durante la estancia se rigen por una autorización escrita del propietario del sistema que especifica el alcance, los métodos y el periodo. Use entornos que no sean de producción siempre que sea posible. Comunique los hallazgos por los canales de la organización anfitriona; nunca los divulgue externamente sin permiso. Estar en una estancia no da permiso para probar cualquier cosa. La autorización escrita nombra los sistemas, los métodos y las fechas, y un estudiante que encuentra un sistema interesante fuera de ella pregunta antes de tocarlo. Los entornos que no son de producción protegen las operaciones de la organización anfitriona y al estudiante, ya que una caída accidental causada durante las pruebas puede poner fin a una estancia. Los hallazgos pertenecen a la organización anfitriona, que decide si se comparten y cómo.

43.4 Práctica reflexiva

Lleve un registro semanal: qué hizo, qué evidencia produjo, qué le sorprendió, qué haría de otra manera. La reflexión convierte la experiencia en una competencia transferible y se evalúa. Una entrada útil va más allá de «revisé el inventario». Anota lo que resultó difícil, por ejemplo que los responsables de negocio no sabían si sus herramientas de hoja de cálculo contaban como IA, y lo que el estudiante cambiaría la próxima vez, como preguntar explícitamente por los complementos. Releer las entradas al final muestra patrones que las semanas por separado ocultan, y aporta ejemplos concretos para entrevistas de trabajo y evaluaciones posteriores.

43.4b Trabajar con restricciones

Las organizaciones reales rara vez parten de un diseño limpio. Los sistemas heredados carecen de registros, los proveedores limitan las pruebas, los presupuestos son fijos y los plazos se mueven. Los buenos profesionales priorizan según el riesgo, proponen el control más pequeño que lo reduzca de forma significativa y documentan lo que queda pendiente. Una nota de riesgo breve y precisa entregada a tiempo suele valer más que una evaluación perfecta entregada después de la decisión. La estancia de Sam lo muestra. Las tres hojas de cálculo con complementos de ML no tenían registros ni un responsable registrado, así que el inventario las incluyó con una sensibilidad de los datos «desconocida» y una persona designada para confirmarla, en lugar de dejarlas fuera hasta poder evaluarlas por completo.

43.5 Ejemplo resuelto (caso sintético de NRS)

El objetivo de la estancia de Sam era elaborar el inventario de IA de NRS. Usando el laboratorio de inventario como plantilla de partida, Sam catalogó 14 sistemas de IA, incluidas tres hojas de cálculo con complementos de ML incrustados que nadie había registrado. El inventario puntuaba la exposición, la autonomía, la sensibilidad de los datos y la entrada no confiable; el piloto de cribado de currículos de RR. HH. obtuvo una puntuación alta y se envió a una evaluación más completa, en parte porque los sistemas de selección de personal pueden ser de alto riesgo según el Reglamento de IA de la UE.

"""Lab V: an AI system inventory scored for review priority (synthetic).
Each system lists exposure, autonomy, data sensitivity and whether it reads
untrusted content; mapping to OWASP LLM Top 10 (2025) IDs is illustrative."""
import json
inv = json.loads("""[
 {"name":"support-chatbot","exposure":"public","autonomy":"tools","data":"customer","untrusted_input":true},
 {"name":"invoice-ocr-model","exposure":"internal","autonomy":"none","data":"financial","untrusted_input":true},
 {"name":"code-assistant","exposure":"internal","autonomy":"suggest","data":"source","untrusted_input":true},
 {"name":"churn-predictor","exposure":"internal","autonomy":"none","data":"customer","untrusted_input":false},
 {"name":"hr-cv-screener","exposure":"internal","autonomy":"decide","data":"personal","untrusted_input":true}
]""")
E = {"public": 3, "internal": 1}; A = {"none": 0, "suggest": 1, "tools": 3, "decide": 3}
D = {"customer": 2, "financial": 2, "source": 2, "personal": 3}
for s in inv:
    s["score"] = E[s["exposure"]] + A[s["autonomy"]] + D[s["data"]] + (2 if s["untrusted_input"] else 0)
    risks = []
    if s["untrusted_input"]: risks.append("LLM01")
    if s["autonomy"] in ("tools", "decide"): risks.append("LLM06")
    if s["data"] in ("customer", "personal"): risks.append("LLM02")
    s["owasp"] = ",".join(risks) or "-"
for s in sorted(inv, key=lambda s: -s["score"]):
    print(f"{s['name']:18s} score={s['score']:2d} owasp={s['owasp']}")

Salida esperada:

support-chatbot    score=10 owasp=LLM01,LLM06,LLM02
hr-cv-screener     score= 9 owasp=LLM01,LLM06,LLM02
code-assistant     score= 6 owasp=LLM01
invoice-ocr-model  score= 5 owasp=LLM01
churn-predictor    score= 3 owasp=LLM02

La puntuación del laboratorio explica el resultado: la autonomía para decidir, los datos personales y los currículos no confiables sitúan al sistema de cribado cerca de la cabeza de la lista.

43.6 Errores y límites

Probar más allá del alcance escrito.
Entregables de la estancia que nadie mantendrá.
Registros de reflexión que solo enumeran tareas.

Probar más allá del alcance es lo más grave, porque las buenas intenciones no hacen que un acceso no autorizado sea lícito ni seguro. Los entregables que dependen de que el estudiante los mantenga dejan de funcionar cuando termina la estancia, así que el traspaso a un responsable designado forma parte del trabajo. Los registros que solo enumeran tareas pasan por alto el aprendizaje que busca la evaluación: qué cambió en la comprensión del estudiante y por qué cambió.

Ejercicios — capítulo 43

EX127 — Lectura del laboratorio. ¿Qué dos sistemas ocupan los primeros puestos en el laboratorio de inventario y por qué? Rúbrica: 3 = support-chatbot (10) y hr-cv-screener (9); público/herramientas/datos de clientes/entrada no confiable y decide/datos personales; 2 = solo los nombres; 1 = uno; 0 = incorrecto.
EX128 — IA en la sombra. ¿Por qué importan los complementos de ML no registrados? Rúbrica: 3 = riesgo no gestionado, sin evaluación, exposición de datos, lagunas de cumplimiento; 2 = parcial; 1 = vago; 0 = incorrecto.
EX129 — Reflexión. Redacte una entrada del registro reflexivo con evidencia y una lección. Rúbrica: 3 = actividad, evidencia, sorpresa, cambio; 2 = tres; 1 = solo una lista; 0 = nada.

Síntesis del capítulo

La práctica revela cómo funciona la seguridad de la IA dentro de las organizaciones: procesos de gobernanza, trabajo autorizado, restricciones reales y el hábito de la mejora reflexiva.

Siga estudiando — capítulo 43 de 50

← Capítulo 42 (borrador) · Índice de capítulos del curso · Capítulo 44 (borrador) →