Capítulo 35 — Propuesta del proyecto final
Mapa de la lección
Lección 35 publicada. Mapa, ejemplo, EX103.
flowchart TD
N0["Resultados de aprendizaje"]
N1["35.1 Elección del proyecto final"]
N2["35.2 Contenido de la propuesta"]
N3["35.3 Ética y autorización"]
N4["35.4 El inventario como punto de partida"]
N5["35.4b Acuerdo con el supervisor"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Ejemplo resuelto"]
EX --> Q["Ejercicio EX103"]
Dibujo lógico
flowchart LR
N0["Resultados de aprendizaje"]
N1["35.1 Elección del proyecto final"]
N2["35.2 Contenido de la propuesta"]
N3["35.3 Ética y autorización"]
N4["35.4 El inventario como punto de partida"]
N5["35.4b Acuerdo con el supervisor"]
N6["Síntesis"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX103"]
[Resultados de aprendizaje]
|
v
[35.1 Elección del proyecto final]
|
v
[35.2 Contenido de la propuesta]
|
v
[35.3 Ética y autorización]
|
v
[35.4 El inventario como punto de partida]
|
v
[35.4b Acuerdo con el supervisor]
|
v
[Síntesis]
|
v
[Ejemplo resuelto] --> [Ejercicio EX103]
Resultados de aprendizaje
Usted podrá (1) proponer un proyecto final de seguridad de la IA con un problema, unos objetivos y unos entregables claros; (2) definir los requisitos, los métodos y la evaluación; (3) planificar la ética, la autorización y el tratamiento de los datos; y (4) elaborar un calendario realista con sus riesgos.
35.1 Elección del proyecto final
Los buenos proyectos finales resuelven un problema concreto con un componente de seguridad de la IA, producen un artefacto que funciona y evidencia, y pueden terminarse en dos semestres. Opciones: un chatbot de recuperación protegido con aplicación de políticas y un banco de evaluación; una canalización de detección de envenenamiento; una herramienta de inventario de IA y evaluación de riesgos para una organización pequeña; un servicio de monitorización del abuso de las API de modelos. Rina eligió la primera opción porque LCH tenía un flujo de reservas real que modelar y ella ya había estudiado sus debilidades, así que el modelo de amenazas estaba listo.
35.2 Contenido de la propuesta
Problema y partes interesadas; objetivos; alcance y exclusiones; requisitos con sus métodos de verificación; método y arquitectura; plan de evaluación con métricas, conjuntos de prueba y criterios de aceptación; ética y autorización; gestión de datos; calendario con hitos; riesgos y mitigaciones; entregables previstos. Cada parte responde a una pregunta que planteará el supervisor. El alcance y las exclusiones dicen lo que no se hará, para que nadie espere un canal de voz. Los requisitos con sus métodos de verificación muestran cómo se juzgará el éxito. La parte de ética indica que todos los datos de pacientes son sintéticos. El calendario deja margen para una segunda ronda de pruebas, ya que la primera ronda suele encontrar problemas que hay que corregir.
35.3 Ética y autorización
Indique qué sistemas y datos usará y bajo la autoridad de quién. Prefiera los datos sintéticos y los entornos aislados. Si trabaja con una organización real, obtenga una autorización por escrito y acuerde el tratamiento de los datos. La propuesta de Rina designaba al responsable de seguridad de LCH como la persona que autorizaba el acceso a preproducción, adjuntaba el alcance firmado e indicaba que ningún dato real de pacientes saldría de LCH. La oficina de ética de su universidad revisó el plan porque los evaluadores independientes eran compañeros de clase, y confirmó que no necesitaba más aprobaciones, ya que no se recogían datos de participantes humanos más allá de sus casos de prueba.
35.4 El inventario como punto de partida
Muchos proyectos finales empiezan por comprender el panorama de IA de una organización. El laboratorio de inventario puntúa los sistemas según la exposición, la autonomía, la sensibilidad de los datos y las entradas no confiables, y sugiere dónde centrarse.
"""Lab V: an AI system inventory scored for review priority (synthetic).
Each system lists exposure, autonomy, data sensitivity and whether it reads
untrusted content; mapping to OWASP LLM Top 10 (2025) IDs is illustrative."""
import json
inv = json.loads("""[
{"name":"support-chatbot","exposure":"public","autonomy":"tools","data":"customer","untrusted_input":true},
{"name":"invoice-ocr-model","exposure":"internal","autonomy":"none","data":"financial","untrusted_input":true},
{"name":"code-assistant","exposure":"internal","autonomy":"suggest","data":"source","untrusted_input":true},
{"name":"churn-predictor","exposure":"internal","autonomy":"none","data":"customer","untrusted_input":false},
{"name":"hr-cv-screener","exposure":"internal","autonomy":"decide","data":"personal","untrusted_input":true}
]""")
E = {"public": 3, "internal": 1}; A = {"none": 0, "suggest": 1, "tools": 3, "decide": 3}
D = {"customer": 2, "financial": 2, "source": 2, "personal": 3}
for s in inv:
s["score"] = E[s["exposure"]] + A[s["autonomy"]] + D[s["data"]] + (2 if s["untrusted_input"] else 0)
risks = []
if s["untrusted_input"]: risks.append("LLM01")
if s["autonomy"] in ("tools", "decide"): risks.append("LLM06")
if s["data"] in ("customer", "personal"): risks.append("LLM02")
s["owasp"] = ",".join(risks) or "-"
for s in sorted(inv, key=lambda s: -s["score"]):
print(f"{s['name']:18s} score={s['score']:2d} owasp={s['owasp']}")
Salida esperada:
support-chatbot score=10 owasp=LLM01,LLM06,LLM02
hr-cv-screener score= 9 owasp=LLM01,LLM06,LLM02
code-assistant score= 6 owasp=LLM01
invoice-ocr-model score= 5 owasp=LLM01
churn-predictor score= 3 owasp=LLM02
En el inventario sintético del laboratorio, el chatbot público de asistencia con herramientas obtiene 10 y el cribador de currículos que decide obtiene 9, así que ambos suben a lo más alto. El predictor de bajas de clientes, sin entradas no confiables, obtiene 3. Rina usó la misma puntuación para LCH: Ask Lumen quedó primero, seguido de DocSort y NoShow, lo que confirmó su elección de proyecto final.
35.4b Acuerdo con el supervisor
Acuerde la propuesta con su supervisor y, cuando proceda, con el cliente. Registre las decisiones y los cambios posteriores a la aprobación en un registro de cambios, para que la evaluación final compare lo que entregó con lo acordado. El registro de cambios de Rina recogía un cambio aprobado: excluir del alcance el canal de voz, ya que la copia de preproducción no tenía interfaz de voz. La entrada indicaba la fecha, el motivo y la aprobación del supervisor, de modo que el examinador vio después que el alcance más reducido se había acordado y no era la omisión silenciosa de algo difícil.
35.5 Ejemplo resuelto (caso sintético de LCH)
Rina propuso «Safe Booking Assistant»: una reimplementación del flujo de reservas de Ask Lumen con tokens delegados, un servicio de políticas, confirmación, comprobaciones de fundamentación y un banco de pruebas de equipo rojo, evaluada con 1000 conversaciones sintéticas. Exclusiones: canal de voz, idiomas distintos del inglés. Los criterios de aceptación incluían cero reservas para otro paciente (límite superior < 0,5 %) y reservas completadas ≥ 93 %. El umbral de reservas se fijó justo por debajo del 94 % alcanzado en el estudio anterior sobre la confirmación, así que el proyecto final tenía que mantener la usabilidad cerca de lo que LCH ya había aceptado. Se eligieron mil conversaciones porque, con cero fallos, dan un límite superior por debajo del objetivo del medio por ciento.
35.6 Errores y límites
- Proyectos finales sin criterios de aceptación medibles.
- Falta de autorización.
- Calendarios sin holgura.
Sin criterios de aceptación medibles, un proyecto final solo puede describir lo que se construyó, no si funciona. La falta de autorización puede acabar con un proyecto cuando la organización descubre pruebas que no aprobó. Los calendarios sin holgura fracasan cuando la primera evaluación encuentra problemas, como suele ocurrir; el plan de Rina dejaba tres semanas entre la primera ejecución completa de pruebas y la evaluación final precisamente por esa razón, y las usó todas.
Ejercicios
- EX103 — Partes de la propuesta. Enumere diez secciones de la propuesta. Rúbrica: 3 = diez; 2 = ocho; 1 = cinco; 0 = menos.
- EX104 — Lectura del laboratorio. ¿Qué sistema encabeza el inventario y qué impulsa su puntuación? Rúbrica: 3 = support-chatbot, 10: público, herramientas, datos de clientes, entradas no confiables; 2 = el nombre; 1 = vago; 0 = incorrecto.
- EX105 — Aceptación. Redacte dos criterios de aceptación para un proyecto final de monitorización de IA. Rúbrica: 3 = medibles, con umbrales y tamaños de muestra; 2 = uno; 1 = vago; 0 = nada.
Síntesis
Una propuesta de proyecto final convierte una idea de seguridad de la IA en un plan autorizado y medible, con un alcance y unos criterios de aceptación claros.
Siga estudiando — capítulo 35 de 40
← Capítulo 34 (borrador) · Índice de capítulos del curso · Capítulo 36 (borrador) →