Capítulo 12 — Revisión final y transferencia | Posgrado Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 12 publicada. Mapa, ejemplo, EX056.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["12.1 Principios que conservar"]
  N2["12.2 Transferencia a nuevas tecnologías"]
  N3["12.3 Plan de práctica personal"]
  N4["12.4 Orientación"]
  N5["12.5 Comprobación de la preparación"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX056"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["12.1 Principios que conservar"]
  N2["12.2 Transferencia a nuevas tecnologías"]
  N3["12.3 Plan de práctica personal"]
  N4["12.4 Orientación"]
  N5["12.5 Comprobación de la preparación"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX056"]

[Resultados de aprendizaje]
    |
    v
[12.1 Principios que conservar]
    |
    v
[12.2 Transferencia a nuevas tecnologías]
    |
    v
[12.3 Plan de práctica personal]
    |
    v
[12.4 Orientación]
    |
    v
[12.5 Comprobación de la preparación]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX056]

Resultados de aprendizaje

Usted podrá (1) repasar los principios fundamentales del curso; (2) transferirlos a nuevas tecnologías de IA; (3) elaborar un plan de práctica personal; (4) orientar a otras personas; y (5) evaluar su propia preparación para liderar.

12.1 Principios que conservar

Decida entre opciones con una incertidumbre explícita. Relacione cada sistema con las taxonomías y después con sus propios datos, herramientas y personas afectadas. Suponga que los modelos pueden ser dirigidos; aplique las consecuencias fuera de ellos. Evalúe de forma adaptativa, mida los efectos y comunique intervalos. Integre la IA en los procesos existentes. Asegure las afirmaciones con evidencia fechada y manténgalas vigentes. Lea la investigación por su modelo de amenaza. Cada principio aparece en el trabajo de Corvane: el registro de la decisión sobre los reembolsos, la correspondencia del copiloto, el servicio de políticas y el caso de aseguramiento fechado. Úselos como lista de comprobación para el trabajo nuevo.

12.2 Transferencia a nuevas tecnologías

Seguirán llegando nuevas capacidades: agentes de uso del ordenador, entradas multimodales, modelos en el dispositivo, protocolos entre modelos. Plantee las mismas preguntas: ¿qué entrada no fiable llega al modelo? ¿Qué puede hacer? ¿Qué aplica los límites fuera de él? ¿Qué evidencia muestra que los límites se mantienen? Las entradas multimodales, por ejemplo, amplían el canal de inyección a las imágenes y el audio; el principio de separar el contenido no fiable de la autoridad sigue aplicándose. El agente de uso del ordenador de Amira, en el ejemplo resuelto que sigue, muestra la transferencia: las páginas del portal son entradas no fiables y un proxy aplica las operaciones enumeradas.

12.3 Plan de práctica personal

Planifique el próximo año: un sistema que asegurará de principio a fin; una evaluación que automatizará; un artículo al mes; una contribución a la comunidad (un conjunto de pruebas, una charla, un comentario a un marco); y compromisos éticos: pruebas autorizadas, divulgación coordinada, comunicación honesta. Haga que cada elemento sea medible y tenga una fecha. Por ejemplo, un sistema asegurado de principio a fin podría ser un sistema de nivel alto de su organización con un caso de aseguramiento fechado y una evaluación que se vuelve a ejecutar automáticamente. Revise el plan con un colega cada trimestre.

12.4 Orientación

Enseñe a los más nuevos a preguntar «¿qué puede hacer?» antes que «¿qué puede decir?». Revise sus evaluaciones en busca de casos adaptativos e intervalos. Comparta los registros de decisión para que vean el razonamiento y no solo los resultados.

"""Lab B: base rates and alarm precision (Bayes' rule).
A detector for malicious prompts with given true- and false-positive rates
is applied to traffic with different shares of malicious prompts."""
for tpr, fpr in ((0.95, 0.05), (0.95, 0.01), (0.80, 0.001)):
    for prev in (0.10, 0.01, 0.001):
        tp = tpr * prev; fp = fpr * (1 - prev)
        prec = tp / (tp + fp)
        per_10k = round(10000 * (tp + fp))
        print(f"tpr={tpr:.2f} fpr={fpr:.3f} prevalence={prev:.3f} precision={prec:.3f} alerts_per_10k={per_10k}")

Salida esperada:

tpr=0.95 fpr=0.050 prevalence=0.100 precision=0.679 alerts_per_10k=1400
tpr=0.95 fpr=0.050 prevalence=0.010 precision=0.161 alerts_per_10k=590
tpr=0.95 fpr=0.050 prevalence=0.001 precision=0.019 alerts_per_10k=509
tpr=0.95 fpr=0.010 prevalence=0.100 precision=0.913 alerts_per_10k=1040
tpr=0.95 fpr=0.010 prevalence=0.010 precision=0.490 alerts_per_10k=194
tpr=0.95 fpr=0.010 prevalence=0.001 precision=0.087 alerts_per_10k=109
tpr=0.80 fpr=0.001 prevalence=0.100 precision=0.989 alerts_per_10k=809
tpr=0.80 fpr=0.001 prevalence=0.010 precision=0.890 alerts_per_10k=90
tpr=0.80 fpr=0.001 prevalence=0.001 precision=0.445 alerts_per_10k=18

En Corvane, las prácticas de Tomás ilustran la idea: aprendió de los registros de decisión y las revisiones de Amira y después escribió su propio banco de evaluación y su manual de actuación. Pida a los más nuevos que expliquen su razonamiento antes de dar el suyo y revise su trabajo con los mismos principios que aplica al propio. Déjeles cometer pequeños errores en entornos seguros.

12.5 Comprobación de la preparación

¿Puede redactar un registro de decisión sobre el que un consejo pueda actuar? ¿Puede diseñar una evaluación que cambie una decisión? ¿Puede explicar por qué un detector con un 95 % de exactitud puede producir sobre todo falsas alarmas (el laboratorio: con una prevalencia del 0,1 %, la precisión es del 1,9 %)? ¿Puede guiar una decisión disputada sin ocultar la incertidumbre? Responda a cada pregunta con un ejemplo de su propio trabajo, como un registro de decisión o una evaluación, y pida a un colega que juzgue si convencería a un consejo. Donde no pueda, planifique cómo desarrollar esa capacidad este año.

12.6 Ejemplo resuelto (caso sintético de Corvane)

Un año después, Corvane planea un agente de uso del ordenador para manejar un portal heredado de un transportista. Amira aplica las mismas preguntas: las páginas del portal son entradas no fiables; los clics del agente son acciones; la aplicación de los límites debe residir en un proxy que solo permita las operaciones enumeradas con las credenciales del usuario; la evaluación necesita páginas adaptativas con instrucciones ocultas. Su registro de decisión propone primero un piloto de tres meses con operaciones de solo lectura.

La propuesta sigue el mismo razonamiento que las decisiones sobre los reembolsos y la reprogramación. La evaluación y la aplicación de los límites se planifican antes de permitir cualquier operación de escritura.

12.7 Errores y límites

Tratar cada nueva tecnología como si necesitara principios nuevos.
Planes sin compromisos medibles.
Una orientación que transmite respuestas en lugar de razonamiento.

Cada error debilita la transferencia. Las nuevas tecnologías requieren las mismas preguntas sobre las entradas no fiables y la aplicación de los límites; inventar principios nuevos cada vez hace perder lo aprendido. Un plan sin compromisos medibles se abandona con facilidad; ponga una fecha a cada elemento y revise el plan con un colega cada trimestre. Una orientación que entrega respuestas deja a los más nuevos incapaces de razonar sobre el siguiente sistema. Revise su plan de práctica en busca de los tres.

Ejercicios

EX056 — Principios. Enuncie los cinco principios que enseñaría primero, con una frase cada uno. Rúbrica: 3 = cinco pertinentes; 2 = cuatro; 1 = dos; 0 = ninguno.
EX057 — Transferencia. Aplique las cuatro preguntas a un asistente de voz que puede hacer pedidos. Rúbrica: 3 = las cuatro respondidas de forma concreta; 2 = tres; 1 = una o dos; 0 = ninguna.
EX058 — Tasa base. Usando el laboratorio, explique la carga de alertas de un detector con un 1 % de falsos positivos y una prevalencia del 1 %. Rúbrica: 3 = precisión 0,49, 194 alertas por cada 10 000, implicación; 2 = solo las cifras; 1 = una; 0 = incorrecto.
EX059 — Plan de práctica. Redacte su plan para un año. Rúbrica: 3 = cinco elementos medibles, incluida la ética; 2 = cuatro; 1 = dos; 0 = nada.
EX060 — Piloto. Justifique empezar con solo lectura para el agente de uso del ordenador. Rúbrica: 3 = reversibilidad, obtención de evidencia, daño acotado, desencadenantes; 2 = tres; 1 = uno; 0 = nada.

Síntesis

Los principios de este curso se transfieren a nuevas tecnologías de IA porque se refieren a la autoridad, la evidencia y la rendición de cuentas, y no a un modelo concreto. Siga practicándolos, enseñándolos y revisándolos.

Siga estudiando — capítulo 12 de 12

← Capítulo 11 (borrador) · Índice de capítulos del curso · Resultados resueltos ↓ · Siguiente curso a través del índice de capítulos →