◇ OpenCyber Academy
Tecnólogo · Capítulo 13 · Español

Capítulo 13 — Seguridad de la IA y del aprendizaje automático: escenarios de riesgo

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Capítulo 13 — Seguridad de la IA y del aprendizaje automático: escenarios de riesgo

Mapa de la lección

Lección 13 publicada. Mapa, ejemplo, EX037.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["13.1 Formato de los escenarios"]
  N2["13.2 Probabilidad e impacto"]
  N3["13.3 Priorización"]
  N4["13.4 Vinculación con controles y pruebas"]
  N5["13.4b Fuentes de escenarios"]
  N6["13.7 Revisión de los escenarios a lo largo del tiemp"]
  N7["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX037"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["13.1 Formato de los escenarios"]
  N2["13.2 Probabilidad e impacto"]
  N3["13.3 Priorización"]
  N4["13.4 Vinculación con controles y pruebas"]
  N5["13.4b Fuentes de escenarios"]
  N6["13.7 Revisión de los escenarios a lo largo del tiemp"]
  N7["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX037"]

[Resultados de aprendizaje]
    |
    v
[13.1 Formato de los escenarios]
    |
    v
[13.2 Probabilidad e impacto]
    |
    v
[13.3 Priorización]
    |
    v
[13.4 Vinculación con controles y pruebas]
    |
    v
[13.4b Fuentes de escenarios]
    |
    v
[13.7 Revisión de los escenarios a lo largo del tiemp]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX037]

Resultados de aprendizaje

Usted podrá (1) redactar escenarios de riesgo concretos para sistemas de IA; (2) estimar la probabilidad y el impacto; (3) priorizar los escenarios; y (4) vincular cada uno con controles y pruebas.

13.1 Formato de los escenarios

Un escenario nombra: actor, punto de entrada, técnica, activo afectado, efecto y controles existentes. Ejemplo: «Un defraudador (actor) publica una reseña de un producto (entrada) que contiene instrucciones (inyección indirecta de prompts) que hacen que Ask Brightwell (activo) inicie reembolsos completos sin devolución del artículo (efecto); controles actuales: ninguno en la herramienta de devoluciones». Los escenarios concretos se pueden probar; los vagos («la IA podría ser hackeada») no. Los seis escenarios de Brightwell que redacta Jonas siguen este formato, y por eso cada uno pudo vincularse más tarde con una prueba en preproducción. Cada escenario de Brightwell nombra además su control existente, o indica que no hay ninguno.

13.2 Probabilidad e impacto

Probabilidad: lo fácil que es, lo motivados que están los atacantes y si ha ocurrido en otros lugares (los casos de estudio de MITRE ATLAS ayudan). Impacto: dinero, personas afectadas, exposición legal y reputación. Use escalas sencillas (1–5) y anote las razones. En Ask Brightwell, el fraude de reembolsos mediante una reseña inyectada obtuvo una probabilidad de 4 porque escribir una reseña solo requiere una cuenta y la técnica está publicada, y un impacto de 4 porque los reembolsos cuestan dinero directamente. La consulta entre clientes distintos obtuvo un impacto de 4 por los datos personales. Anotar estas razones permite que otros cuestionen la puntuación. Cuando se añadió la herramienta de devoluciones, las razones escritas mostraron exactamente qué parte de la puntuación del fraude de reembolsos había que volver a valorar.

13.3 Priorización

Ordene por impacto × probabilidad y ajuste después según la detectabilidad y la reversibilidad: un daño que usted notará y podrá deshacer con rapidez se sitúa por debajo de uno silencioso y permanente. La evasión de ReturnGuard mediante la división de devoluciones quedó más abajo en parte porque aparece en los informes semanales y puede revertirse recuperando los reembolsos. El fraude de reembolsos mediante reseñas inyectadas quedó más arriba porque podía producirse en silencio y el dinero es difícil de recuperar una vez pagado. La detectabilidad y la reversibilidad alteraron la clasificación más que las puntuaciones brutas.

13.4 Vinculación con controles y pruebas

Para cada escenario de alta prioridad, enumere el control que lo acota y la prueba que demuestra que el control funciona. Así el registro de riesgos se convierte en una cartera de trabajo de ingeniería. El escenario principal de Brightwell, el fraude de reembolsos mediante una reseña inyectada, se vincula con el servicio de políticas como control y con el conjunto reservado de inyecciones como prueba. La consulta entre clientes distintos se vincula con la comprobación de propiedad y su prueba unitaria entre usuarios. Cuando una prueba falla, el escenario muestra qué riesgo se ha reabierto. Cada vínculo escenario-control-prueba es una fila del registro de riesgos.

13.4b Fuentes de escenarios

Extraiga escenarios de las entradas del OWASP LLM Top 10, de las técnicas y los casos de estudio de MITRE ATLAS, de incidentes pasados de su organización y de los caminos de contaminación del diagrama de flujo de datos. Pregunte a quienes operan el sistema qué les preocupa: el personal de atención al cliente suele conocer los patrones de abuso antes que seguridad. Revise los escenarios después de cada incidente y de cada cambio importante. Los escenarios de Brightwell procedían de varias de estas fuentes: OWASP LLM01 para la reseña inyectada, el camino de contaminación del DFD para la herramienta de devoluciones y el personal de atención al cliente, que mencionó la división de devoluciones como un truco de fraude conocido.

13.5 Ejemplo resuelto (caso sintético de Brightwell)

Jonas redacta seis escenarios. Los tres primeros: fraude de reembolsos mediante una reseña inyectada (impacto 4, probabilidad 4); consulta de pedidos entre clientes distintos (impacto 4, probabilidad 3, ya corregida y probada); ataque de coste mediante avalancha de tokens (impacto 3, probabilidad 3). Más abajo: evasión de ReturnGuard mediante la división de devoluciones (impacto 2, probabilidad 3), detectable en los informes semanales. La consulta entre clientes distintos ocupa un lugar alto por su impacto, pero su prueba ya se supera, así que la atención se dirige al fraude de reembolsos. La división de devoluciones queda más abajo en parte porque los informes semanales la mostrarían, lo que sigue la regla de situar los daños silenciosos por encima de los visibles. Cada puntuación tiene una razón escrita en el registro.

13.6 Errores y límites

Los seis escenarios de Jonas evitan estos errores: cada uno nombra un actor, un punto de entrada y un efecto, cada puntuación tiene una razón escrita y los tres primeros se vinculan con un control y una prueba. Un escenario que no puede probarse no puede indicar a nadie cuándo ha bajado el riesgo. La revisión trimestral comprueba estas tres propiedades en cada escenario que sigue abierto. Cada propiedad es una sola columna del registro de escenarios de Brightwell, de modo que cualquier carencia es visible para quien lo lea.

13.7 Revisión de los escenarios a lo largo del tiempo

Brightwell revisa sus escenarios de riesgo de IA cada trimestre y después de cualquier incidente. Un escenario cuya probabilidad ha cambiado (por ejemplo, porque Ask Brightwell incorporó una nueva herramienta para emitir reembolsos) se vuelve a valorar, y sus pruebas vinculadas se actualizan en la misma revisión. Esa misma revisión comprueba que el conjunto reservado sigue conteniendo casos para el camino de los reembolsos y añade otros nuevos si cambiaron los parámetros de la herramienta. Los resultados se envían al responsable del escenario de fraude de reembolsos, que decide si la nueva valoración cambia el plan de lanzamiento.

Ejercicios

Síntesis

Los escenarios concretos y puntuados, vinculados con controles y pruebas, convierten el riesgo de la IA en trabajo de ingeniería.

Siga estudiando — capítulo 13 de 30

← Capítulo 12 (borrador) · Índice de capítulos del curso · Capítulo 14 (borrador) →