Capítulo 4 — Riesgo y ética avanzados | Posgrado Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 04 publicada. Mapa, ejemplo, EX016.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["4.1 ¿El riesgo de quién?"]
  N2["4.2 El Reglamento de IA en la práctica"]
  N3["4.3 Ética de las pruebas y de la divulgación"]
  N4["4.4 Sistemas de gestión"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX016"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["4.1 ¿El riesgo de quién?"]
  N2["4.2 El Reglamento de IA en la práctica"]
  N3["4.3 Ética de las pruebas y de la divulgación"]
  N4["4.4 Sistemas de gestión"]
  N5["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX016"]

[Resultados de aprendizaje]
    |
    v
[4.1 ¿El riesgo de quién?]
    |
    v
[4.2 El Reglamento de IA en la práctica]
    |
    v
[4.3 Ética de las pruebas y de la divulgación]
    |
    v
[4.4 Sistemas de gestión]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX016]

Resultados de aprendizaje

Usted podrá (1) analizar el riesgo de seguridad de la IA para las personas afectadas, no solo para la organización; (2) aplicar los conceptos del Reglamento de IA de la UE sobre niveles de riesgo, supervisión humana (artículo 14) y precisión, solidez y ciberseguridad (artículo 15); (3) gestionar los conflictos éticos en las pruebas y la divulgación; (4) usar la norma ISO/IEC 42001 para integrar el trabajo de riesgos en la gestión; y (5) defender una decisión de aceptación del riesgo.

4.1 ¿El riesgo de quién?

Los registros de riesgos de la organización recogen las pérdidas para la organización. Los fallos de la IA suelen recaer en otros: un cliente rechazado por error, un trabajador cuyos datos se filtran, un conductor enviado a una dirección equivocada. NIST AI 100-1 pide a las organizaciones que consideren los impactos sobre las personas, los grupos, las organizaciones y la sociedad. Un especialista sénior debe enumerar las partes afectadas por cada riesgo y preguntarse si pueden advertir el daño, impugnarlo y recuperarse de él.

En Corvane, los retrasos de FraudScore recaen en los pequeños proveedores, no en Corvane. La entrada de riesgo de Amira para FraudScore los nombra y les ofrece una vía de recurso.

4.2 El Reglamento de IA en la práctica

El Reglamento (UE) 2024/1689 clasifica los sistemas de IA según su riesgo. Los sistemas de alto riesgo conllevan obligaciones que incluyen la gestión de riesgos, la gobernanza de los datos, el registro de actividad y la supervisión humana —el artículo 14 exige que las personas que supervisan el sistema puedan comprender sus límites, interpretar sus salidas e intervenir o detenerlo— y el artículo 15, que exige un nivel adecuado de precisión, solidez y ciberseguridad y nombra amenazas como el envenenamiento de datos, el envenenamiento de modelos, los ejemplos adversarios y los ataques a la confidencialidad. Que un sistema concreto sea de alto riesgo depende de su uso; determínelo con asesoría jurídica en lugar de suponerlo.

Para Corvane, si Dispatch Copilot o FraudScore son de alto riesgo es una cuestión para la asesoría jurídica.

4.3 Ética de las pruebas y de la divulgación

Las pruebas deben estar autorizadas y delimitadas; deben usarse datos sintéticos o con consentimiento; las pruebas en producción no deben perjudicar a los usuarios. Cuando encuentre una debilidad en el modelo de un proveedor, coordine la divulgación: informe al proveedor, acuerde un calendario y evite publicar exploits funcionales que pongan en peligro a otros. Cuando la presión interna empuje a ocultar un hallazgo, documéntelo y escálelo: suprimir la evidencia de un riesgo para otros es un fallo ético aunque ninguna norma lo mencione.

En Corvane, el informe de Amira sobre el filtro de inyección del proveedor se compartió con el proveedor antes de cualquier debate más amplio. Si una prueba pudiera afectar a clientes o transportistas reales, deténgase y use en su lugar una copia aislada, como hacen todas las pruebas de Corvane.

4.4 Sistemas de gestión

La norma ISO/IEC 42001 pide a las organizaciones que definan la política de IA, los roles, la evaluación y el tratamiento de riesgos, la evaluación de impacto y la mejora continua. Su valor para la seguridad es que el trabajo de riesgos pasa a ser recurrente y auditado en lugar de una revisión puntual. En Corvane, Amira usa el sistema de gestión para programar evaluaciones recurrentes de los sistemas de nivel alto y para registrar las aceptaciones de riesgo, como la aceptación del director financiero para FraudScore. La auditoría comprueba después que esos registros existen y están al día, lo que impide que el trabajo se diluya tras la primera revisión.

4.5 Ejemplo resuelto (caso sintético de Corvane)

FraudScore señala facturas de proveedores; los proveedores señalados esperan 30 días para cobrar. Amira descubre que los pequeños proveedores con una facturación irregular son señalados cuatro veces más a menudo que los grandes. Aunque bajen las pérdidas por fraude, el daño recae en pequeñas empresas que no pueden ver por qué se les retrasa el pago. Su entrada de riesgo los incluye como parte afectada; el tratamiento añade un código de motivo, una revisión humana en 5 días y un canal de recurso. Registra el riesgo residual y pide al director financiero que lo acepte por escrito.

4.6 Errores y límites

Registros que omiten a las personas afectadas.
Suponer la clasificación según el Reglamento de IA sin asesoramiento jurídico.
Probar con usuarios de producción sin su consentimiento.

Cada error deja daños sin gestionar. Un registro sin personas afectadas pasaría por alto a los pequeños proveedores de FraudScore, que soportan el retraso. Suponer la clasificación según el Reglamento de IA puede crear obligaciones que no se aplican u omitir otras que sí; consulte a la asesoría jurídica. Probar con usuarios de producción sin su consentimiento puede perjudicarlos e incumple la autorización que toda prueba necesita. Revise su registro y sus planes de prueba en busca de los tres.

Ejercicios

EX016 — Partes afectadas. Enumere las partes afectadas y los daños de los reembolsos de Dispatch Copilot. Rúbrica: 3 = al menos cuatro partes con daños y vías de recurso; 2 = tres; 1 = una o dos; 0 = ninguna.
EX017 — Artículo 14. Describa funciones de supervisión para FraudScore que cumplan la intención del artículo 14. Rúbrica: 3 = comprender los límites, interpretar, anular, detener; 2 = tres; 1 = una o dos; 0 = ninguna.
EX018 — Divulgación. Encuentra un jailbreak en el modelo de un proveedor. Esboce un plan de divulgación. Rúbrica: 3 = contacto con el proveedor, calendario, detalle limitado, mitigación interna; 2 = tres; 1 = uno; 0 = publicar de inmediato.
EX019 — Presión. Un responsable le pide que elimine un hallazgo de un informe. Responda. Rúbrica: 3 = documentado, escalado, explica el daño; 2 = parcial; 1 = accede con una nota; 0 = accede en silencio.
EX020 — Aceptación. Redacte una aceptación del riesgo residual de FraudScore. Rúbrica: 3 = riesgo, partes afectadas, tratamiento, responsable, fecha de revisión; 2 = cuatro; 1 = dos; 0 = nada.

Síntesis

El trabajo de riesgos avanzado cuenta los daños para todos los afectados, usa la ley y las normas como estructura y no como adorno, y trata las pruebas y la divulgación honestas como parte del trabajo.

Siga estudiando — capítulo 04 de 12

← Capítulo 03 (borrador) · Índice de capítulos del curso · Capítulo 05 (borrador) →