Capítulo 14 — Fundamentos de privacidad | Grado Seguridad de IA y aprendizaje automático

Aprendizaje gratuito y abierto para quienes desean proteger a las personas y la tecnología. No se necesita una cuenta para estudiar ni consultar las respuestas.

Mapa de la lección

Lección 14 publicada. Mapa, ejemplo, EX040.

flowchart TD
  N0["Resultados de aprendizaje"]
  N1["14.1 Principios"]
  N2["14.2 Ataques a la privacidad en el aprendizaje autom"]
  N3["14.3 Técnicas de mejora de la privacidad"]
  N4["14.4 Evaluación del riesgo para la privacidad"]
  N5["14.4b Instrucciones y registros"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Ejemplo resuelto"]
  EX --> Q["Ejercicio EX040"]

Dibujo lógico

flowchart LR
  N0["Resultados de aprendizaje"]
  N1["14.1 Principios"]
  N2["14.2 Ataques a la privacidad en el aprendizaje autom"]
  N3["14.3 Técnicas de mejora de la privacidad"]
  N4["14.4 Evaluación del riesgo para la privacidad"]
  N5["14.4b Instrucciones y registros"]
  N6["Síntesis"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX040"]

[Resultados de aprendizaje]
    |
    v
[14.1 Principios]
    |
    v
[14.2 Ataques a la privacidad en el aprendizaje autom]
    |
    v
[14.3 Técnicas de mejora de la privacidad]
    |
    v
[14.4 Evaluación del riesgo para la privacidad]
    |
    v
[14.4b Instrucciones y registros]
    |
    v
[Síntesis]
    |
    v
[Ejemplo resuelto] --> [Ejercicio EX040]

Resultados de aprendizaje

Usted podrá (1) explicar los principios de protección de datos y qué son los datos personales; (2) describir los ataques a la privacidad en el aprendizaje automático (inferencia de pertenencia, extracción de datos, inferencia de atributos); (3) aplicar técnicas de mejora de la privacidad; y (4) evaluar los riesgos para la privacidad de un sistema de IA.

14.1 Principios

Las leyes de protección de datos, como el RGPD de la UE, exigen una base jurídica, limitación de la finalidad, minimización de datos, exactitud, limitación del plazo de conservación, seguridad y responsabilidad proactiva. Los datos de salud son una categoría especial con normas más estrictas. Nota para el lector hispanohablante: en España, el RGPD se complementa con la Ley Orgánica 3/2018, de Protección de Datos Personales y garantía de los derechos digitales; en América Latina rige la ley de cada país, por ejemplo la Ley 25.326 en Argentina o la Ley 1581 de 2012 en Colombia. En Ask Lumen, la limitación de la finalidad significa que los registros de conversación conservados para la revisión de calidad no se reutilizan para entrenar modelos de marketing; la minimización significa que la instrucción incluye solo lo necesario para responder; la limitación del plazo de conservación significa que los registros se borran al terminar su periodo de conservación. Como los datos de salud son una categoría especial, la base jurídica y las salvaguardas de LCH se documentan en su evaluación de impacto antes de cualquier uso nuevo.

14.2 Ataques a la privacidad en el aprendizaje automático

La inferencia de pertenencia decide si un registro estaba en los datos de entrenamiento (Shokri et al., arXiv:1610.05820). La extracción de datos de entrenamiento recupera texto memorizado de modelos generativos (Carlini et al., arXiv:2012.07805). La inferencia de atributos adivina atributos sensibles a partir de las salidas del modelo. El sobreajuste aumenta estos riesgos; el laboratorio muestra la pertenencia que se filtra desde un modelo que memoriza y que se desvanece a medida que generaliza.

"""Lab M: membership inference against an overfit 1-nearest-neighbour 'model'
that returns a confidence score. Synthetic records only; teaching model."""
import random, math
rng = random.Random(5)
def rec(): 
    y = rng.random() < 0.5
    return [rng.gauss(0.6 if y else -0.6, 1.0) for _ in range(4)], int(y)
members = [rec() for _ in range(150)]; nonmembers = [rec() for _ in range(150)]
def confidence(x, y, k):
    # k-NN vote share for the true label, computed over the training set
    d = sorted((sum((a-b)**2 for a, b in zip(x, m)), my) for m, my in members)
    return sum(1 for _, my in d[:k] if my == y)/k
def auc(pos, neg):
    s = sum((p > n) + 0.5*(p == n) for p in pos for n in neg)
    return s/(len(pos)*len(neg))
for k in (1, 5, 25):
    pos = [confidence(x, y, k) for x, y in members]
    neg = [confidence(x, y, k) for x, y in nonmembers]
    best = max(sum(p >= t for p in pos)/len(pos) - sum(n >= t for n in neg)/len(neg)
               for t in sorted(set(pos + neg)))
    print(f"k={k:2d} attack_auc={auc(pos, neg):.3f} best_advantage={best:.3f}")

Salida esperada:

k= 1 attack_auc=0.600 best_advantage=0.200
k= 5 attack_auc=0.521 best_advantage=0.073
k=25 attack_auc=0.520 best_advantage=0.060

El Laboratorio M hace medible el efecto: con k igual a 1, el ataque alcanza un AUC de 0,600, mientras que con k igual a 25 baja a 0,520, cerca del azar. Promediar sobre más vecinos, como hace un modelo que generaliza, reduce lo que la salida revela sobre pacientes concretos.

14.3 Técnicas de mejora de la privacidad

Minimice y seudonimice los datos; elimine duplicados de los registros de entrenamiento; limite el detalle de las salidas (etiquetas en lugar de confianzas); aplique privacidad diferencial durante el entrenamiento (Abadi et al., arXiv:1607.00133); controle quién puede consultar los modelos; y nunca ponga datos personales en las instrucciones sin necesidad. Cada técnica ataca una parte del riesgo. La eliminación de duplicados quita los registros repetidos que los modelos tienden a memorizar. Devolver etiquetas en lugar de confianzas elimina la señal que usa el ataque del Laboratorio M. La privacidad diferencial acota cuánto puede influir un solo registro en el modelo entrenado, a costa de algo de exactitud. Los controles de consulta limitan quién puede siquiera sondear el modelo. El cambio de NoShow en LCH usó cuatro de ellas juntas.

14.4 Evaluación del riesgo para la privacidad

Pregunte: ¿qué datos personales entran en el entrenamiento, la recuperación, las instrucciones y los registros? ¿Quién puede consultar el modelo y qué revelan las salidas? ¿Qué pasa si se filtran los registros? Una evaluación de impacto relativa a la protección de datos documenta las respuestas y los controles. En NoShow, las respuestas mostraron que entraban datos personales en el entrenamiento, que cualquier miembro del personal podía consultar cualquier identificador de paciente y que las salidas daban probabilidades precisas. Cada hallazgo llevó a un control: consultas restringidas, salidas por categorías y atributos minimizados. La evaluación se actualiza cuando cambia el sistema; no se archiva una vez y se olvida.

14.4b Instrucciones y registros

Si el personal pega datos de pacientes en un asistente de IA, esos datos pueden quedar almacenados por el proveedor o aparecer en los registros. Configure la conservación y la exclusión del entrenamiento cuando el proveedor las ofrezca, censure los identificadores antes de enviar cuando sea posible y forme al personal sobre lo que puede compartirse. La censura puede automatizarse para identificadores estructurados como los números de paciente, pero el texto libre requiere cuidado: un paciente puede escribir un diagnóstico o el nombre de un familiar en cualquier parte de un mensaje.

14.5 Ejemplo resuelto (caso sintético de LCH)

La API de NoShow devolvía una probabilidad precisa para cualquier identificador de paciente. Rina mostró con datos sintéticos que la confianza difería entre los pacientes del conjunto de entrenamiento y los pacientes nuevos, lo que permitía la inferencia de pertenencia («¿fue atendida esta persona en LCH el año pasado?»). LCH cambió la API para que devolviera solo una categoría de recordatorio al personal autorizado y volvió a entrenar con atributos minimizados y sin duplicados. Devolver una categoría en lugar de una probabilidad eliminó la mayor parte de la señal, y limitar el acceso al personal autorizado redujo quién podía siquiera hacer la pregunta.

14.6 Errores y límites

Tratar los modelos como si no contuvieran datos personales.
Salidas de confianza detalladas para públicos amplios.
Registros llenos de datos personales sin límite de conservación.

Los modelos entrenados con historiales de pacientes llevan información sobre esos historiales, como muestra la inferencia de pertenencia. Las puntuaciones de confianza detalladas para públicos amplios dan a los atacantes la señal que necesitan. Los registros llenos de datos personales sin límite de conservación se convierten en un almacén de información sensible que crece cada día. Los cambios de LCH en NoShow y sus reglas de conservación de registros abordan los tres, y la evaluación de impacto registra por qué.

Ejercicios

EX040 — Lectura del laboratorio. ¿Qué AUC y qué ventaja informa el laboratorio con k = 1, y qué significa? Rúbrica: 3 = 0,600 y 0,200; la memorización filtra la pertenencia; 2 = los números; 1 = vago; 0 = incorrecto.
EX041 — Pertenencia sensible. ¿Por qué es sensible la pertenencia a los datos de entrenamiento de NoShow? Rúbrica: 3 = revela que una persona fue paciente (información de salud); 2 = parcial; 1 = vago; 0 = incorrecto.
EX042 — Técnicas. Enumere cuatro técnicas de mejora de la privacidad para NoShow. Rúbrica: 3 = cuatro pertinentes; 2 = tres; 1 = una o dos; 0 = nada.

Síntesis

Los modelos pueden revelar sus datos de entrenamiento. Los principios de protección de datos, las salidas conscientes de la privacidad y técnicas como la minimización y la privacidad diferencial reducen el riesgo.

Siga estudiando — capítulo 14 de 40

← Capítulo 13 (borrador) · Índice de capítulos del curso · Capítulo 15 (borrador) →