Gobernanza de datos, IA responsable y el Reglamento de IA de la UE

La IA responsable como inquietud arquitectónica

La IA responsable reúne los principios que comparten la mayoría de los marcos: equidad, transparencia, rendición de cuentas, privacidad, seguridad (safety), seguridad frente a ataques (security) y robustez. Formulados como principios, es difícil no estar de acuerdo con ellos y fácil ignorarlos. Solo se hacen reales cuando se convierten en propiedades del sistema: por dónde fluyen los datos y cuánto tiempo se conservan, qué se registra y quién puede leerlo, dónde puede intervenir una persona, qué se documenta y se mantiene al día, y qué se mide y para qué grupos. Son decisiones arquitectónicas, a menudo caras de incorporar a posteriori, y por eso la IA responsable pertenece a las revisiones de diseño y a los registros de decisiones, y no solo a un documento de políticas.

Esta sección se basa en los principios de privacidad de la sección 8.7 y en el análisis ético de la sección 11.8, y los aplica a sistemas con componentes aprendidos y probabilísticos. Después pasa a los principales marcos regulatorios y normativos que encontrará un arquitecto: el Reglamento de IA de la UE, el NIST AI Risk Management Framework (marco de gestión de riesgos de IA del NIST) e ISO/IEC 42001.

Gobernanza de datos: procedencia, licencias y datos personales

La procedencia de los datos es el origen y el historial documentados de los datos: de dónde vienen, con qué licencia o consentimiento, y cómo se han transformado. Los sistemas de IA consumen datos de más formas que el software corriente: los datos de entrenamiento y de fine-tuning dan forma a los pesos del modelo, los corpus de recuperación dan forma a sus respuestas, los conjuntos de evaluación definen qué significa bueno, y los bucles de retroalimentación pueden reintroducir las salidas como entradas. Cada uno necesita una fuente conocida y una base lícita y con licencia para su uso. Los pesos de los modelos también tienen licencias: los modelos de pesos abiertos se distribuyen con licencias que van desde licencias de código abierto permisivas hasta licencias personalizadas con restricciones de uso aceptable o condiciones para usuarios muy grandes, y esas condiciones son restricciones para la arquitectura, igual que la licencia de una base de datos.

Los datos personales merecen un cuidado especial porque las funciones de IA los extienden a lugares nuevos. Cada prompt enviado a un modelo alojado supone facilitar datos a un encargado del tratamiento, que según el RGPD (GDPR) requiere un contrato, una ubicación adecuada o un mecanismo de transferencia, y claridad sobre la conservación de los datos por parte del proveedor y sobre si puede usarlos para entrenamiento. La minimización de datos se aplica a los prompts: envía el número de pedido y el artículo que falta, no el perfil completo del cliente. Seudonimiza u oculta datos cuando la tarea lo permita. La tabla muestra los lugares menos evidentes en los que se acumulan datos personales. El más difícil son los pesos del modelo: los datos usados para el fine-tuning pueden quedar memorizados y no pueden eliminarse de forma selectiva, así que los datos personales o que cambian rápidamente deben estar en un almacén de recuperación (sección 12.3), donde pueden filtrarse, corregirse y eliminarse, no en los pesos.

Sesgo y equidad

El sesgo algorítmico consiste en resultados sistemáticamente peores para algunos grupos de personas. Entra a través de datos históricos que codifican discriminaciones pasadas, de grupos infrarrepresentados en los datos, de variables sustitutas (un código postal que hace las veces de origen étnico), de decisiones de medición (usar las detenciones como indicador de la delincuencia) y del despliegue en contextos para los que el modelo no se construyó. Los modelos de lenguaje añaden sus propias formas: asociaciones estereotipadas aprendidas de textos de la web y una calidad muy desigual entre idiomas y dialectos, de modo que un asistente de soporte puede ser excelente en inglés y deficiente en polaco o en galés.

La equidad puede definirse de varias formas medibles, por ejemplo, tasas iguales de decisiones positivas entre grupos (paridad demográfica), tasas de error iguales entre grupos (igualdad de probabilidades, equalised odds) o puntuaciones que significan la misma probabilidad en todos los grupos (calibración). Kleinberg, Mullainathan y Raghavan (2016) y Chouldechova (2017) demostraron que, cuando los grupos tienen tasas base distintas, un clasificador por lo general no puede cumplir a la vez la calibración y la igualdad de tasas de error. Por tanto, elegir un criterio de equidad es un juicio de valor que corresponde a las personas afectadas y a la organización, no un valor técnico por defecto. La tarea del arquitecto es hacer explícita la elección, segmentar los resultados de la evaluación por grupo e idioma como en la sección 12.5, y decidir cómo se recogen y protegen los datos necesarios para esa medición. Medir el sesgo suele requerir atributos sensibles que, por lo demás, el sistema no debería tener; el artículo 10(5) del Reglamento de IA permite tratarlos para detectar sesgos en sistemas de alto riesgo con salvaguardas estrictas, y las modificaciones de 2026 añadieron un permiso similar, sujeto a condiciones estrictas, para otros sistemas y modelos de IA.

Transparencia, explicabilidad y model cards

La transparencia consiste en decir a las personas con qué están tratando: que hablan con una IA, que una imagen es sintética, para qué sirve un sistema y en qué no es fiable. La explicabilidad es poder decir por qué se produjo una salida concreta. En los modelos clásicos de aprendizaje automático, técnicas como las atribuciones de características pueden indicar qué entradas influyeron en una puntuación, con limitaciones conocidas. En los modelos de lenguaje, las explicaciones son más difíciles: el relato que hace un modelo de su propio razonamiento es texto generado que no tiene por qué reflejar el cálculo que realmente produjo la respuesta. Por eso, la explicabilidad práctica en los sistemas con LLM proviene de la arquitectura más que de la introspección: muestra las fuentes recuperadas en las que se basó una respuesta, mantén las decisiones con consecuencias en reglas deterministas que produzcan códigos de motivo, y registra las entradas, las fuentes y las versiones del prompt y del modelo para que cualquier decisión pueda reconstruirse e impugnarse más adelante. Cuando las decisiones con efectos jurídicos o de importancia similar se toman únicamente por medios automatizados, el RGPD añade los derechos a la intervención humana y a recibir información significativa sobre la lógica aplicada.

Las model cards (fichas del modelo), propuestas por Mitchell y sus colegas en 2019, son documentos breves que acompañan a un modelo entrenado: sus usos previstos y los usos fuera de su alcance, los factores (como los grupos demográficos) en los que se evaluó, sus métricas y sus resultados por grupo, sus datos de entrenamiento y de evaluación, las consideraciones éticas y las advertencias. Las Datasheets for datasets (hojas de datos para conjuntos de datos, Gebru et al.) hacen lo mismo con los datos, y muchos proveedores publican ahora system cards (fichas del sistema) que cubren todo un sistema desplegado. Para los arquitectos son a la vez entradas (lee la ficha de cada modelo que adoptes, incluidos sus límites y su licencia) y salidas (publica una para tu propio sistema, guardada en el repositorio y actualizada con cada versión, junto con la documentación de arquitectura del Capítulo 4).

Supervisión humana

La supervisión humana adopta tres formas habituales: una persona aprueba cada decisión antes de que surta efecto (humano en el bucle, human in the loop), una persona supervisa el sistema y puede intervenir (humano sobre el bucle, human on the loop), o hay personas que deciden si el sistema se usa, y cuándo y cómo (humano al mando, human in command). La supervisión solo es tan buena como su diseño. El sesgo de automatización, la tendencia a aceptar la recomendación de un sistema sin un examen real, convierte a los revisores que aprueban cientos de sugerencias de IA por hora en un simple sello de aprobación que añade responsabilidad legal pero no seguridad.

La supervisión eficaz se incorpora en el diseño: muestra la evidencia y las fuentes que respaldan cada recomendación, no solo la respuesta; facilita el desacuerdo y regístralo; dimensiona las cargas de revisión de forma realista; inserta periódicamente casos erróneos conocidos para comprobar que los revisores los detectan; mide las tasas de anulación (una tasa cercana a cero es una señal de alarma, no un éxito); y da a los operadores una forma probada de pausar o detener el sistema. La sección 12.2 analiza los diseños con humano en el bucle y la planificación de su capacidad. El artículo 14 del Reglamento de IA exige que los sistemas de alto riesgo se diseñen para que los supervisores puedan comprender las capacidades y los límites del sistema, ser conscientes del sesgo de automatización, interpretar las salidas, decidir no usarlas o anularlas, e interrumpir el sistema.

El Reglamento de IA de la UE

El Reglamento de IA de la UE (EU AI Act), Reglamento (UE) 2024/1689, es la primera ley horizontal integral sobre IA. Entró en vigor el 1 de agosto de 2024 y se aplica por etapas. Regula según el riesgo, asigna obligaciones principalmente a los proveedores (que desarrollan un sistema o modelo y lo introducen en el mercado con su nombre) y a los responsables del despliegue (que lo usan profesionalmente), y llega más allá de la UE: se aplica a los proveedores que introducen sistemas en el mercado de la UE y a los proveedores y responsables del despliegue de otros lugares cuyos sistemas generan salidas que se usan en la UE. Las sanciones por prácticas prohibidas alcanzan los 35 millones de EUR o el 7% del volumen de negocios anual mundial, si esta cifra es superior, con topes más bajos para otras infracciones.

El Reglamento clasifica los sistemas en cuatro niveles, más una vía separada para los modelos. Las prácticas prohibidas (artículo 5) incluyen la puntuación social, las técnicas manipuladoras o engañosas y la explotación de vulnerabilidades que causen perjuicios significativos, la extracción no selectiva de imágenes faciales, el reconocimiento de emociones en lugares de trabajo y centros educativos (con excepciones limitadas), la categorización biométrica para inferir características sensibles, la predicción de delitos basada únicamente en la elaboración de perfiles, y la identificación biométrica remota en tiempo real en espacios públicos con fines de aplicación de la ley, salvo en casos limitados. Los sistemas de alto riesgo (artículo 6) son los componentes de seguridad de productos cubiertos por la legislación de la UE sobre seguridad de los productos enumerada en el anexo I, y los sistemas usados en los ámbitos enumerados en el anexo III: biometría, infraestructuras críticas, educación, empleo y gestión de trabajadores, acceso a servicios privados y públicos esenciales (como la calificación crediticia y la fijación de precios de seguros de vida y de salud), aplicación de la ley, migración y control fronterizo, y administración de justicia y procesos democráticos. Un sistema del anexo III puede quedar fuera de la categoría de alto riesgo en virtud del artículo 6(3) si solo realiza una tarea limitada o preparatoria y no plantea un riesgo significativo, pero nunca si elabora perfiles de personas. Las obligaciones de transparencia (artículo 50) exigen que se informe a las personas cuando interactúan con un sistema de IA, salvo que sea evidente, que el contenido generado o manipulado se marque de forma legible por máquina y que se revelen los deepfakes (ultrasuplantaciones). Los sistemas de riesgo mínimo, la gran mayoría, no tienen obligaciones nuevas específicas, aunque la disposición sobre alfabetización en materia de IA del artículo 4 se aplica a los proveedores y responsables del despliegue en general.

Los modelos de IA de uso general (GPAI), como los modelos de lenguaje grandes en los que se basan la mayoría de los asistentes, se regulan a nivel de modelo. Según el artículo 53, sus proveedores deben mantener documentación técnica, dar a los proveedores posteriores la información que necesitan, contar con una política para cumplir la legislación de la UE sobre derechos de autor y publicar un resumen del contenido usado para el entrenamiento. Los modelos con riesgo sistémico, que se presume cuando el cómputo de entrenamiento supera 10²⁵ operaciones de coma flotante, tienen obligaciones adicionales según el artículo 55: evaluación que incluya pruebas adversarias, mitigación de riesgos, notificación de incidentes graves y ciberseguridad. Un Código de Buenas Prácticas para la IA de uso general, publicado en julio de 2025, ofrece a los proveedores una vía voluntaria para demostrar el cumplimiento. Una empresa que construye una aplicación sobre el modelo de otro es normalmente proveedora o responsable del despliegue de un sistema de IA, no del modelo, pero puede pasar a ser proveedora del modelo si lo modifica sustancialmente.

El calendario y las modificaciones de 2026

Estaba previsto que las obligaciones del Reglamento llegaran por etapas entre febrero de 2025 y agosto de 2027. En noviembre de 2025, la Comisión Europea propuso un Ómnibus Digital sobre IA (Digital Omnibus on AI) para simplificar la aplicación, sobre todo porque las normas armonizadas y las orientaciones necesarias para las reglas de alto riesgo llegaban con retraso. Tras el acuerdo entre el Parlamento Europeo y el Consejo, se adoptó como Reglamento (UE) 2026/1744, de 8 de julio de 2026, publicado en el Diario Oficial el 24 de julio de 2026 y en vigor desde el 27 de julio de 2026. Aplaza las obligaciones de alto riesgo a fechas fijas (el 2 de diciembre de 2027 para los sistemas del anexo III y el 2 de agosto de 2028 para los del anexo I); añade prohibiciones sobre los sistemas de IA que generan o manipulan material de abuso sexual infantil o imágenes íntimas de personas identificables sin su consentimiento; concede a los proveedores de sistemas generativos que ya están en el mercado un periodo transitorio de cuatro meses para el marcado legible por máquina; cambia la obligación de alfabetización en materia de IA, que pasa de garantizar un nivel suficiente de alfabetización a adoptar medidas para fomentarla; añade una base jurídica, con condiciones estrictas, para tratar categorías especiales de datos personales con el fin de detectar y corregir sesgos más allá de los sistemas de alto riesgo; extiende las simplificaciones de las pymes a las pequeñas empresas de mediana capitalización; traslada el Reglamento de Máquinas de la sección A a la sección B del anexo I, de modo que los requisitos para la IA en máquinas se apliquen a través de ese reglamento y no directamente en virtud del Reglamento de IA; y otorga a la Oficina de IA un papel más importante en la supervisión de los sistemas de IA basados en modelos de uso general. Las prohibiciones y las obligaciones de los modelos GPAI ya en vigor no se aplazaron, y las obligaciones de transparencia del artículo 50 se aplican desde el 2 de agosto de 2026, según lo previsto.

Una propuesta de Ómnibus Digital distinta, de noviembre de 2025, que modificaría el RGPD, las normas de privacidad electrónica (ePrivacy) y el Reglamento de Datos (Data Act), sigue su propio procedimiento legislativo; comprueba si se ha adoptado y diseña conforme a la ley en vigor, no a las propuestas. Consulta el texto consolidado vigente del Reglamento de IA antes de basarte en cualquier fecha de la tabla siguiente.

¿Qué significa esto para la plataforma de reparto de comida? El asistente de atención al cliente no está en un ámbito del anexo III, así que no es de alto riesgo, pero debe informar a los clientes de que están hablando con una IA, y el RGPD se aplica plenamente a sus prompts y logs. Los sistemas de repartidores de la misma empresa son otra cuestión: la IA que asigna trabajo a los repartidores en función de su comportamiento o de sus características, monitoriza y evalúa su rendimiento o decide su desactivación entra en el ámbito de empleo y gestión de trabajadores del anexo III y, por tanto, en el régimen de alto riesgo a partir de diciembre de 2027, además de en la Directiva de la UE sobre el trabajo en plataformas (Directiva (UE) 2024/2831) en lo relativo a la gestión algorítmica, que los Estados miembros deben transponer a más tardar en diciembre de 2026. La clasificación depende de la finalidad, no de la tecnología: un mismo modelo puede servir para un uso de riesgo mínimo y para uno de alto riesgo en la misma empresa.

Marcos y normas: NIST AI RMF e ISO/IEC 42001

El NIST AI Risk Management Framework (AI RMF 1.0, NIST AI 100-1, enero de 2023) es un marco estadounidense voluntario, muy utilizado a nivel internacional. Organiza la gestión de riesgos de IA en cuatro funciones: Govern (gobernar: cultura, políticas, roles y rendición de cuentas), Map (mapear: contexto, uso previsto e impactos potenciales), Measure (medir: análisis, pruebas y seguimiento de los riesgos) y Manage (gestionar: priorizar y tratar los riesgos, y responder a los incidentes). Describe la IA digna de confianza como válida y fiable, segura, protegida y resiliente, responsable y transparente, explicable e interpretable, respetuosa con la privacidad, y equitativa, con los sesgos perjudiciales gestionados. Su Generative AI Profile (perfil de IA generativa, NIST AI 600-1, julio de 2024) añade riesgos y acciones específicos de los modelos generativos. Consulta el sitio del NIST para conocer la versión vigente y sus perfiles complementarios antes de citarlo.

ISO/IEC 42001:2023 especifica los requisitos de un sistema de gestión de la IA: las políticas, los roles, las evaluaciones de riesgos y de impacto, los controles, la monitorización y la mejora continua con los que una organización gobierna su trabajo con IA, con el mismo estilo Planificar-Hacer-Verificar-Actuar (Plan-Do-Check-Act) que ISO/IEC 27001 para la seguridad de la información. A diferencia del marco del NIST, es certificable, y las organizaciones piden cada vez más la certificación a sus proveedores. ISO/IEC 23894:2023 ofrece orientación sobre la gestión de riesgos de IA. Los tres encajan entre sí: el Reglamento de IA establece obligaciones legales, las normas europeas armonizadas (en desarrollo por CEN y CENELEC) describirán cómo cumplirlas, y el marco del NIST e ISO/IEC 42001 aportan las prácticas de gestión con las que se generan las evidencias.