Tabla de contenidos
Durante años, la intervención de una persona al final de un proceso se ha configurado como una suerte de garantía implícita. Si alguien revisa el resultado, lo firma y responde de él, la decisión se considera humana, aunque los datos y la valoración que la sustentan procedan íntegramente de un sistema automatizado.
La irrupción de la inteligencia artificial pone en jaque esa convención. Su principal atractivo radica precisamente en ofrecer una puntuación, una recomendación o una acción ya elaborada, de modo que a la persona apenas le quede confirmarla. Se produce así una dicotomía difícil de resolver. Por un lado, está el legítimo interés de las organizaciones en ganar eficiencia. Por otro, la tutela de los derechos y libertades de quienes se ven afectados por esas decisiones. Y cuanto más eficaz resulta el sistema, más fácil es que la supervisión se limite a validar lo que la máquina ya ha decidido.
No estamos únicamente ante una cuestión de eficiencia. El riesgo es que la supervisión humana sobre la inteligencia artificial deje de ser una garantía y pase a funcionar como una especie de coartada.
Casos recientes sobre supervisión humana vs. inteligencia artificial
La AEPD y el requisito de una intervención humana efectiva
La Agencia Española de Protección de Datos ha tenido la oportunidad de recordarlo este año a raíz de distintos pronunciamientos recientes. En primer lugar, podemos centrarnos en el caso de una empresa que comunicó a la representación de sus trabajadores que iba a implantar una herramienta de IA para analizar currículums, asignar puntuaciones y priorizar candidaturas. La presentó como un mero apoyo, con la decisión final en manos de una persona. La Agencia le dirigió una advertencia el pasado mes de septiembre, como medida preventiva respecto de un tratamiento que todavía no se había iniciado, y no como declaración de la existencia de una infracción.
La relevancia de la advertencia, sin embargo, va más allá del caso concreto. Para que la intervención humana sea efectiva, quien decide debe poder valorar críticamente la puntuación del sistema y adoptar su propia decisión, sin limitarse a asumir el resultado.
La legislación aplicable en materia de protección de datos prevé un régimen específico para las decisiones basadas únicamente en tratamientos automatizados. Que ese régimen se aplique o no dependerá de cómo funcione realmente la herramienta y del peso efectivo de esa intervención. En la misma línea que la Agencia, se había pronunciado ya el Tribunal de Justicia de la Unión Europea en el asunto SCHUFA, al analizar puntuaciones automatizadas en las que un tercero se apoya para decidir.
Transparencia algorítmica en el contexto organizativo
En el ámbito laboral, además, la transparencia ha dejado de ser una opción. Desde 2021, las empresas deben informar a la representación legal de las personas trabajadoras sobre los criterios y reglas utilizados por los algoritmos o sistemas de IA que influyen en decisiones relativas a las condiciones de trabajo, la contratación, el mantenimiento del empleo o la evaluación de perfiles. Adicionalmente, desde el pasado 5 de octubre, el Real Decreto 723/2026 obliga a informar por escrito a cada persona trabajadora de la existencia de sistemas algorítmicos o automatizados de toma de decisiones y, cuando se utilicen para decidir sobre sus condiciones de trabajo, también de sus pautas, criterios y reglas de funcionamiento. Ahora bien, ello no significa que informar legitime el sistema. La información permite conocer cómo se decide, pero no convierte una puntuación ajena en una decisión propia.
Agentes de IA y el riesgo de delegar la responsabilidad
Los agentes de IA trasladan la cuestión a una dimensión aún más compleja. Ya no se limitan a puntuar, sino que planifican tareas, consultan fuentes, utilizan herramientas y pueden actuar en nombre y representación de terceros. La AEPD les dedicó en febrero unas orientaciones específicas. En ellas advierte de una tentación que cualquier abogado podrá reconocer: cuando se produce un fallo, resulta cómodo hacer recaer la responsabilidad en la persona que supervisaba, en lugar de hacerlo en los problemas de diseño o de gobernanza que lo hicieron posible.
La posición de la Agencia no puede ser más razonable. Usuarios y supervisores deben tener una responsabilidad claramente asignada, pero dentro de unos límites, y ninguno de ellos sustituye la diligencia exigible al responsable del tratamiento cuando lo diseña y elige la herramienta. Las orientaciones advierten también de que la autonomía de estos sistemas puede intensificar el sesgo de automatización, esto es, la tendencia a aceptar lo que propone el sistema sin un análisis crítico suficiente. Se trata de orientaciones y la propia Agencia reconoce que el análisis de esta tecnología sigue en desarrollo, pero la necesidad de evitar una confianza acrítica en estos sistemas parece clara.
La supervisión humana ante las nuevas amenazas de ciberseguridad
La tercera manifestación del problema se advierte en el terreno de la seguridad. En septiembre, la AEPD informó de la primera notificación de una brecha de datos personales en la que el ataque se habría ejecutado mediante un agente de IA. Una vez dentro del sistema, el agente buscó de forma autónoma vulnerabilidades en la aplicación hasta poder modificar datos personales y acceder a facturas.
La Agencia actuó con prudencia. Advirtió que la información procede de la propia organización afectada, que un único caso no permite afirmar una tendencia y que el uso de un modelo concreto no implica que su proveedor estuviera comprometido. Su conclusión, sin embargo, resulta inequívoca, pudiendo afirmarse que la seguridad de los tratamientos no puede depender únicamente de la intervención manual. La supervisión humana sigue siendo imprescindible, pero debe apoyarse en mecanismos de detección, contención y respuesta que actúen con la rapidez suficiente. Máxime si tenemos en cuenta que, según la propia Agencia, el tiempo entre el acceso inicial y la salida de los datos puede reducirse a minutos. En esa tesitura, revisar las alertas al día siguiente difícilmente puede considerarse supervisión.
Necesidad de demostrar una supervisión humana de la IA
Selección de personal, agentes autónomos y ciberseguridad pueden parecer materias inconexas. En absoluto lo son. En los tres supuestos se incurre en el riesgo de tratar a la persona como una pieza que certifica el sistema, cuando debería ser el sistema el que estuviera diseñado para que esa persona pueda intervenir. Una supervisión sin tiempo, sin información o sin capacidad para modificar el resultado no protege a nadie. Y, cuando algo falla, suele trasladarse la responsabilidad al eslabón más débil.
Llegados a este punto, conviene distinguir lo obligatorio de lo prudente. Son obligaciones legales las garantías frente a las decisiones automatizadas, la transparencia hacia candidatos y trabajadores, la evaluación de impacto cuando el riesgo sea alto y los deberes de información laboral. El Reglamento europeo de Inteligencia Artificial, modificado este pasado verano, añade sus propias exigencias para determinados sistemas utilizados en la selección y gestión de personas, de acuerdo con un calendario de aplicación que conviene seguir de cerca. El resto son buenas prácticas, pero son precisamente esas prácticas las que permitirán acreditar el cumplimiento.
La recomendación para las organizaciones que incorporen estas herramientas pasa, en definitiva, por diseñar una supervisión que pueda demostrarse. Quien supervisa debe comprender lo que hace el sistema y disponer de autoridad para modificar el resultado sin verse penalizado por ello. Necesita, además, el tiempo y la información suficientes para hacerlo. Sus discrepancias deberían quedar registradas, pues son la mejor prueba de que la supervisión existe. Si nadie se aparta nunca de lo que propone la herramienta, cabe preguntarse si alguien la está supervisando realmente. En el caso de los agentes, su autonomía debería ajustarse al riesgo de cada tratamiento y las acciones relevantes deberían poder revertirse. Y, en materia de seguridad, la vigilancia humana necesita apoyarse en una detección automatizada que permita reaccionar a tiempo.
La cuestión no es si existe una persona en el proceso. La cuestión es qué puede hacer realmente esa persona y si la organización es capaz de demostrarlo.
En CECA MAGÁN Abogados, acompañamos a las organizaciones en la adopción responsable de soluciones de inteligencia artificial, desde el análisis regulatorio y la protección de datos hasta la definición de modelos de gobernanza, supervisión y gestión de riesgos que permitan aprovechar las oportunidades de estas tecnologías sin perder de vista las obligaciones legales y reputacionales que conllevan. Contacta con nuestro equipo aquí
Counsel de Protección de datos y derecho digital
