Algoritmos, decisiones automatizadas y responsabilidad

1. ¿Qué es un algoritmo?

Un algoritmo es una secuencia ordenada de instrucciones destinada a resolver un problema o alcanzar un resultado.

En términos sencillos, puede compararse con una receta:

1. se reciben determinados datos;
2. se aplican reglas u operaciones;
3. se obtiene un resultado.

Por ejemplo, un sistema elemental para decidir si una persona puede acceder a un descuento podría utilizar la siguiente regla:

Si la persona tiene más de 65 años:
    aplicar descuento del 20 %
De lo contrario:
    no aplicar descuento

Este es un algoritmo basado en reglas expresamente programadas. Su funcionamiento es relativamente fácil de comprender porque el programador determinó de antemano todas las condiciones relevantes.

Muchos algoritmos modernos utilizan técnicas de aprendizaje automático o machine learning. En estos casos, el programador no define necesariamente cada una de las reglas que conducen al resultado. En su lugar, proporciona al sistema ejemplos históricos para que identifique patrones estadísticos.

Para desarrollar un sistema que estime el riesgo de incumplimiento crediticio, por ejemplo, pueden suministrarse miles de registros correspondientes a créditos anteriores. Cada registro podría contener ingresos, antigüedad laboral, cantidad de préstamos anteriores, historial de pagos, nivel de endeudamiento, edad, domicilio y resultado final del crédito.

El sistema analiza esos datos y construye un modelo matemático que intenta predecir si una nueva persona pagará o no pagará. El resultado no es una certeza jurídica ni una verdad absoluta: es una estimación probabilística basada en relaciones estadísticas encontradas en los datos.

2. Sistemas basados en reglas y sistemas de aprendizaje automático

2.1. Sistemas deterministas

Un sistema determinista produce siempre el mismo resultado cuando recibe los mismos datos.

def evaluar_descuento(edad: int) -> bool:
    return edad >= 65

Si la edad ingresada es 70, el resultado será siempre el mismo. Estos sistemas pueden ser complejos, pero normalmente permiten reconstruir el razonamiento seguido. El problema puede encontrarse en la regla diseñada, en los datos ingresados o en la interpretación jurídica realizada por quien programó el sistema.

2.2. Sistemas de puntuación

Otros sistemas asignan puntos o ponderaciones a diferentes características:

puntaje = (
    ingresos_mensuales * 0.30
    + antiguedad_laboral * 0.20
    + historial_de_pago * 0.40
    - nivel_de_endeudamiento * 0.35
)

if puntaje >= 0.70:
    decision = "Aprobado"
else:
    decision = "Rechazado"

Aunque el ejemplo es simplificado, permite advertir que una decisión aparentemente objetiva depende de elecciones humanas previas: qué variables se consideran, qué peso se asigna a cada variable, cómo se normalizan los datos, qué valor se adopta como umbral y qué cantidad de falsos positivos o falsos negativos se considera aceptable.

Cambiar el umbral de 0.70 a 0.60 puede modificar considerablemente la cantidad de solicitudes aprobadas. Por tanto, la decisión no es exclusivamente “de la máquina”. También deriva de decisiones empresariales, administrativas, económicas y jurídicas adoptadas durante el diseño del sistema.

2.3. Aprendizaje automático

En el aprendizaje automático, el sistema construye un modelo a partir de datos de entrenamiento. El proceso suele incluir las siguientes etapas:

1. Definición del problema: se determina qué debe predecir o clasificar el sistema.
2. Recolección de datos: se obtienen antecedentes históricos.
3. Preparación de los datos: se corrigen errores, se eliminan duplicados y se convierten los datos a formatos utilizables.
4. Selección de variables: se decide qué características ingresarán al modelo.
5. Entrenamiento: el algoritmo ajusta sus parámetros para reducir errores.
6. Validación: se prueba el modelo con datos que no fueron utilizados durante el entrenamiento.
7. Implementación: el modelo se integra a un sistema real.
8. Monitoreo: se controla su comportamiento y se detectan cambios o errores.

La calidad del resultado depende de todo el proceso, no únicamente del algoritmo matemático utilizado. Un modelo técnicamente avanzado puede producir decisiones jurídicamente inaceptables si fue entrenado con datos obtenidos ilegítimamente, utiliza variables discriminatorias, persigue una finalidad ilícita o no permite que las personas afectadas ejerzan sus derechos.

3. Decisiones automatizadas y decisiones asistidas

3.1. Decisión completamente automatizada

La computadora adopta el resultado sin intervención humana efectiva. Por ejemplo, una plataforma rechaza automáticamente una solicitud de crédito porque el puntaje obtenido es inferior al umbral establecido.

3.2. Decisión asistida por algoritmo

El sistema formula una recomendación, pero una persona adopta formalmente la decisión final. Por ejemplo, un programa asigna un nivel de riesgo a un solicitante y un funcionario analiza posteriormente el caso.

3.3. Decisión humana apoyada por herramientas informáticas

La tecnología organiza información, detecta coincidencias o facilita cálculos, pero no recomienda directamente una decisión. Por ejemplo, un sistema ordena expedientes por fecha o muestra antecedentes relevantes sin atribuir un nivel de riesgo.

La mera presencia de una persona no convierte necesariamente la decisión en humana. Existe una intervención humana significativa cuando quien decide comprende el alcance y las limitaciones del sistema, puede apartarse de su recomendación, examina las circunstancias particulares, dispone del tiempo y la autoridad necesarios y fundamenta la decisión de manera independiente.

4. El problema de la opacidad algorítmica

Un sistema es opaco cuando resulta difícil conocer cómo llegó a una conclusión. La opacidad puede tener diferentes causas.

4.1. Opacidad técnica

Algunos modelos contienen millones o miles de millones de parámetros. Aunque se conozca su arquitectura, puede ser difícil identificar con precisión por qué determinadas variables produjeron un resultado concreto. Esta dificultad aparece especialmente en redes neuronales profundas y otros modelos complejos.

4.2. Opacidad organizacional

En ocasiones, el problema no se encuentra en la complejidad matemática, sino en la falta de documentación. La organización puede desconocer qué versión del modelo se utilizó, quién modificó los parámetros, de dónde provinieron los datos, qué pruebas fueron realizadas, cuándo se actualizó el sistema o qué funcionario confirmó la decisión.

En estos casos, la opacidad no es una característica inevitable de la inteligencia artificial. Es una deficiencia de gobernanza.

4.3. Opacidad comercial

El proveedor puede invocar derechos de propiedad intelectual, secreto empresarial o cláusulas de confidencialidad para no revelar determinados componentes. Sin embargo, la protección del código fuente o de los secretos comerciales no debería impedir que la persona afectada conozca, al menos, la finalidad del sistema, las categorías de datos utilizadas, los principales factores considerados, el grado de automatización, las consecuencias de la decisión, las limitaciones conocidas y el procedimiento para impugnar el resultado.

4.4. Opacidad jurídica

También existe opacidad cuando la persona desconoce que está siendo evaluada por un algoritmo. Alguien puede creer que su solicitud fue analizada por un funcionario cuando, en realidad, fue rechazada automáticamente por un sistema de puntuación.

Esta falta de información afecta la posibilidad de ejercer derechos, aportar antecedentes, corregir errores o impugnar la decisión.

5. Transparencia no significa publicar todo

La transparencia algorítmica debe adaptarse al destinatario. No necesita la misma información una persona afectada por una decisión, un auditor técnico, una autoridad reguladora, un juez, un desarrollador o el público general.

5.1. Explicación general

Describe cómo funciona el sistema en términos globales: qué objetivo persigue, qué tipos de datos utiliza, qué criterios generales aplica, qué riesgos presenta y qué controles existen.

5.2. Explicación individual

Permite comprender por qué una persona recibió un resultado concreto. Por ejemplo:

La solicitud fue rechazada principalmente por el nivel de endeudamiento registrado, la existencia de atrasos recientes y la insuficiente antigüedad laboral.

Una explicación individual útil no debería limitarse a comunicar un puntaje o una frase genérica como “no cumple con los criterios”.

5.3. Explicación técnica y auditable

Está destinada a especialistas y autoridades. Puede incluir arquitectura del sistema, versión del modelo, variables utilizadas, parámetros, métricas de rendimiento, conjunto de datos de entrenamiento, pruebas de sesgo, registros de ejecución, controles de seguridad y documentación de cambios.

La explicabilidad no debe convertirse en una exposición incomprensible de fórmulas matemáticas. Entregar miles de páginas técnicas puede ser otra forma de opacidad. La explicación debe ser suficiente, clara y adecuada para que el destinatario pueda comprender, controlar o cuestionar el funcionamiento del sistema.

6. Sesgo algorítmico

Un algoritmo presenta sesgo cuando produce resultados sistemáticamente desfavorables o distorsionados respecto de determinadas personas o grupos. El sesgo no necesariamente se origina en una instrucción discriminatoria expresa. Puede ingresar al sistema en diferentes etapas.

6.1. Sesgo histórico

Los datos pueden reflejar desigualdades existentes en la sociedad. Si una empresa históricamente contrató principalmente hombres para cargos técnicos, un modelo entrenado con esas contrataciones podría aprender que ser hombre se correlaciona con una contratación exitosa.

6.2. Sesgo de representación

El conjunto de datos puede no representar adecuadamente a la población sobre la cual se aplicará el sistema. Un sistema biométrico entrenado principalmente con imágenes de determinados grupos puede presentar una tasa de error mayor respecto de otros.

6.3. Sesgo de medición

La variable utilizada puede no medir correctamente aquello que se pretende evaluar. Utilizar la cantidad de interrupciones durante una entrevista virtual como indicador de falta de atención podría perjudicar a personas con dificultades de conectividad, discapacidades o responsabilidades familiares.

6.4. Sesgo de etiquetado

Los datos utilizados como “respuesta correcta” pueden contener valoraciones humanas equivocadas. Si un modelo se entrena con evaluaciones anteriores realizadas por supervisores, también aprenderá sus prejuicios, errores o criterios inconsistentes.

6.5. Variables sustitutas o proxies

Aunque se eliminen datos sensibles, otras variables pueden funcionar como sustitutos indirectos. El domicilio, código postal, centro educativo, tipo de dispositivo, historial de navegación o forma de escribir pueden revelar indirectamente nivel socioeconómico, origen étnico, estado de salud, edad, discapacidad, convicciones o pertenencia a determinados grupos.

6.6. Sesgo producido por el objetivo

El problema también puede encontrarse en aquello que se ordena optimizar. Un sistema diseñado exclusivamente para reducir costos puede perjudicar la calidad del servicio. Un algoritmo destinado a detectar fraude puede aumentar su sensibilidad y bloquear a muchas personas inocentes.

El algoritmo optimiza la función matemática que se le asigna. No comprende por sí mismo conceptos jurídicos como dignidad, igualdad, proporcionalidad o justicia.

7. Igualdad matemática e igualdad jurídica

En informática existen diferentes métricas para analizar la equidad de un sistema, entre ellas la igualdad en las tasas de aprobación, igualdad en las tasas de error, igualdad de oportunidades, calibración de puntajes y comparación de falsos positivos y falsos negativos.

Estas métricas pueden ser útiles, pero ninguna reemplaza el análisis jurídico. Un sistema podría aprobar al mismo porcentaje de personas de dos grupos y, sin embargo, utilizar datos ilegítimos. También podría presentar iguales tasas de error y aun así afectar desproporcionadamente a personas especialmente vulnerables.

Además, distintas métricas de equidad pueden entrar en conflicto. Mejorar una de ellas puede empeorar otra. Por ello, la selección de una métrica no es una decisión puramente técnica: expresa una elección normativa respecto de qué tipo de error se considera más grave y quién soportará sus consecuencias.

La Ley Nº 17.817 define ampliamente la discriminación como toda distinción, exclusión, restricción o preferencia que tenga por objeto o resultado anular o menoscabar el reconocimiento o ejercicio, en condiciones de igualdad, de derechos humanos y libertades fundamentales. Esta regulación puede resultar relevante cuando un sistema algorítmico produce impactos discriminatorios, incluso sin una intención discriminatoria expresa.

8. Protección de datos personales y decisiones automatizadas en Uruguay

La Ley Nº 18.331 constituye una de las principales normas aplicables a los sistemas algorítmicos cuando estos utilizan datos personales. Su aplicación no depende de que la organización denomine al sistema “inteligencia artificial”. Lo relevante es que exista tratamiento de datos personales.

8.1. Principios aplicables

El tratamiento debe respetar, entre otros, los principios de legalidad, veracidad, finalidad, previo consentimiento informado cuando corresponda, seguridad, reserva y responsabilidad.

La información utilizada debe ser adecuada, veraz, exacta y no excesiva respecto de la finalidad perseguida. Un algoritmo puede ser matemáticamente correcto y, al mismo tiempo, infringir la normativa si utiliza datos obtenidos ilegítimamente o incompatibles con la finalidad informada.

8.2. Derecho a la información

El artículo 13 de la Ley Nº 18.331 exige que, al recabarse datos personales, se informe previamente al titular sobre la finalidad del tratamiento, el responsable, las consecuencias de proporcionar o no los datos y la posibilidad de ejercer sus derechos.

En los tratamientos automatizados regulados por el artículo 16 deben comunicarse también los criterios de valoración, los procesos aplicados y la solución tecnológica o el programa utilizado. La transparencia no debería comenzar recién cuando se produce un daño.

8.3. Derecho a impugnar valoraciones personales

El artículo 16 de la Ley Nº 18.331 reconoce el derecho a impugnar actos administrativos o decisiones privadas cuyo único fundamento sea un tratamiento automatizado de datos que defina características o aspectos de la personalidad, como rendimiento laboral, crédito, fiabilidad o conducta.

La persona afectada también puede obtener información sobre los criterios de valoración y el programa utilizado. Esta disposición resulta particularmente relevante para evaluaciones crediticias, selección automatizada de personal, clasificación de clientes, análisis de fraude, cálculo de riesgo, elaboración de perfiles y decisiones administrativas automatizadas.

8.4. Rectificación de datos

Si la decisión se basó en datos falsos, desactualizados o incompletos, el titular puede solicitar su rectificación, actualización, inclusión o supresión conforme al artículo 15 de la Ley Nº 18.331. Este derecho es esencial porque muchos errores algorítmicos no se originan en el modelo, sino en la información que lo alimenta.

8.5. Responsabilidad proactiva

La protección de datos no se limita a reaccionar después de una infracción. Los responsables y encargados deben adoptar medidas técnicas y organizativas apropiadas, teniendo en cuenta la naturaleza del tratamiento y los riesgos para las personas.

La responsabilidad proactiva exige prevenir, documentar, evaluar, monitorear y demostrar el cumplimiento. Este enfoque comprende la privacidad desde el diseño, la privacidad por defecto y la evaluación de riesgos.

8.6. Evaluación de impacto

Cuando el tratamiento pueda presentar riesgos relevantes para los derechos de las personas, debe analizarse anticipadamente su impacto. Una evaluación seria debería estudiar la finalidad del sistema, la necesidad y proporcionalidad del tratamiento, los datos utilizados, los grupos afectados, los riesgos de discriminación, las consecuencias de los errores, la seguridad informática, la posibilidad de impugnación, la intervención humana y las medidas de mitigación.

No debería realizarse al final del proyecto para justificar una decisión ya adoptada. Debe comenzar antes de poner el sistema en funcionamiento y actualizarse cuando cambian los datos, el modelo o el contexto.

9. Algoritmos utilizados por organismos públicos

Cuando un organismo público utiliza un sistema algorítmico, no desaparecen las garantías del procedimiento administrativo. El algoritmo es una herramienta de la Administración. No sustituye la competencia legal del órgano ni elimina la obligación de fundamentar sus decisiones.

El Decreto Nº 500/991 reconoce a los interesados los derechos y garantías inherentes al debido procedimiento administrativo. Su artículo 123 dispone que todo acto administrativo debe ser motivado, expresando las razones de hecho y de derecho que lo fundamentan, sin admitir fórmulas generales o vacías.

Por tanto, una resolución administrativa no debería considerarse suficientemente motivada mediante expresiones como “solicitud rechazada por el sistema” o “el puntaje obtenido no alcanza el mínimo requerido”.

La motivación debería permitir conocer la norma aplicada, los hechos considerados, los datos relevantes, el criterio utilizado, la incidencia del sistema y la razón concreta por la cual se adoptó la decisión.

9.1. Acceso a la información pública

La Ley Nº 18.381 reconoce el derecho de todas las personas a acceder a la información pública. Este derecho puede comprender documentación relativa a sistemas algorítmicos utilizados por el Estado, sin perjuicio de las excepciones legales.

Las clasificaciones como reservadas o confidenciales no deberían aplicarse de manera genérica. Cuando una parte de la información esté protegida, corresponde analizar la posibilidad de elaborar una versión pública de aquello que pueda entregarse.

La contratación de una empresa privada tampoco debería transformar automáticamente en secreta toda la lógica utilizada para adoptar decisiones públicas. El organismo debe asegurarse contractualmente de conservar acceso suficiente a la documentación, registros, criterios, versiones del modelo, pruebas y mecanismos de auditoría.

10. ¿Quién responde por una decisión algorítmica?

Un algoritmo no es, por sí mismo, un sujeto de derecho. No posee patrimonio, voluntad jurídica ni capacidad para comparecer ante una autoridad. Por tanto, no puede convertirse en una explicación destinada a excluir la responsabilidad humana u organizacional.

La expresión “lo decidió el algoritmo” es jurídicamente insuficiente.

La distribución contractual de tareas entre una organización y su proveedor no puede utilizarse para dejar a la persona afectada sin un responsable identificable.

11. Responsabilidad civil

Cuando una decisión algorítmica causa un daño, pueden resultar aplicables las reglas generales de responsabilidad civil. El artículo 1319 del Código Civil establece que todo hecho ilícito que causa un daño obliga a repararlo cuando haya mediado dolo, culpa o negligencia.

La responsabilidad podría derivar, por ejemplo, de utilizar datos incorrectos, no actualizar un modelo, ignorar tasas de error conocidas, aplicar el sistema fuera del contexto para el cual fue diseñado, no establecer controles humanos, no atender una impugnación, no advertir limitaciones importantes o implementar un sistema sin medidas razonables de seguridad.

11.1. Responsabilidad contractual

Puede existir cuando el daño se produce dentro de una relación contractual. Por ejemplo, una plataforma presta defectuosamente un servicio de evaluación, un proveedor entrega un sistema que no cumple las especificaciones acordadas o una institución incumple compromisos de confidencialidad y seguridad.

11.2. Responsabilidad extracontractual

Puede configurarse cuando no existe una relación contractual previa entre el responsable y la persona perjudicada. Una persona puede resultar falsamente clasificada como sospechosa, riesgosa o insolvente por un sistema utilizado por una organización con la que nunca contrató.

11.3. Dificultad probatoria

Los sistemas algorítmicos pueden dificultar la prueba del daño y del nexo causal. La víctima puede desconocer qué datos fueron utilizados, qué modelo produjo la decisión, qué versión estaba en funcionamiento, qué intervención humana existió o qué actor modificó el sistema.

Por eso, la conservación de registros y la trazabilidad adquieren importancia jurídica. Una organización que no puede reconstruir sus propias decisiones queda en una posición débil para demostrar que actuó diligentemente.

12. Relaciones de consumo

Cuando el sistema es utilizado en una relación de consumo, también puede resultar aplicable la Ley Nº 17.250. Su artículo 34 establece que, cuando el incumplimiento del proveedor cause un daño al consumidor, el proveedor será responsable conforme al régimen del Código Civil.

Un proveedor no debería ampararse en el carácter automatizado del servicio para eludir sus obligaciones. Pueden plantearse problemas de consumo cuando un algoritmo modifica precios sin información suficiente, rechaza automáticamente una operación legítima, bloquea una cuenta, recomienda un producto inadecuado, clasifica erróneamente al consumidor, utiliza patrones manipulativos o presenta como personalizada una decisión que no considera realmente sus circunstancias.

13. Responsabilidad administrativa

El incumplimiento de la normativa de protección de datos puede generar responsabilidad administrativa ante la Unidad Reguladora y de Control de Datos Personales.

La responsabilidad administrativa puede coexistir con responsabilidad civil, nulidad o revocación de actos administrativos, responsabilidad disciplinaria, responsabilidad contractual y, en determinados casos, responsabilidad penal de las personas que hayan intervenido. No se trata de regímenes necesariamente excluyentes.

14. Responsabilidad penal

El uso de un algoritmo no crea automáticamente responsabilidad penal. Para atribuir un delito deben verificarse los elementos objetivos y subjetivos exigidos por el tipo penal correspondiente.

El sistema informático no sustituye el análisis sobre conducta humana, dolo, culpa cuando esté expresamente prevista, participación, conocimiento, dominio del hecho y relación causal.

Sin embargo, una persona podría utilizar deliberadamente un sistema automatizado como medio para cometer una conducta ilícita. También podría existir responsabilidad cuando alguien, teniendo una obligación jurídica específica de control, omite actuar frente a riesgos evidentes, siempre que se cumplan los requisitos del tipo penal aplicable.

La complejidad tecnológica no debe conducir a imputaciones automáticas contra programadores, técnicos o funcionarios. La responsabilidad penal es personal y requiere determinar qué sabía cada interviniente, qué podía hacer y qué conducta concreta realizó u omitió.

15. El proveedor no es siempre el único responsable

Es frecuente que una organización adquiera un modelo desarrollado por un tercero y sostenga que cualquier error corresponde al proveedor. Este razonamiento es incompleto.

La organización que implementa el sistema suele decidir para qué finalidad se utilizará, qué datos se ingresarán, a qué personas se aplicará, qué nivel de riesgo se aceptará, qué umbral se adoptará, qué consecuencias producirá el resultado y si existirá revisión humana.

Un modelo puede funcionar correctamente y, sin embargo, ser utilizado de manera jurídicamente incorrecta. También puede ocurrir lo contrario: la organización utiliza correctamente el producto, pero el proveedor ocultó limitaciones, entregó documentación falsa o no realizó pruebas mínimas.

La responsabilidad debe analizarse a lo largo de toda la cadena tecnológica.

16. El código fuente no contiene toda la decisión

Una auditoría limitada al código fuente puede ser insuficiente. El comportamiento real depende también de los datos de entrenamiento, la configuración, los parámetros, el modelo seleccionado, las bibliotecas utilizadas, la infraestructura, las reglas de negocio, las actualizaciones, las instrucciones proporcionadas al modelo y la forma en que las personas interpretan el resultado.

En sistemas generativos también pueden influir el mensaje del sistema, los documentos incorporados como contexto, la temperatura u otros parámetros de generación, las herramientas externas conectadas y los filtros posteriores.

Por ello, auditar un sistema algorítmico exige analizar el sistema sociotécnico completo: software, datos, personas, procedimientos, contratos y entorno de aplicación.

17. Trazabilidad y registro

La trazabilidad permite reconstruir una decisión. Un sistema de alto impacto debería registrar, como mínimo:

• fecha y hora;
• identidad del sistema;
• versión del modelo;
• datos relevantes utilizados;
• resultado producido;
• nivel de confianza;
• reglas adicionales aplicadas;
• intervención humana;
• decisión final;
• modificaciones posteriores;
• fundamento comunicado a la persona.

Los registros deben protegerse contra alteraciones y accesos no autorizados. También deben conservarse durante un período proporcionado a la finalidad y a las obligaciones legales.

La trazabilidad no significa almacenar indefinidamente todos los datos. Debe equilibrarse con los principios de minimización, seguridad y limitación temporal.

18. Auditoría del sesgo y del rendimiento

Antes de implementar un modelo deben evaluarse diferentes tipos de error:

• verdaderos positivos: el sistema identifica correctamente un caso;
• verdaderos negativos: descarta correctamente un caso;
• falsos positivos: identifica como riesgosa a una persona que no lo era;
• falsos negativos: no detecta un caso que debía detectar.

La relevancia jurídica de cada error depende del contexto. En un sistema para detectar fraude, un falso positivo puede bloquear injustamente a un cliente. En un sistema médico, un falso negativo puede impedir la detección de una enfermedad. En un sistema penal, una clasificación errónea puede afectar gravemente la libertad, la presunción de inocencia o el derecho de defensa.

No alcanza con informar que el modelo tiene “95 % de precisión”. Debe conocerse sobre qué población fue probado, cómo se distribuyen los errores, qué grupos presentan peores resultados, cuál es el costo humano de cada error y si el rendimiento cambia con el tiempo.

19. Cambios en los datos y degradación del modelo

Un modelo puede funcionar correctamente al momento de su implementación y deteriorarse posteriormente. Esto puede ocurrir por cambios sociales, nuevas conductas de los usuarios, modificaciones normativas, alteraciones económicas, cambios en los sistemas de captura de datos o aparición de situaciones no representadas durante el entrenamiento.

Este fenómeno se conoce como deriva de datos o deriva del modelo. Por ello, la validación inicial no es suficiente. Deben existir controles periódicos, alertas y procedimientos para suspender el sistema cuando el rendimiento disminuya o aparezcan impactos imprevistos.

20. Medidas mínimas de cumplimiento

Una organización que utilice algoritmos para adoptar o apoyar decisiones relevantes debería implementar, como mínimo, las siguientes medidas:

• Definir claramente la finalidad: documentar qué problema se pretende resolver y por qué resulta necesario utilizar un sistema automatizado.
• Identificar la base jurídica: determinar qué norma, contrato, consentimiento u otro fundamento legitima el tratamiento y la decisión.
• Clasificar el nivel de riesgo: distinguir sistemas de bajo impacto de aquellos que intervienen en decisiones laborales, sanitarias, crediticias, educativas, policiales o administrativas.
• Realizar una evaluación de impacto: efectuarla antes de la implementación y actualizarla frente a cambios relevantes.
• Controlar la calidad de los datos: verificar origen, exactitud, representatividad, actualidad y compatibilidad con la finalidad.
• Examinar variables sensibles y sustitutas: buscar datos que puedan operar como indicadores indirectos.
• Probar el sistema por grupos: comparar las tasas de error entre los grupos potencialmente afectados.
• Establecer supervisión humana significativa: otorgar competencia, información, tiempo y autoridad para apartarse del resultado.
• Informar a las personas: explicar la existencia del tratamiento automatizado, sus finalidades, principales criterios, consecuencias y vías de impugnación.
• Mantener trazabilidad: conservar registros suficientes para reconstruir la decisión y determinar responsabilidades.
• Establecer mecanismos de impugnación: permitir revisión, corrección de datos, aporte de información y obtención de una respuesta fundada.
• Regular contractualmente a los proveedores: prever documentación, auditoría, seguridad, incidentes, subcontratación, actualizaciones, conservación de registros y responsabilidad.
• Monitorear todo el ciclo de vida: continuar la evaluación mientras el sistema permanezca en funcionamiento.

21. Estrategia uruguaya de inteligencia artificial

Uruguay cuenta con una Estrategia Nacional de Inteligencia Artificial 2024-2030, orientada a impulsar un uso ético, responsable, seguro y favorable a la innovación.

En la práctica, el régimen jurídico aplicable a los algoritmos se construye de forma transversal mediante protección de datos personales, derecho a la igualdad, acceso a la información pública, procedimiento administrativo, defensa del consumidor, responsabilidad civil, seguridad de la información, propiedad intelectual, derecho laboral y normativa sectorial.

Como referencia comparada, el Reglamento de Inteligencia Artificial de la Unión Europea adopta un enfoque basado en riesgos, imponiendo obligaciones más estrictas a los sistemas de alto riesgo y deberes específicos de documentación, evaluación, transparencia, supervisión y gestión de incidentes.

Aunque este reglamento no sustituye el derecho uruguayo, puede resultar relevante para empresas uruguayas que operen en el mercado europeo y como estándar técnico-jurídico de buenas prácticas.

22. Conclusión

Los algoritmos no son neutrales por el solo hecho de utilizar matemáticas. Todo sistema algorítmico contiene decisiones humanas: la finalidad perseguida, los datos seleccionados, las variables utilizadas, los errores tolerados, el umbral elegido y las consecuencias asignadas al resultado.

La automatización no elimina la responsabilidad. La redistribuye entre quienes diseñan, proveen, integran, implementan, controlan y utilizan el sistema.

Desde el punto de vista jurídico, una organización no debería implementar una decisión automatizada relevante si no puede responder claramente:

1. qué datos utiliza;
2. con qué fundamento jurídico;
3. qué finalidad persigue;
4. cómo se produce el resultado;
5. qué errores puede cometer;
6. quién controla su funcionamiento;
7. cómo puede impugnarse la decisión;
8. quién responderá si causa un daño.

Cuanto mayor sea el impacto potencial de una decisión algorítmica sobre los derechos de una persona, mayores deben ser la transparencia, la supervisión humana, la trazabilidad, la seguridad y las garantías de impugnación.

La tecnología puede asistir a las personas y mejorar las instituciones. Pero no debe convertirse en una estructura opaca que impida comprender, cuestionar o atribuir responsabilidad por las decisiones que afectan derechos.