Cuando el algoritmo se equivoca, quién responde. La responsabilidad civil de las empresas por decisiones tomadas por inteligencia artificial

Los sistemas de inteligencia artificial ya deciden, solos o casi solos, una cantidad creciente de cuestiones que antes pasaban por las manos de un gerente, un analista o un reclutador. Aprobación de crédito, precios dinámicos, filtrado de currículos, detección de fraude, atención al cliente e incluso rescisión de contratos vienen siendo automatizados por empresas de todos los tamaños, movidas por la promesa de ganar eficiencia y reducir costos operativos. El problema surge cuando esos sistemas se equivocan, discriminan o causan un perjuicio a un cliente, empleado o proveedor. En ese momento, la pregunta que llega al área legal de la empresa es directa: quién responde por lo que decidió la máquina.

La respuesta, en el ordenamiento jurídico brasileño, es prácticamente siempre la misma: la empresa. El algoritmo no tiene personalidad jurídica, no puede ser demandado en un proceso y no firma contratos. Es una herramienta, por más sofisticada que sea, y quien la utiliza como parte de su actividad económica responde por los efectos de su funcionamiento frente a terceros. Esta lógica, que parece simple, esconde una serie de matices sobre el tipo de responsabilidad aplicable, la carga de la prueba y las defensas disponibles, que todo gestor debería conocer antes de delegar decisiones sensibles a un sistema automatizado.

Responsabilidad objetiva: el riesgo de la actividad recae sobre quien la explota

El Código Civil brasileño, en el artículo 927, párrafo único, establece que existe obligación de reparar el daño, independientemente de culpa, cuando la actividad normalmente desarrollada por el autor del daño implica, por su naturaleza, riesgo para los derechos de terceros. Las empresas que adoptan IA en procesos de decisión masiva, como el otorgamiento de crédito o la selección de personal, difícilmente puedan argumentar que esa actividad está exenta de riesgo. Por el contrario, la propia lógica de la automatización a gran escala presupone que los errores sistémicos, cuando ocurren, afectan a un número considerable de personas al mismo tiempo, lo que refuerza su encuadre dentro de la teoría del riesgo.

Cuando la relación involucra a un consumidor, la situación es todavía más rígida para la empresa. El Código de Defensa del Consumidor, en los artículos 12 y 14, impone responsabilidad objetiva al proveedor por defecto del producto o del servicio, dejando de lado la discusión sobre culpa. Si un sistema de recomendación induce al consumidor a error, si un chatbot proporciona información equivocada que genera un perjuicio, o si un algoritmo de precios aplica una discriminación de precio sin justificación técnica, la empresa proveedora responde independientemente de probar que actuó con negligencia. El argumento de que la decisión fue tomada por una inteligencia artificial, y no por un ser humano, no exime de esa responsabilidad, solo traslada la discusión a otro punto: si la empresa tenía los medios para prever y evitar el daño al diseñar, entrenar o contratar ese sistema.

Lo que exige la LGPD cuando la decisión es automatizada

La Ley General de Protección de Datos Personales de Brasil, Ley 13.709 de 2018 (conocida como LGPD), trata específicamente el tema en su artículo 20, al garantizar al titular de los datos el derecho de solicitar revisión de decisiones tomadas únicamente con base en tratamiento automatizado de datos personales, cuando dichas decisiones afecten sus intereses. Esto incluye decisiones relacionadas con el perfil personal, profesional, de consumo y de crédito, o con aspectos de la personalidad. En la práctica, significa que una empresa que niega un financiamiento, rechaza una contratación o cierra una cuenta con base exclusiva en un score calculado por algoritmo necesita estar preparada para explicar, de forma clara y accesible, los criterios generales que llevaron a esa decisión, en caso de que el titular lo solicite.

Esa obligación de explicabilidad choca con un problema técnico conocido como caja negra algorítmica: muchos modelos de aprendizaje automático, especialmente los basados en redes neuronales profundas, no permiten una explicación simple y lineal de por qué llegaron a determinado resultado. Esto no exime a la empresa de su deber legal. Por el contrario, refuerza la necesidad de adoptar, desde la fase de desarrollo o contratación del sistema, modelos que permitan algún grado de interpretabilidad, o al menos documentar los criterios, variables y pesos utilizados en el entrenamiento, de modo que sea posible reconstruir la lógica de la decisión cuando lo exija la autoridad de protección de datos o el Poder Judicial.

El avance del marco regulatorio de inteligencia artificial en Brasil

En el Congreso brasileño avanza un proyecto de ley específico para regular el uso de inteligencia artificial en el país, originado en una propuesta elaborada por una comisión de juristas y ya aprobada en una de las cámaras legislativas. La propuesta clasifica los sistemas de IA por nivel de riesgo, establece obligaciones más rígidas para los clasificados como de alto riesgo, categoría en la que normalmente se encuadran los sistemas usados en reclutamiento, otorgamiento de crédito, puntuación crediticia, seguros y evaluación de desempeño de trabajadores, y prevé expresamente la responsabilidad civil del proveedor y del operador del sistema por los daños causados.

Incluso antes de su conversión definitiva en ley, este movimiento regulatorio ya marca la dirección que tribunales y organismos de fiscalización tienden a adoptar en la interpretación de casos relacionados con IA: cuanto mayor el potencial impacto de la decisión automatizada sobre los derechos de las personas físicas, mayor el estándar de diligencia exigido a la empresa que la implementa. Los gestores que esperan a que la ley entre en vigor para recién entonces preocuparse por el compliance de IA corren el riesgo de ser sorprendidos por decisiones judiciales que ya aplican estos parámetros con base en los principios generales de responsabilidad civil y protección de datos ya vigentes.

Sesgo algorítmico y discriminación: un riesgo jurídico concreto, no hipotético

Uno de los riesgos más documentados en los sistemas de IA aplicados a decisiones sobre personas es la reproducción y, en algunos casos, la amplificación de sesgos presentes en los datos históricos usados para entrenar el modelo. Un sistema de filtrado de currículos entrenado con datos de contrataciones pasadas de una empresa que históricamente privilegió determinado perfil de candidato tiende a reproducir ese patrón, aunque ninguna línea de código mencione explícitamente género, raza o edad. Lo mismo vale para modelos de otorgamiento de crédito que usan como variable indirecta el código postal del solicitante, reproduciendo de forma velada la segregación socioeconómica.

Este tipo de discriminación algorítmica indirecta ya es objeto de atención creciente por parte de la justicia laboral y de los organismos de defensa del consumidor, y puede configurar un acto discriminatorio sujeto a reparación por daño moral colectivo o individual, además de ser cuestionado por el ministerio público laboral o por órganos de defensa de la competencia, dependiendo del sector. La empresa que terceriza la decisión a un proveedor de tecnología no se libera de la responsabilidad frente al perjudicado: puede, como máximo, buscar un resarcimiento por vía regresiva contra el proveedor del sistema, siempre que el contrato de licenciamiento prevea cláusulas claras de responsabilidad y garantía respecto de la ausencia de sesgo discriminatorio comprobable.

Gobernanza algorítmica como medida de protección jurídica y reputacional

La forma más eficaz de reducir la exposición jurídica en esta área no es evitar el uso de inteligencia artificial, sino estructurar procesos internos de gobernanza que documenten cómo fue elegido, probado y monitoreado cada sistema. Esto implica mantener un registro de las versiones del modelo utilizado, de los criterios y bases de datos empleados en el entrenamiento, de las pruebas de auditoría contra sesgo discriminatorio realizadas periódicamente, y de la existencia de un canal efectivo de revisión humana para decisiones que afecten significativamente derechos de clientes o trabajadores, mecanismo conocido como human in the loop.

Los contratos con proveedores de soluciones de IA también merecen atención redoblada. Cláusulas que definen responsabilidad por fallas del sistema, obligación de auditoría, garantías sobre la calidad de los datos de entrenamiento y niveles de servicio para la corrección de errores detectados reducen significativamente el riesgo de que la empresa contratante tenga que asumir sola indemnizaciones derivadas de una falla que, técnicamente, se originó en el producto del proveedor. La ausencia de estas cláusulas, lamentablemente todavía común en contratos de licenciamiento de software estandarizados, deja a la empresa usuaria expuesta a reclamos de terceros sin ningún respaldo contractual para trasladar el costo al verdadero responsable técnico de la falla.

La adopción de inteligencia artificial en los procesos de decisión empresarial no es, ni debería tratarse como, una elección meramente técnica de tecnología de la información. Se trata de una decisión estratégica con implicaciones directas en responsabilidad civil, protección de datos personales, derecho laboral y derecho del consumidor, que exige la participación del área legal desde la concepción del proyecto, no solo cuando el primer proceso judicial llega a la mesa de la dirección. Las empresas que tratan el cumplimiento normativo como una etapa posterior a la implementación tienden a descubrir, demasiado tarde, que el costo de corregir un sistema ya en funcionamiento es mucho mayor que el de diseñarlo correctamente desde el inicio, con acompañamiento jurídico adecuado a las particularidades de cada sector y tipo de decisión automatizada.