Discriminação algorítmica: o racismo digital que não enxergamos

Por William Rocha – Professor de Direito Digital e Proteção de Dados e Privacidade, diretor de Inclusão Digital e Inovação da OAB-RJ, sócio do escritório Terra Rocha Advogados – Colunista convidado.

A inteligência artificial costuma chegar acompanhada de uma promessa sedutora: decisões mais rápidas, eficientes e objetivas. Mas há uma questão anterior à tecnologia que não pode ser ignorada. Algoritmos aprendem a partir de dados produzidos por uma sociedade que carrega desigualdades, preconceitos e discriminações históricas.
Quando esses dados são utilizados para treinar sistemas automatizados, existe o risco de transformar desigualdades sociais em padrões matemáticos. Surge, então, uma forma particularmente complexa de discriminação: aquela que não se apresenta explicitamente como preconceito, mas pode estar incorporada aos dados, às variáveis escolhidas, aos critérios de classificação ou ao próprio desenho do sistema.
É o que podemos chamar, em determinadas situações, de racismo digital.
O fenômeno ganha relevância porque sistemas algorítmicos participam cada vez mais de decisões que afetam concretamente a vida das pessoas: reconhecimento facial, concessão de crédito, recrutamento profissional, seguros, segurança pública, prevenção a fraudes, publicidade direcionada e acesso a produtos e serviços.
O algoritmo não precisa conhecer diretamente a raça ou a cor de alguém para produzir efeitos discriminatórios. Determinadas informações aparentemente neutras podem funcionar como variáveis correlacionadas a características socioeconômicas, territoriais ou raciais. O resultado pode ser uma discriminação indireta, estatisticamente construída e muito mais difícil de perceber.
Quando o preconceito ganha aparência de neutralidade
Talvez esse seja o aspecto mais preocupante da discriminação algorítmica: sua invisibilidade.
Uma decisão humana discriminatória pode, em determinadas circunstâncias, ser identificada, questionada e responsabilizada. No ambiente algorítmico, entretanto, a decisão pode surgir acompanhada da autoridade aparente dos números: uma pontuação, um índice de risco, uma classificação ou simplesmente a indicação de que determinado indivíduo é ou não elegível.
A matemática, porém, não transforma automaticamente uma decisão em justa.
Se determinados grupos estiverem sub-representados nos dados utilizados no desenvolvimento de uma tecnologia, por exemplo, seu desempenho poderá ser desigual. Da mesma forma, bases históricas podem carregar padrões discriminatórios preexistentes e permitir que sistemas aprendam justamente aquilo que a sociedade pretende superar.
A tecnologia, nesse cenário, deixa de apenas refletir o passado e passa a utilizá-lo para decidir o futuro.
Reconhecimento facial e o exemplo mais visível
O reconhecimento facial tornou-se um dos exemplos mais conhecidos desse debate. Diferenças de desempenho entre grupos demográficos demonstradas em pesquisas sobre determinadas tecnologias evidenciaram que acurácia global não é suficiente para avaliar um sistema.
Um índice aparentemente elevado pode esconder taxas de erro significativamente diferentes entre grupos.
Essa constatação altera a própria discussão jurídica. Não basta perguntar se determinado sistema funciona. É necessário perguntar para quem funciona, em quais condições, com quais taxas de erro e quem suporta as consequências quando ele falha.
Quando a tecnologia é utilizada em ambientes de segurança, controle de acesso ou identificação de pessoas, um falso positivo deixa de ser apenas um problema estatístico. Ele pode produzir constrangimento, exclusão, investigação indevida e outras consequências concretas sobre direitos fundamentais.
LGPD, governança e responsabilidade:  a

 LGPD oferece instrumentos importantes para esse debate ao estabelecer princípios como finalidade, adequação, necessidade, transparência, segurança, prevenção e não discriminação.
O art. 6º, IX, é especialmente significativo ao prever a não discriminação, impedindo a realização do tratamento de dados para fins discriminatórios ilícitos ou abusivos.
Também merece atenção o art. 20 da LGPD, relacionado às decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem interesses do titular.
Mas a resposta jurídica não pode se limitar à existência formal de uma política de privacidade ou de uma base legal para o tratamento.
Governança algorítmica exige uma abordagem mais ampla: qualidade e representatividade dos dados, documentação dos sistemas, avaliação periódica de desempenho, identificação de vieses, supervisão humana adequada, mecanismos de contestação e definição clara de responsabilidades.
Em sistemas de maior impacto, avaliar riscos antes da implantação deve integrar a própria arquitetura de governança.
Não basta uma IA eficiente. Ela precisa ser responsável
A discussão sobre discriminação algorítmica demonstra que o grande desafio contemporâneo não está apenas em desenvolver inteligências artificiais mais poderosas.
Precisamos desenvolver tecnologias compatíveis com direitos fundamentais.
Um algoritmo pode ser tecnicamente sofisticado e, ainda assim, socialmente injusto. Pode alcançar excelentes indicadores gerais e produzir resultados desproporcionalmente negativos para determinados grupos. Pode cumprir perfeitamente a função para a qual foi programado e, mesmo assim, revelar que o problema estava justamente na forma como essa função foi concebida.
Por isso, transparência, auditabilidade e avaliação de impacto não devem ser encaradas como obstáculos à inovação. São elementos necessários para uma inovação sustentável e juridicamente responsável.
O racismo digital talvez seja especialmente perigoso porque nem sempre conseguimos enxergá-lo.
Ele pode não aparecer em palavras ofensivas ou regras explicitamente discriminatórias. Pode estar escondido em uma base de dados, numa correlação estatística, em uma variável aparentemente neutra ou em uma diferença de desempenho que somente será descoberta depois que pessoas já tiverem sido afetadas.
O desafio não é impedir que algoritmos decidam. É impedir que a tecnologia transforme preconceitos históricos em decisões automatizadas com aparência de neutralidade.
Porque uma sociedade verdadeiramente digital não deve apenas produzir mais tecnologia. Deve produzir tecnologia capaz de respeitar, proteger e ampliar direitos.