Precisamos falar sobre discriminação algorítmica

Publicado originalmente em Instituto Palavra Aberta. Para acessar, clique aqui.

Daniela Machado é coordenadora do EducaMídia

Cada vez mais, algoritmos e ferramentas de inteligência artificial afetam aspectos importantes de nossas vidas — de forma transparente ou sem que tenhamos conhecimento. Podemos escolher o ChatGPT para redigir um texto, por exemplo, mas não temos qualquer gerência sobre sistemas sofisticados que selecionam os “melhores” para um emprego a partir de pilhas de currículos ou sobre bancos de dados que “preveem” quem tem mais probabilidade de dar calote em um empréstimo bancário.

Em busca de eficiência e escala, muitos processos vêm sendo automatizados nas últimas décadas. Há aspectos positivos inegáveis em vários deles; mas também desafios e até violências que precisam ser discutidas mais amplamente, como no caso de preconceitos e discriminação perpetuados por modelos matemáticos. 

Pesquisadores da Universidade de Chicago e do MIT relataram há mais de 20 anos como sistemas automáticos de análise de currículos tinham preferência por candidatos com nomes tipicamente atribuídos a pessoas brancas nos Estados Unidos, como Emily Walsh e Brendan Baker, em detrimento daqueles com nomes mais associados a afro-americanos, como Lakisha Washington e Jamaal Jones. Este é um dos exemplos narrados pela cientista de dados Cathy O’Neil em seu livro “Armas de Destruição Matemática” (o título em inglês — Weapons of Math Destruction — faz uma alusão ao termo “weapons of MASS destruction”, ou seja, armas de destruição em massa).

“Os dados não vão desaparecer. Nem os computadores e muito menos a matemática. Modelos preditivos são, cada vez mais, as ferramentas com as quais contaremos para comandar nossas instituições, alocar nossos recursos e gerenciar nossas vidas”, cita a autora. “Mas esses modelos são construídos não apenas a partir de dados, mas também de escolhas que fazemos sobre quais dados devemos considerar — e quais não. Essas escolhas não são apenas sobre logística, lucro e eficiência. Elas são fundamentalmente uma questão moral.” 

É preciso lembrar que racismo, capacitismo, homofobia e outras formas de preconceito não nasceram com a inteligência artificial. Mas é igualmente importante compreender a escala que podem adquirir com esses sistemas. 

“O racismo algorítmico é uma espécie de atualização do racismo estrutural, sua ponta de lança na era da datificação da sociedade”, afirmou o pesquisador Tarcízio Silva, autor de “Racismo algorítmico: inteligência artificial e discriminação nas redes digitais”, em entrevista ao Centro de Estudos Estratégicos da Fiocruz no início deste ano. “Racismo algorítmico não é uma questão de programação ou engenharia. Mais importante que as linhas de código é saber quais são as relações de poder e quais decisões são habilitadas pela implementação de alguma tecnologia.”

Daí a necessidade de ampliar o debate sobre letramento algorítmico e dar mais visibilidade a grupos de pesquisa que discutem o tema à luz da justiça e da equidade social.

Um desses grupos é o Center for Critical Race + Digital Studies, que produz pesquisas e sensibiliza a sociedade sobre como raça e identidade moldam e são moldadas pelas tecnologias digitais. Seus pesquisadores chamam atenção para o fato de que algoritmos não são neutros porque carregam valores e escolhas de seus programadores, instituições, da própria cultura e de nossa história. 

Eles apontam que só é possível entender o conceito de viés algorítmico a partir da compreensão das estruturas sociais das quais fazemos parte, em que grupos são marginalizados por conta de sua cor, gênero ou opção sexual. E classificam seis tipos de viés, entre os quais o histórico — que surge quando há um desalinhamento entre o mundo tal como é e os valores ou objetivos a serem codificados e propagados num modelo — e o de representação — em que uma população é sub ou mal representada no momento de treinar o modelo.

“Não escaparemos dos horrores do viés algorítmico até que nossa cultura adote um quadro de desenvolvimento tecnológico – um ethos – que enfrente as injustiças históricas e atuais e dê prioridade ao fortalecimento das comunidades”, argumentam. 

Por isso, da mesma forma como a educação antirracista deve extrapolar a efeméride do Dia da Consciência Negra e fazer parte do dia a dia das escolas além de projetos em torno da data de 20 de novembro, também o letramento algorítmico precisa conquistar mais espaços na formação de crianças e adolescentes. É assim que a sociedade poderá se preparar para usufruir da tecnologia, ao mesmo tempo em que combate preconceitos e discriminação.  

Compartilhe:

Share on whatsapp
Share on twitter
Share on facebook
Share on email
Share on linkedin
Share on telegram
Share on google
Language »
Fonte
Contraste