Ver todas

Machine Learning: o algoritmo da minha empresa reforça a discriminação?

Por: Protiviti

Publicado em: 22 de setembro de 2020

Por Marcelo Costa e Rodrigo Kramper*

O movimento #Black Lives Matter trouxe mais uma vez à superfície a questão do racismo institucional, que é a prática do racismo pelas instituições públicas ou privadas que de forma indireta promovem a exclusão ou o preconceito. E, infelizmente, isso pode estar sendo reforçado pelo machine learning.

Não devemos confundir racismo com preconceito, já que o racismo é uma das muitas faces do preconceito. Assim, é importante lembrarmos que o preconceito abarca uma miríade de discriminações que vão além da raça e envolvem gênero, local de origem, orientação sexual, classe social etc.

Discriminação institucional e machine learning

Poderíamos pensar em uma discriminação institucional? Aquela que faz com que em nossas empresas, segundo dados do IBGE, mulheres recebam cerca de 20% menos que os homens em condições similares ou aceitemos ou não clientes por critérios de região ou profissão?

Hoje, uma das áreas mais populares da Inteligência Artificial no mercado, é o machine learning ou aprendizado de máquina. Ela e se caracteriza por um programa de computador que aprende com a experiência, assimilando padrões entre dados.

machine learning alogrítimo da discriminação

Como surge discriminação algorítmica?

E, de onde vem essa experiência que o machine learning vivencia? Na maioria das vezes dos dados históricos de nossas organizações. E se nossos dados forem racistas, misóginos ou discriminatórios em relação à renda ou residência? Bom, nesse momento entramos na seara dos algoritmos com viés, ou seja, que possuem uma distorção sistemática.

Nesse momento você pode se perguntar o porquê de seus dados poderem ser racistas, misógino ou discriminatórios e aqui temos alguns exemplos para ilustrar:

O Compas foi um software amplamente utilizado em tribunais americanos para aplicação de sentenças. Um estudo independente realizado pela ONG Propublica revelou que negros tinham o dobro de chances de serem classificados como possíveis reincidentes de crimes violentos que os brancos.

Da mesma forma, em 2014 a Amazon utilizou um algoritmo de seleção de currículos que priorizava candidatos do sexo masculino em detrimento do feminino ou ainda birôs de crédito que tem utilizado dados de CEP ou profissão como fonte de dados para concessão de crédito.

>>> Leia também: O impacto do comportamento nas redes sociais na empresa

Normalmente, esses problemas decorrem da construção de modelos sem conhecimento e sem a correção de vieses ocultos, o que pode levar a resultados distorcidos, tendenciosos ou mesmo errados. Eles acabam por reforçar estigmas sociais, econômicos e raciais e institucionalizando-os com o requinte de parecerem resultados científicos, já que são baseados em modelos matemáticos.

Cabe ressaltar que o viés em machine learning não advém apenas de dados históricos discriminatórios e vamos falar sobre os mais comuns.

Viés de amostragem

Ocorre quando a amostra analisada pelo algoritmo é incompleta ou não representa o ambiente no qual ele será executado. Por exemplo, um artigo do MIT demonstrou falhas em mecanismos de reconhecimento facial, onde a proporção entre imagens de homens chega a ser 75% e de brancos, 80%, implicando diversos erros para o reconhecimento de mulheres e outras etnias.  

Viés de preconceito

Ocorre quando modelos são treinados por dados influenciados por estereótipos ou fatores culturais. Por exemplo, modelos de reconhecimento de imagem treinados com homens em escritórios e mulheres cozinhando, modelos de concessão de crédito que penalizam profissões mais operacionais ou periferias.

Nas periferias há uma concentração de negros, tecnologias que restrinjam a comercialização ou extensão de serviços baseados em CEP podem perpetuar a exclusão social dessas pessoas.

Outro exemplo são as ferramentas de seleção de currículos treinadas com maior proporção de homens que de mulheres, levando o algoritmo a reforçar a priorização de características masculinas.

Viés do observador

Ocorre devido à tendência do Profissional de Dados observar o que ele espera encontrar. Ele traz para a análise de dados eventuais preconceitos que carrega consigo.

Por exemplo, um Profissional de Dados enviesado, pode não ver problemas que os dados que ele está analisando sempre associem homens com escritórios e mulheres com cozinhas, já que ele compartilha dessa visão de mundo e sociedade. Logo esse é o resultado que ele espera encontrar nos dados.

machine learning alogrítimo da discriminação

Detectar e corrigir vieses nos dados não é fácil, embora seja crítico. Não há uma bala de prata para todos os casos. Porém, um começo promissor reside em conhecer os dados, a sua qualidade e proporcionalidade amostral, pensamento crítico sobre fatores históricos e sociais que podem influenciar os dados. O uso de diversidade nos times de desenvolvimento traz visões e experiências diferentes aos projetos, e são um bom começo para o bom uso dos algoritmos de machine learning.

Gostou do conteúdo sobre machine learning e algorítimo discriminatório? Você tem mais alguma informação para compartilhar conosco e enriquecer a discussão? Então comente o post.


*Marcelo Costa é Analista de Dados na ICTS Protiviti, empresa especializada em soluções para gestão de riscos, compliance, auditoria interna, investigação, proteção e privacidade de dados.

*Rodrigo Kramper é Líder da prática de Advanced Data and Analytics Solutions na ICTS Protiviti, empresa especializada em soluções para gestão de riscos, compliance, auditoria interna, investigação, proteção e privacidade de dados.

Compartilhe esse post

Publicações

Relacionadas

Diversidade nas empresas é lucrativa: lições do futebol

A diversidade nas empresas é duplamente positiva: ela ajuda a dar mais justiça social e também torna a empresa lucrativa. Saiba mais.

Leia mais

Mundo pós-pandemia: como a tecnologia pode afetar o novo “normal”?

Estamos diante de um caso único na história. Mesmo a gripe espanhola não se compara com os estragos que a atual pandemia pode trazer para todo o mundo.

Leia mais

Selo Agro+ Integridade reconhece o seu programa de compliance

Faça parte do seleto rol de empresas que possuem esse reconhecimento e fortaleça a sua governança corporativa, Selo Agro+ Integridade

Leia mais

Tudo o que você precisa saber sobre falta de ética no trabalho

A falta de ética no trabalho pode impactar diretamente o resultado das empresas e o bem-estar coletivo. Quer conhecer mais sobre o assunto? Leia mais.

Leia mais