O movimento #BlackLivesMatter trouxe mais uma vez à superfície a questão do racismo institucional, que é a prática do racismo pelas instituições públicas ou privadas que de forma indireta promovem a exclusão ou o preconceito. E, infelizmente, isso pode estar sendo reforçado pelo machine learning.
Não devemos confundir racismo com preconceito, já que o racismo é uma das muitas faces do preconceito. Assim, é importante lembrarmos que o preconceito abarca uma miríade de discriminações que vão além da raça e envolvem gênero, local de origem, orientação sexual, classe social etc.
Discriminação institucional e machine learning
Poderíamos pensar em uma discriminação institucional? Aquela que faz com que em nossas empresas, segundo dados do IBGE, mulheres recebam cerca de 20% menos que os homens em condições similares ou aceitemos ou não clientes por critérios de região ou profissão?
Hoje, uma das áreas mais populares da Inteligência Artificial no mercado, é o machine learning ou aprendizado de máquina. Ela e se caracteriza por um programa de computador que aprende com a experiência, assimilando padrões entre dados.
Como surge discriminação algorítmica via Machine Learning?
E, de onde vem essa experiência que o machine learning vivencia? Na maioria das vezes dos dados históricos de nossas organizações. E se nossos dados forem racistas, misóginos ou discriminatórios em relação à renda ou residência? Bom, nesse momento entramos na seara dos algoritmos com viés, ou seja, que possuem uma distorção sistemática.
Nesse momento você pode se perguntar o porquê de seus dados poderem ser racistas, misógino ou discriminatórios e aqui temos alguns exemplos para ilustrar:
O Compas foi um software amplamente utilizado em tribunais americanos para aplicação de sentenças. Um estudo independente realizado pela ONG Propublica revelou que negros tinham o dobro de chances de serem classificados como possíveis reincidentes de crimes violentos que os brancos.
Da mesma forma, em 2014 a Amazon utilizou um algoritmo de seleção de currículos que priorizava candidatos do sexo masculino em detrimento do feminino ou ainda birôs de crédito que tem utilizado dados de CEP ou profissão como fonte de dados para concessão de crédito.
Normalmente, esses problemas decorrem da construção de modelos sem conhecimento e sem a correção de vieses ocultos, o que pode levar a resultados distorcidos, tendenciosos ou mesmo errados. Eles acabam por reforçar estigmas sociais, econômicos e raciais e institucionalizando-os com o requinte de parecerem resultados científicos, já que são baseados em modelos matemáticos.
Cabe ressaltar que o viés em machine learning não advém apenas de dados históricosdiscriminatórios e vamos falar sobre os mais comuns.
Viés de amostragem
Ocorre quando a amostra analisada pelo algoritmo é incompleta ou não representa o ambiente no qual ele será executado. Por exemplo, um artigo do MIT demonstrou falhas em mecanismos de reconhecimento facial, onde a proporção entre imagens de homens chega a ser 75% e de brancos, 80%, implicando diversos erros para o reconhecimento de mulheres e outras etnias.
Viés de preconceito
Ocorre quando modelos são treinados por dados influenciados por estereótipos ou fatores culturais. Por exemplo, modelos de reconhecimento de imagem treinados com homens em escritórios e mulheres cozinhando, modelos de concessão de crédito que penalizam profissões mais operacionais ou periferias.
Nas periferias há uma concentração de negros, tecnologias que restrinjam a comercialização ou extensão de serviços baseados em CEP podem perpetuar a exclusão social dessas pessoas.
Outro exemplo são as ferramentas de seleção de currículos treinadas com maior proporção de homens que de mulheres, levando o algoritmo a reforçar a priorização de características masculinas.
Viés do observador
Ocorre devido à tendência do Profissional de Dados observar o que ele espera encontrar. Ele traz para a análise de dados eventuais preconceitos que carrega consigo.
Por exemplo, um Profissional de Dados enviesado, pode não ver problemas que os dados que ele está analisando sempre associem homens com escritórios e mulheres com cozinhas, já que ele compartilha dessa visão de mundo e sociedade. Logo esse é o resultado que ele espera encontrar nos dados.
Detectar e corrigir vieses nos dados não é fácil, embora seja crítico. Não há uma bala de prata para todos os casos. Porém, um começo promissor reside em conhecer os dados, a sua qualidade e proporcionalidade amostral, pensamento crítico sobre fatores históricos e sociais que podem influenciar os dados. O uso de diversidade nos times de desenvolvimento traz visões e experiências diferentes aos projetos, e são um bom começo para o bom uso dos algoritmos de machine learning.
Gostou do conteúdo sobre machine learning e algorítimo discriminatório? Você tem mais alguma informação para compartilhar conosco e enriquecer a discussão? Então comente o post.
*Marcelo Costa é Analista de Dados na Protiviti, empresa especializada em soluções para gestão de riscos, compliance, auditoria interna, investigação, proteção e privacidade de dados.
*Rodrigo Kramper é Líder da prática de Advanced Data and Analytics Solutions na Protiviti, empresa especializada em soluções para gestão de riscos, compliance, auditoria interna, investigação, proteção e privacidade de dados.
Riscos empresariais podem ser resumidos como as incertezas com as quais os gestores devem lidar quando estão à frente de uma organização. Em maior e menor grau, toda organização está exposta a riscos, sejam eles regulatórios, operacionais, estratégicos, cibernéticos, entre tantos outros tipos possíveis. A auditoria interna é uma aliada indispensável nesse contexto.
Como mencionado, a incerteza é natural. No entanto, quanto melhores as condições de as empresas dimensionarem os riscos maiores serão as chances que elas terão de obter sucesso no mercado em que atuam. E é exatamente em face desse trabalho que a auditoria interna ganha relevância.
Afinal de contas, fica a cargo deste departamento acompanhar a conformidade dos processos de trabalho e atuar de forma preventiva para evitar quaisquer problemas dessa natureza. Para quem é auditor ou tem alguma interface com o trabalho de auditoria na organização vale ficar atento ao que vem sendo chamado de próxima geração da auditoria interna. E este é o tema do artigo de hoje. Continue a leitura e entenda quais são eles.
Entenda as dimensões da auditoria interna
O risco empresarial pode ser pensando tanto sob o ponto de vista interno quanto externo. No tópicos, a seguir, vamos pontuar o que é cada um deles. Acompanhe!
Externo
O risco externo tem a ver com o humor do mercado e a percepção do ambiente exterior em relação à organização. Para mensuração desse tipo de risco, vale a analise de notícias, comentários em redes sociais, informações setoriais. Enfim, acompanhar o comportamento de agentes externos em relação à empresa, de modo a capturar situações adversas e trabalhar de forma preventiva em relação a possíveis problemas.
O objetivo aqui é apurar as menções que a empresa recebe em diferentes espaços, sejam elas boas ou de ruins. Ou, ainda, tentar reconhecer algo que não esteja diretamente relacionado organização, mas que talvez possa impactá-la.
Interno
Os riscos internos estão ligados a questões operacionais. A partir disso, podemos pensar em uma série de pontos relevantes, tais como: qual é o risco se a equipe de vendas não souber apresentar determinado produto ao mercado? Quais os riscos das lideranças de um negócio gerirem mal o os profissionais dos seus times? Como trabalhar com esses riscos? Que ações tomar?
Para ficarmos em um exemplo prático, podemos pensar no risco de acidente de trabalho. Existe todo um protocolo adotado pelas organizações, o que envolve diferentes níveis de monitoramento, treinamento, adoção de equipamentos, checklist procedimental, entre tantas outras coisas. No entanto, existiria um trabalho consistente para se verificar quais são as reais causas dos acidentes de trabalho? Ou a empresa estaria apenas reproduzindo antigos processos que, muitas vezes, são insuficientes para tratar do problema?
E é aí que a próxima geração da auditoria interna ganha relevância. Isso porque esse tipo de abordagem pressupõe a adoção de técnicas inovadoras para tratar os riscos em sua “causa raiz”.
Uma abordagem válida frente ao problema de segurança em ambiente de trabalho seria realizar uma análise minuciosa dos acidentes já registrados se valendo de técnicas de tratamento de grandes volumes de dados e inteligência artificial afim de identificar padrões frente aos casos observados.
Tendências da auditoria interna
Conheça as principais tendências da auditoria interna frente as interfaces de governança, metodologia e tecnologia.
Governança
No que se refere a governança da auditoria interna, o que se espera das equipes é um constante esforço voltado à inovação. Para isso, se faz necessário estabelecer uma visão coletiva de múltiplos riscos, controles, conformidades — tudo isso avaliado a partir de uma perspectiva única.
Cabe também fazer algumas considerações em relação à formação dos profissionais ligados a atividades de auditoria interna. O que era há bem pouco tempo considerado qualificação ou função do futuro, hoje já se considera como técnica essencial para exercício desse tipo de atividade. Isto é, se espera cada vez mais por novas abordagens para a condução dos trabalhos e aplicação dos talentos e recursos.
Quando se fala em auditoria interna, não se pode perder de vista as melhores práticas de auditoria interna. Afinal de contas, trabalhar pela integridade e ética nas organizações também é uma competência das auditorias internas.
Metodologia
Quanto à metodologia da auditoria interna, deve-se considerar a adoção de uma avaliação dinâmica de todos os processos. Isso se dá a partir do uso de fontes de dados internas e externas. Além disso, há de se pensar na implementação de um programa maduro de monitoramento, que permita às auditorias internas responder às mudanças nos negócios quase que em tempo real.
As novas tendências de metodologia também passam pela geração de relatórios de alto impacto. Isso porque formatos de relatórios longos e narrativos dificultam um bom aproveitamento das informações absolutamente estratégicas desses documentos.
Tecnologia na auditoria interna
A tecnologia incorporada ao ciclo de vida da auditoria interna será uma competência vital às organizações. Afinal de contas, o tratamento de grandes volumes de dados gerados pelas empresas acaba por exigir ferramentas cada vez mais refinadas. Em meio a esse trabalho, cabe explorar as tecnologias existentes e aquelas em ascensão, como RPA, Inteligência Artificial, Machine Learning, analise massiva de dados, etc.
Com a automatização de tarefas altamente manuais dentro da função, o aproveitamento de dados permite entender processos em um nível mais profundo. Além disso, graças aos métodos de AI e algorítmicos, ainda é possível aumentar a eficácia e a eficiência de testes complexos, o que contribui para o reconhecimento de padrões.
Frente a esse que foi exposto, podemos afirmar que a análise de dados massivas e uma variedade de aplicações de tecnologias é uma característica definidora das funções de auditoria interna da próxima geração.
