A adoção da Inteligência Artificial (IA) nas organizações está em franco crescimento, impulsionada pelas promessas de aumento de eficiência, melhoria na tomada de decisão e inovação nos serviços oferecidos. No entanto, essa tecnologia também traz consigo uma série de riscos que precisam ser identificados e gerenciados adequadamente para garantir que os benefícios sejam plenamente aproveitados enquanto os potenciais impactos negativos são mitigados. Este artigo tem como objetivo explorar de maneira detalhada a avaliação de riscos associados ao uso da IA nas organizações, fornecendo uma estrutura compreensiva para a identificação e categorização desses riscos.
IA nas Organizações: Identificação e Avaliação de Riscos
A primeira etapa na avaliação de riscos é a identificação clara do propósito das iniciativas de IA e dos modelos que serão utilizados. A IA pode ser aplicada de diversas formas, tanto internamente, para melhorar processos organizacionais, quanto externamente, para melhorar a interação com clientes e partes interessadas.
Uso Interno da Organização
Acelerar a Tomada de Decisão: Utilização de IA para analisar grandes volumes de dados e fornecer insights rápidos e precisos.
Aumentar a Eficiência das Atividades: Automatização de tarefas rotineiras, permitindo que os colaboradores se concentrem em atividades de maior valor agregado.
Disseminar e Facilitar o Acesso à Informação: Implementação de sistemas de IA para organizar e disponibilizar informações de forma mais eficiente e acessível.
Uso Externo para Clientes e Partes Interessadas
Atendimento ao Cliente: Implementação de chatbots e assistentes virtuais para melhorar a experiência do cliente.
Ouvidoria: Utilização de IA para analisar feedbacks e sugestões, identificando padrões e áreas de melhoria.
Publicidade e Marketing: Personalização de campanhas publicitárias com base em análises de comportamento e preferências dos consumidores.
Identificação dos Objetivos e Contexto de Uso para os Modelos de IA
Para uma avaliação eficaz de riscos, é fundamental entender o contexto de uso e os objetivos específicos dos modelos de IA implementados. A criação e operação da IA envolvem várias etapas críticas, incluindo:
Seleção de Dados e Ingestão: Escolha criteriosa dos dados utilizados para treinar os modelos de IA.
Classificação e Eliminação de Dados: Processamento e limpeza dos dados para garantir qualidade e relevância.
Indexação e Vetorização: Organização dos dados de maneira que possam ser eficientemente utilizados pelos modelos de IA.
Integração com LLMs de Mercado: Uso de modelos de linguagem pré-existentes, considerando a viabilidade e eficiência em comparação com o desenvolvimento de modelos próprios.
Conexão com Endpoints: Integração dos modelos de IA com os sistemas e aplicações existentes na organização.
As etapas constituem a cadeia de valor da criação e operação da IA. Endereçar os riscos nas etapas da cadeia é um facilitador para definir os responsáveis por atuar no tratamento deles.
Identificação dos Riscos
A identificação dos riscos envolve a análise de várias categorias de riscos e eventos específicos que podem impactar a organização:
Categorias de Risco
As categorias de risco referem-se aos conjuntos temáticos de risco que englobam diferentes tipos de ameaças e vulnerabilidades relacionadas ao uso de IA nas organizações. Essas categorias ajudam a estruturar e organizar os riscos de maneira a facilitar a sua identificação, avaliação e gerenciamento. No contexto de IA, as principais categorias de risco incluem:
Riscos Técnicos[DM1] [Rd2] : Incluem falhas nos algoritmos, problemas de segurança, questões de qualidade ou precisão, dificuldade de auditoria e vieses nos modelos.
Riscos Operacionais: Abrangem problemas de integração, custos para escalar as soluções, dependência excessiva da tecnologia, falta de capacitação e resistências internas.
Riscos Legais e Regulatórios: Referem-se à conformidade com a legislação aplicável e o uso ético da IA.
Riscos de Pessoas: a empresa pode não ter pessoas capacitadas com as habilidades necessárias para fazer o uso das inovações, como a IA
Categorias de risco
As categorias de risco são agrupamentos de eventos de risco que refletem grandes áreas de preocupação dentro das categorias de risco. Eles representam os temas mais amplos e críticos que podem impactar a organização de forma significativa e facilitam a definição dos donos dos riscos, ou seja, aqueles que devem se apropriar do risco e tomar ações para trata-lo. No contexto de IA, as principais categorias incluem:
Segurança da IA: Abrange todos os aspectos relacionados à proteção dos sistemas de IA contra ataques cibernéticos, vulnerabilidades e outras ameaças à segurança.
Privacidade de Dados na IA: Refere-se à proteção das informações pessoais e sensíveis usadas ou geradas pelos sistemas de IA, garantindo que a privacidade dos indivíduos seja respeitada e protegida.
Ética na IA: Envolve questões relacionadas ao uso ético da IA, incluindo a prevenção de vieses, discriminação e o uso responsável da tecnologia para garantir que ela beneficie a sociedade de maneira justa.
Conformidade Legal e regulatória na IA: Abrange a conformidade com todas as leis e regulamentos aplicáveis ao uso da IA, incluindo privacidade de dados, direitos autorais e outros aspectos legais relevantes. Importante frisar que o Brasil está em vistas de implantar o marco regulatório da IA.
Transparência e Auditabilidade na IA: Refere-se à capacidade de entender e explicar como os sistemas de IA tomam decisões, garantindo que os processos sejam transparentes e auditáveis.
Riscos de IA:Os riscos no uso de IA incluem coisas como alimentar dados de baixa qualidade em modelos de IA e não ter uma estrutura de governança de IA forte para proteger contra vieses não intencionais e desvios de modelo que degradam o desempenho. Mas as empresas também enfrentam riscos se optarem por limitar ou abrir mão do uso de IA. Por exemplo, elas podem ficar para trás de concorrentes que usam IA ou perder possíveis oportunidades de negócios.
Eventos de Risco
Os eventos de risco são a materialização dos riscos identificados dentro das categorias de risco. Eles são incidentes específicos que podem ocorrer como resultado dos riscos e que podem ter impactos significativos na organização. Exemplos de eventos de risco incluem:
Vazamento de Dados Confidenciais e Sensíveis: Ocorre quando modelos de IA são alimentados com dados confidenciais e, inadvertidamente, fornecem esses dados em suas respostas, expondo informações pessoais e sensíveis.
Discriminação e Inferências Indevidas: Acontece quando algoritmos perpetuam preconceitos existentes nos dados de treinamento, resultando em decisões injustas, ou quando a IA faz suposições errôneas com base em dados irrelevantes.
Alucinação ou Imprecisão nas Respostas: Refere-se à capacidade dos modelos de linguagem de gerar respostas convincentes, mas factualmente incorretas ou inconsistentes, levando a possíveis mal-entendidos ou decisões errôneas.
Delegação de Responsabilidade por Recomendações da IA: Envolve os riscos legais associados a ações tomadas com base em recomendações fornecidas pela IA, especialmente se essas recomendações forem incorretas ou mal interpretadas.
Violação de Propriedade Intelectual e Direitos Autorais: Ocorre quando modelos de IA utilizam conteúdos protegidos por propriedade intelectual sem a devida autorização, expondo a organização a riscos legais.
Opacidade e Inexplicabilidade: Refere-se à falta de clareza sobre como os modelos de IA chegam às suas conclusões, dificultando a auditoria e a explicação dos processos de decisão.
Quantificação dos Impactos
Após a identificação dos riscos, é crucial quantificar seus impactos potenciais. Isso inclui:
Impactos Reputacionais: Danos à imagem da organização devido a falhas na implementação da IA.
Multas e Sanções: Penalidades legais e regulatórias associadas a violações.
Interrupção dos Negócios: Paradas operacionais decorrentes de falhas tecnológicas ou problemas de segurança.
Conclusão
A avaliação de riscos do uso de IA nas organizações é um processo complexo, mas essencial para garantir que os benefícios dessa tecnologia sejam plenamente realizados, minimizando os impactos negativos. Ao seguir uma abordagem estruturada para identificar, categorizar e mitigar riscos, as organizações podem navegar com segurança na era da IA, promovendo inovação e eficiência de forma responsável e sustentável.
Com o aumento do acesso a dados de negócios fora dos limites da rede corporativa convencional, a segurança e a conformidade assumem uma importância cada vez maior. Por isso, as organizações devem buscar maneiras de aprimorar a proteção de seus dados, independentemente de sua localização, seja dentro da rede corporativa ou na nuvem. Além disso, é crucial que as organizações atendam aos requisitos regulatórios e do setor para garantir a segurança e a privacidade dos dados. A proteção de identidades e acessos é parte fundamental desse processo.
Mesmo em ambientes hospedados em nuvem, as organizações são responsáveis por proteger os dispositivos (endpoints) e acessos que transitam neste ambiente. E quando falamos sobre gestão e proteção de identidades e acessos, é notável a desatenção com a proteção aos acessos nas organizações.
Camadas de segurança na proteção de identidades e acessos
Em um modelo de defesa por profundidade, a gestão de identidade é uma das primeiras etapas de proteção na cibersegurança. A defesa em profundidade usa uma abordagem em camadas de segurança, em vez de depender de um único perímetro. Uma estratégia de defesa em profundidade usa uma série de mecanismos para reduzir o avanço de um ataque. Cada camada fornece proteção para que, se uma camada for violada, uma camada subsequente impedir que um invasor receba acesso não autorizado aos dados. Camadas de segurança podem incluir:
Segurança física, como limitar o acesso a um datacenter para apenas o pessoal autorizado
Controles de segurança de identidade e acesso, como autenticação multifator ou acesso condicional para controlar o acesso à infraestrutura e controle de alterações.
A segurança de perímetro de sua rede corporativa inclui a proteção contra DDoS (ataque de negação de serviço distribuído) para filtrar ataques em grande escala antes que eles possam causar uma negação de serviço para os usuários.
Segurança de rede, como segmentação de rede e controles de acesso à rede, para limitar a comunicação entre os recursos.
A segurança da camada Computação, como a proteção do acesso a máquinas virtuais, local ou na nuvem, fechando determinadas portas.
A segurança da camada Aplicativo garante que os aplicativos estejam seguros e livres de vulnerabilidades de segurança.
A segurança da camada Dados, incluindo controles para gerenciar o acesso aos dados de negócios e clientes e à criptografia para proteger os dados.
Os ataques de phishing estão ficando cada vez mais sofisticados e direcionados para pessoas com altas credenciais nas organizações. Inclusive já há um nome para isso: whaling, ou seja, fazer uma campanha de phishing para pegar o peixe grande. Nestas campanhas, o foco é ter acesso aos dados da credencial do usuário. E se a identidade dele não estiver segura, basta um link malicioso para todo castelo de proteção ser derrubado por meio de uma autenticação fraudulenta.
Para as organizações que utilizam soluções corporativas Microsoft, as licenças contemplam o Microsoft Entra. O Microsoft Entra simplifica o gerenciamento de acesso e autenticação para organizações, oferecendo uma plataforma de gestão de identidade unificado para aplicativos locais e na nuvem. Ele pode ser integrado ao Active Directory local já existente, sincronizado com outros serviços de diretório ou implantado em ambientes multinuvem.
Além disso, o Microsoft Entra possibilita às organizações a segura habilitação do uso de dispositivos pessoais, como smartphones e tablets, e promove a colaboração com parceiros comerciais e clientes.
Em licenças mais avançadas, o Microsoft Entra permite identificar comportamentos suspeitos no acesso e bloqueá-los antes de algo pior acontecer. Além disso, é possível integrar os logs de acesso do Microsoft Entra em ferramentas de SIEM (Security Information and Event Management) para monitoramento e reporte de acessos.
Configurar corretamente o Microsoft Entra ID é um caminho de ganho rápido para aumentar a postura de segurança da sua organização, evitando que ataques simples à identidade sejam bem-sucedidos.
Parceria com a Reveal – plataforma de Inteligência Artificial para eDiscovery – busca aumentar os insights nas investigações de fraudes, corrupção e violações da ética
A ICTS Protiviti, consultoria que atua nas áreas de Governança, Risco e Conformidade, está aprimorando sua capacitação em investigações corporativas unindo forças com a Reveal-Brainspace, fornecedora global da Reveal 11, plataforma de Inteligência Artificial (IA) e eDiscovery. O uso estratégico da tecnologia Reveal possibilita, segundo a empresa, um aumento de até cinco vezes na velocidade das revisões de dados e documentos, reduzindo custos e aumentando a qualidade nos cálculos.
A plataforma de ponta a ponta baseada no regime Software as a Service (SaaS) da Reveal acelera o processo de revisão de forma mais intuitiva e rápida ao implantar uma IA mais poderosa. “O Reveal concentra-se em modelos de IA pré-treinados e reutilizáveis e em análise comportamental para ajudar a descobrir conexões e padrões ocultos nos dados analisados, ao mesmo tempo em que permite a criação de modelos de IA personalizados”, explica Bruno Massard, Diretor Executivo da Protiviti.
Por meio da parceria, a Protiviti procura fornecer aos clientes insights mais rápidos e aprofundados, melhorando a eficiência das análises na identificação de má conduta, corrupção, ética, fraude e discriminação. A tecnologia Reveal 11 é capaz de detectar anomalias e padrões de comunicação, enquanto identifica o tom positivo ou negativo com exames de sentimentos.
A plataforma também transforma arquivos de mídia em arquivos “pesquisáveis” por palavras-chave, além de identificar e traduzir documentos em mais de 100 idiomas. Caso os documentos estejam em outras jurisdições que não o Brasil, as soluções da Reveal permitem hospedagem nos EUA, Canadá, Europa e Ásia, para que as investigações possam ocorrer de acordo com as leis desses locais.
“A parceria estratégica com a Protiviti é um desenvolvimento empolgante, pois o Reveal continua a se expandir globalmente, o que inclui a América do Sul. Estamos ansiosos para trabalhar lado a lado com uma das principais empresas de consultoria do Brasil, dando-lhes uma clara vantagem competitiva através do uso de poderosa tecnologia de IA”, salienta Wendell Jisa, fundador e CEO da Reveal-Brainspace.
Os usuários do Reveal, segundo informa a empresa, incluem escritórios de advocacia, corporações da Fortune 500, prestadores de serviços jurídicos, agências governamentais e instituições financeiras em mais de 40 países nos cinco continentes.
O movimento #BlackLivesMatter trouxe mais uma vez à superfície a questão do racismo institucional, que é a prática do racismo pelas instituições públicas ou privadas que de forma indireta promovem a exclusão ou o preconceito. E, infelizmente, isso pode estar sendo reforçado pelo machine learning.
Não devemos confundir racismo com preconceito, já que o racismo é uma das muitas faces do preconceito. Assim, é importante lembrarmos que o preconceito abarca uma miríade de discriminações que vão além da raça e envolvem gênero, local de origem, orientação sexual, classe social etc.
Discriminação institucional e machine learning
Poderíamos pensar em uma discriminação institucional? Aquela que faz com que em nossas empresas, segundo dados do IBGE, mulheres recebam cerca de 20% menos que os homens em condições similares ou aceitemos ou não clientes por critérios de região ou profissão?
Hoje, uma das áreas mais populares da Inteligência Artificial no mercado, é o machine learning ou aprendizado de máquina. Ela e se caracteriza por um programa de computador que aprende com a experiência, assimilando padrões entre dados.
Como surge discriminação algorítmica via Machine Learning?
E, de onde vem essa experiência que o machine learning vivencia? Na maioria das vezes dos dados históricos de nossas organizações. E se nossos dados forem racistas, misóginos ou discriminatórios em relação à renda ou residência? Bom, nesse momento entramos na seara dos algoritmos com viés, ou seja, que possuem uma distorção sistemática.
Nesse momento você pode se perguntar o porquê de seus dados poderem ser racistas, misógino ou discriminatórios e aqui temos alguns exemplos para ilustrar:
O Compas foi um software amplamente utilizado em tribunais americanos para aplicação de sentenças. Um estudo independente realizado pela ONG Propublica revelou que negros tinham o dobro de chances de serem classificados como possíveis reincidentes de crimes violentos que os brancos.
Da mesma forma, em 2014 a Amazon utilizou um algoritmo de seleção de currículos que priorizava candidatos do sexo masculino em detrimento do feminino ou ainda birôs de crédito que tem utilizado dados de CEP ou profissão como fonte de dados para concessão de crédito.
Normalmente, esses problemas decorrem da construção de modelos sem conhecimento e sem a correção de vieses ocultos, o que pode levar a resultados distorcidos, tendenciosos ou mesmo errados. Eles acabam por reforçar estigmas sociais, econômicos e raciais e institucionalizando-os com o requinte de parecerem resultados científicos, já que são baseados em modelos matemáticos.
Cabe ressaltar que o viés em machine learning não advém apenas de dados históricosdiscriminatórios e vamos falar sobre os mais comuns.
Viés de amostragem
Ocorre quando a amostra analisada pelo algoritmo é incompleta ou não representa o ambiente no qual ele será executado. Por exemplo, um artigo do MIT demonstrou falhas em mecanismos de reconhecimento facial, onde a proporção entre imagens de homens chega a ser 75% e de brancos, 80%, implicando diversos erros para o reconhecimento de mulheres e outras etnias.
Viés de preconceito
Ocorre quando modelos são treinados por dados influenciados por estereótipos ou fatores culturais. Por exemplo, modelos de reconhecimento de imagem treinados com homens em escritórios e mulheres cozinhando, modelos de concessão de crédito que penalizam profissões mais operacionais ou periferias.
Nas periferias há uma concentração de negros, tecnologias que restrinjam a comercialização ou extensão de serviços baseados em CEP podem perpetuar a exclusão social dessas pessoas.
Outro exemplo são as ferramentas de seleção de currículos treinadas com maior proporção de homens que de mulheres, levando o algoritmo a reforçar a priorização de características masculinas.
Viés do observador
Ocorre devido à tendência do Profissional de Dados observar o que ele espera encontrar. Ele traz para a análise de dados eventuais preconceitos que carrega consigo.
Por exemplo, um Profissional de Dados enviesado, pode não ver problemas que os dados que ele está analisando sempre associem homens com escritórios e mulheres com cozinhas, já que ele compartilha dessa visão de mundo e sociedade. Logo esse é o resultado que ele espera encontrar nos dados.
Detectar e corrigir vieses nos dados não é fácil, embora seja crítico. Não há uma bala de prata para todos os casos. Porém, um começo promissor reside em conhecer os dados, a sua qualidade e proporcionalidade amostral, pensamento crítico sobre fatores históricos e sociais que podem influenciar os dados. O uso de diversidade nos times de desenvolvimento traz visões e experiências diferentes aos projetos, e são um bom começo para o bom uso dos algoritmos de machine learning.
Gostou do conteúdo sobre machine learning e algorítimo discriminatório? Você tem mais alguma informação para compartilhar conosco e enriquecer a discussão? Então comente o post.
*Marcelo Costa é Analista de Dados na Protiviti, empresa especializada em soluções para gestão de riscos, compliance, auditoria interna, investigação, proteção e privacidade de dados.
*Rodrigo Kramper é Líder da prática de Advanced Data and Analytics Solutions na Protiviti, empresa especializada em soluções para gestão de riscos, compliance, auditoria interna, investigação, proteção e privacidade de dados.
