Por André Cilurzo e Jefferson Kiyohara
A inteligência artificial já é utilizada em atendimento, análise de dados, desenvolvimento de software, segurança cibernética e automação de processos. Sua adoção, contudo, muitas vezes ocorre antes da definição de políticas, responsabilidades e controles adequados.
Para os profissionais de Tecnologia da Informação | Segurança da Informação, o desafio é viabilizar inovação sem comprometer a segurança, a qualidade dos dados, a conformidade regulatória e a capacidade de explicar como os sistemas funcionam. Nesse contexto, a Governança de IA deve envolver TI, Segurança da Informação, Jurídico, Compliance, Privacidade, Auditoria e as áreas de negócio.
O que mudou com as diretrizes do DOJ
A atualização de setembro de 2024 do Evaluation of Corporate Compliance Programs — ECCP, do Departamento de Justiça dos Estados Unidos (DOJ), passou a tratar expressamente dos riscos relacionados ao uso de novas tecnologias, incluindo a inteligência artificial. Serve como balizador de pontos que merecem a atenção dentro das organizações, principalmente para empresas que atuem sob alcance do DOJ.
Entre os aspectos que podem ser examinados pelas autoridades estão:
- como a empresa avalia o impacto da IA sobre o cumprimento da legislação;
- se os riscos tecnológicos estão integrados à gestão corporativa de riscos;
- quais controles impedem o uso deliberado ou imprudente da tecnologia;
- se os sistemas são monitorados e testados;
- como a confiabilidade dos resultados é verificada;
- qual nível de decisão humana é utilizado;
- como a responsabilidade pelo uso da IA é acompanhada;
- quais controles de segurança da informação protegem os sistemas de IA contra acesso indevido, manipulação e vazamento de dados;
- como os empregados são treinados.
O ECCP também destaca a importância de que as funções de Compliance tenham acesso tempestivo a dados e recursos analíticos. Para as áreas de TI/SegInfo, a mensagem é clara: não basta disponibilizar uma ferramenta; é necessário demonstrar que ela foi avaliada, aprovada, monitorada e utilizada conforme sua finalidade.
Principais prioridades para a Governança de IA
1. Mapear e avaliar os sistemas
A empresa deve manter um inventário das soluções de IA desenvolvidas internamente, contratadas de terceiros ou utilizadas informalmente pelos empregados — o chamado shadow AI. O inventário, porém, não basta: é preciso monitorar e, quando necessário, bloquear o uso de ferramentas não aprovadas, oferecendo em contrapartida um canal de avaliação e aprovação rápido, capaz de evitar que a restrição empurre o uso para a clandestinidade.
A avaliação deve considerar:
- finalidade e grau de autonomia do sistema;
- sensibilidade dos dados processados;
- impacto de eventuais erros;
- possibilidade de vieses ou discriminação;
- explicabilidade dos resultados;
- capacidade de corrigir ou reverter decisões;
- dependência de fornecedores.
Nem todos os sistemas exigem os mesmos controles. Uma ferramenta de resumo de reuniões apresenta riscos menores do que uma solução que influencia decisões de crédito ou relacionamento com clientes, por exemplo.
2. Proteger dados e controlar fornecedores
Dados incompletos, desatualizados ou enviesados podem comprometer o desempenho da IA. As equipes devem avaliar a origem, a qualidade, o acesso, a retenção, o descarte e a segurança das informações.
No caso de ferramentas generativas, é essencial verificar se os dados inseridos são armazenados ou utilizados para treinamento. O envio de dados pessoais, segredos comerciais ou propriedade intelectual a plataformas externas sem análise prévia pode gerar riscos relevantes.
Além da qualidade e da origem das informações, a proteção deve alcançar ameaças próprias da tecnologia. Entre elas estão a injeção de comandos — direta, pelo usuário, ou indireta, por meio de conteúdo malicioso embutido em documentos, páginas e e-mails processados pelo sistema —, o envenenamento de dados de treinamento e de bases de recuperação, o vazamento de informações por memória e contexto compartilhados entre usuários, a extração de modelos e de prompts proprietários e o uso indevido de credenciais por agentes com autonomia para executar ações.
A contratação de fornecedores também deve abranger tratamento e localização dos dados, subcontratados, atualizações do modelo, comunicação de incidentes, preservação de registros, direitos de auditoria e possibilidade de encerramento ou migração do serviço.
3. Testar, monitorar e manter supervisão humana
A aprovação de uma ferramenta não deve se basear apenas em demonstrações comerciais. Conforme o risco, devem ser avaliados:
- precisão e consistência dos resultados;
- falsos positivos e falsos negativos;
- desempenho em diferentes contextos;
- comportamento diante de dados incompletos;
- resistência a comandos inadequados;
- aderência à finalidade aprovada;
- possibilidade de identificar e corrigir decisões incorretas.
O monitoramento deve continuar após a implantação, pois alterações nos dados, nas integrações ou no modelo podem modificar o comportamento do sistema.
Conforme a criticidade da aplicação, os testes devem incluir exercícios adversariais — o chamado red teaming de IA —, com tentativas deliberadas de burlar as restrições do sistema, extrair dados sensíveis, induzir respostas incorretas ou provocar ações não autorizadas. Esses exercícios não são um evento único: devem ser repetidos a cada atualização de modelo, mudança de fornecedor ou nova integração, pois qualquer uma delas pode reintroduzir vulnerabilidades já tratadas.
A empresa deve definir quem revisa os resultados, quando a revisão é obrigatória, quais competências são necessárias e como decisões incorretas podem ser revertidas. A tecnologia pode apoiar decisões, mas não elimina a responsabilidade dos profissionais e gestores. A decisão final e a supervisão devem ser humanas.
4. Proteger o ciclo de vida da IA
A segurança não se resume aos dados de entrada: o próprio ambiente em que a IA opera precisa de controles técnicos proporcionais ao risco da aplicação. Entre as medidas esperadas estão:
- segregação entre ambientes de desenvolvimento, homologação e produção;
- gestão de segredos, chaves de API e credenciais de integração, com rotação periódica;
- aplicação do princípio do menor privilégio, especialmente a agentes autônomos autorizados a executar ações em sistemas corporativos;
- prevenção de vazamento de dados (DLP) sobre o conteúdo enviado em prompts e anexos;
- filtros e validação de entradas e saídas, inclusive sobre conteúdo de terceiros processado automaticamente;
- limites explícitos de ação, aprovação humana para operações críticas e mecanismo de desligamento imediato do sistema.
Esses controles devem ser definidos antes da entrada em produção e revistos sempre que a finalidade, o modelo ou o grau de autonomia da solução mudarem.
5. Documentação e melhoria contínua
A organização deve documentar o ciclo de vida da solução, incluindo finalidade, área responsável, avaliação de riscos, dados utilizados, versão do modelo, testes, limitações, aprovações, alterações, incidentes e medidas corretivas.
Essa documentação é essencial para auditorias, investigações internas e eventuais questionamentos de reguladores. Também permite demonstrar que a empresa monitora seus sistemas e incorpora lições aprendidas.
Do ponto de vista de segurança, a documentação deve ser acompanhada de registros técnicos preservados de forma íntegra e protegida contra alteração (prompts, respostas, acessos, integrações acionadas e decisões automatizadas), em prazo compatível com as obrigações legais e regulatórias aplicáveis. Esses registros sustentam a investigação de incidentes envolvendo IA. Esses incidentes devem estar previstos no plano corporativo de resposta: quem aciona, como isolar ou suspender o sistema comprometido, como avaliar o impacto sobre dados pessoais e informações confidenciais e como comunicar clientes, reguladores e demais partes interessadas.
O ECCP enfatiza que programas de Compliance devem ser continuamente avaliados e atualizados. A mesma lógica se aplica à Governança de IA: controles precisam ser testados, revisados e ajustados conforme surgem novos riscos, incidentes ou mudanças tecnológicas.
Conclusão
À luz das diretrizes do DOJ, a Governança de IA não se resume à publicação de uma política de uso aceitável. Ela exige inventário, avaliação baseada em risco, proteção de dados, segurança dos próprios sistemas de IA, gestão de fornecedores, testes, monitoramento, supervisão humana e documentação.
Para os profissionais de TI/SegInfo, a pergunta central é: a empresa consegue identificar quais sistemas de IA estão em uso, compreender seus riscos, definir responsáveis, detectar uso indevido ou ataques dirigidos a esses sistemas e corrigir rapidamente resultados inadequados?
A adoção responsável da inteligência artificial não impede a inovação. Ela cria as condições para que a tecnologia seja utilizada com segurança, previsibilidade e confiança.
