Agentes de IA: quais são os riscos de segurança e como controlá-los
A inteligência artificial está começando a assumir um papel diferente dentro das organizações. Além de gerar textos, resumir documentos ou responder perguntas, sistemas baseados em IA podem consultar aplicações, utilizar ferramentas, acessar informações e executar ações para atingir um objetivo.
É nesse contexto que entram os agentes de IA.
A mudança amplia as possibilidades de automação, mas também modifica a discussão sobre segurança. Quando um sistema pode agir, as perguntas deixam de estar concentradas apenas no que o modelo responde e passam a envolver identidade, permissões, dados, ferramentas, integrações e autonomia.
Para segurança da informação e gestão de riscos, essa mudança merece atenção.
O que são agentes de IA?
Um agente de IA é um sistema capaz de receber um objetivo, analisar o contexto, definir etapas e utilizar recursos disponíveis para executar uma tarefa.
Dependendo da implementação, um agente pode:
- consultar bancos de dados;
- pesquisar informações;
- acessar APIs;
- interagir com aplicações;
- processar documentos e e-mails;
- utilizar ferramentas externas;
- executar tarefas em nome de um usuário ou sistema.
O nível de autonomia varia. Alguns agentes dependem de aprovação humana em determinadas etapas. Outros conseguem executar uma sequência de ações com pouca intervenção.
Essa capacidade muda a superfície de risco.
Um sistema que apenas produz uma resposta apresenta um conjunto de preocupações. Um sistema que também possui credenciais, permissões e acesso a ferramentas adiciona outras possibilidades de impacto.
Identidade e privilégio passam a fazer parte da discussão
Imagine um agente responsável por consultar informações em diferentes sistemas e preparar determinada análise.
Para realizar a tarefa, ele precisa de acesso.
Quais informações pode consultar? Quais sistemas pode utilizar? Pode apenas ler ou também alterar dados? Pode enviar mensagens? Pode executar transações? Pode acionar outro agente?
São perguntas conhecidas de Identity and Access Management (IAM).
O princípio do menor privilégio continua sendo uma referência importante: conceder apenas os acessos necessários para a execução da tarefa.
Em agentes de IA, entretanto, existe uma característica adicional. O acesso pode ser utilizado dentro de uma sequência de decisões produzida dinamicamente pelo próprio sistema.
Uma credencial excessivamente privilegiada deixa de representar apenas um problema de configuração. Ela pode ampliar as consequências de uma instrução maliciosa, de uma interpretação incorreta ou de uma ação inesperada do agente.
Prompt injection ganha outra dimensão
Prompt injection é um dos riscos conhecidos em aplicações que utilizam modelos de linguagem.
O ataque procura introduzir instruções capazes de alterar o comportamento esperado do modelo.
Em agentes, merece atenção especial a chamada indirect prompt injection.
Nesse cenário, a instrução maliciosa pode estar em um conteúdo que o agente recebeu para processar.
Considere um agente autorizado a pesquisar páginas na internet, ler documentos ou analisar mensagens. Uma dessas fontes pode conter instruções criadas especificamente para influenciar o comportamento do modelo.
O agente passa a lidar simultaneamente com dois elementos: o conteúdo que precisa analisar e instruções potencialmente presentes nesse conteúdo.
Se esse mesmo agente possuir acesso a ferramentas e informações sensíveis, uma manipulação bem-sucedida pode produzir consequências além de uma resposta incorreta.
Por isso, tratar todo conteúdo externo como potencialmente não confiável continua sendo um princípio útil, inclusive quando quem interpreta esse conteúdo é uma IA.
O risco do excesso de autonomia
Automação costuma buscar redução de intervenção humana. Em determinados processos, entretanto, remover etapas de aprovação também remove um controle.
A pergunta relevante passa a ser: quais ações um agente pode executar sozinho?
Consultar uma base pública possui um nível de impacto. Alterar um registro, enviar uma comunicação, aprovar uma solicitação ou realizar uma operação financeira possui outro.
O desenho dos controles pode considerar o impacto da ação.
Atividades de maior risco podem exigir aprovação humana, autenticação adicional ou validações independentes antes da execução.
Esse conceito já existe em diversos processos corporativos. Segregação de funções, dupla aprovação e limites de alçada são exemplos conhecidos.
A chegada dos agentes de IA exige revisar como esses controles serão aplicados quando uma das partes do processo não for uma pessoa.
Shadow AI pode evoluir para shadow agents
O uso de ferramentas de inteligência artificial fora dos processos formais das organizações já trouxe discussões sobre shadow AI.
Com agentes, surge uma extensão desse risco.
Um profissional pode criar ou conectar um agente a serviços corporativos para automatizar atividades sem que segurança, tecnologia ou governança conheçam aquela integração.
Esse agente pode receber permissões, tokens, credenciais e acesso a informações corporativas.
A facilidade de criação dessas automações torna o inventário importante.
Antes de proteger agentes, a organização precisa saber quais existem, quem é responsável por eles, quais sistemas acessam e quais dados conseguem processar.
É uma lógica semelhante à gestão de ativos, aplicações e identidades.
Logs precisam registrar mais do que o resultado
Imagine que um agente execute uma ação incorreta.
Para investigar o ocorrido, saber apenas o resultado final provavelmente será insuficiente.
Será necessário entender quais informações foram utilizadas, quais ferramentas foram acionadas, quais decisões ocorreram durante a execução, quais permissões estavam disponíveis e em que momento determinada ação aconteceu.
A rastreabilidade passa a ser parte importante da arquitetura.
Algumas perguntas ajudam a avaliar esse ponto:
- É possível identificar qual agente executou determinada ação?
- Existe registro das ferramentas utilizadas?
- É possível saber quais dados foram acessados?
- As aprovações humanas ficam registradas?
- As ações podem ser associadas a um usuário, processo ou finalidade?
- Os registros são suficientes para uma investigação posterior?
Essas informações interessam à segurança, à auditoria e à gestão de riscos.
Dados continuam sendo um ponto central
Agentes podem trabalhar com diferentes fontes de informação durante uma mesma tarefa.
Um agente pode consultar um documento interno, combinar seu conteúdo com informações de outro sistema e utilizar uma ferramenta externa para concluir uma atividade.
Essa dinâmica exige atenção à classificação e ao fluxo dos dados.
Uma permissão aparentemente simples pode permitir que informações percorram caminhos que não haviam sido considerados inicialmente.
Controles de acesso, classificação da informação, prevenção contra vazamento de dados e regras para utilização de serviços externos precisam acompanhar a arquitetura dos agentes.
Também é importante considerar a memória desses sistemas, quando utilizada. Informações mantidas entre interações podem criar novas necessidades relacionadas a retenção, acesso e exclusão.
O que controlar em agentes de IA?
Não existe um único controle capaz de resolver os riscos associados a agentes.
Uma estratégia de segurança pode combinar diferentes medidas:
- inventário dos agentes utilizados pela organização;
- definição de responsáveis por cada agente;
- identidades próprias para agentes quando aplicável;
- aplicação do princípio do menor privilégio;
- separação entre ambientes e funções;
- proteção e rotação de credenciais;
- restrições às ferramentas que cada agente pode utilizar;
- validação de entradas e conteúdos externos;
- aprovação humana para ações de maior impacto;
- registro das ações realizadas;
- monitoramento de comportamento;
- classificação e proteção das informações acessadas;
- testes de segurança antes da entrada em produção;
- revisão periódica de acessos e permissões.
A combinação depende da finalidade do agente e do impacto que suas ações podem produzir.
Um agente utilizado para pesquisar informações públicas apresenta um perfil de risco diferente daquele autorizado a acessar sistemas internos e modificar informações.
Segurança de agentes também é gestão de identidade
Há uma forma interessante de observar esse cenário.
Durante anos, organizações desenvolveram processos para controlar o acesso de pessoas e aplicações: identidade, autenticação, autorização, menor privilégio, segregação de funções, revisão periódica de acessos e registro de atividades.
Agentes de IA passam a participar desse mesmo ambiente.
Eles consultam dados, utilizam ferramentas e podem executar ações.
Isso aproxima a segurança de agentes de disciplinas já conhecidas, como IAM, segurança de aplicações, proteção de dados, gestão de terceiros, auditoria e gestão de riscos.
A tecnologia muda. Muitos dos princípios de controle continuam úteis.
Antes de conceder acesso a um agente
A adoção de agentes de IA tende a aumentar conforme organizações buscam automatizar processos mais complexos.
Antes de conectar um agente a sistemas corporativos, algumas perguntas ajudam a estruturar a análise:
- Qual é a finalidade desse agente?
- Quem é responsável por ele?
- Quais dados ele precisa acessar?
- Quais permissões são realmente necessárias?
- Quais ferramentas ele pode utilizar?
- Quais ações exigem aprovação humana?
- Como suas atividades serão monitoradas?
- O que acontece se o agente receber uma instrução maliciosa?
- É possível interromper ou revogar seu acesso rapidamente?
- Existem registros suficientes para investigar suas ações?
São perguntas bastante parecidas com aquelas feitas antes de conceder acesso a uma pessoa ou aplicação.
A diferença está na capacidade do agente de interpretar informações, escolher etapas e utilizar ferramentas para alcançar um objetivo.
À medida que essa autonomia aumenta, identidade, privilégios, rastreabilidade e limites de atuação passam a ter ainda mais peso no desenho dos controles.