Se você já construiu software dentro de um banco, um hospital ou uma empresa de energia, sabe que um demo funcional ou um MVP é só o começo. No caminho até uma implantação real em produção, você vai esbarrar em várias camadas de revisões de segurança, comitês de mudança e pessoas cujo trabalho é garantir que o que você construiu seja sólido, governado e seguro o suficiente para inspirar confiança. Na Indicium AI, segurança em IA agêntica faz parte do que nosso time de engenharia faz todos os dias: construir sistemas que demonstram essa confiança, e o padrão que exigimos disso é o que realmente define trabalhar aqui.
As empresas estão avançando rápido e a maioria dos times de engenharia está descobrindo a mesma coisa ao mesmo tempo: um agente se parece menos com uma nova peça de software e mais com um contratado a quem você entregou as chaves, alguém com seu próprio conjunto de acessos, que age por conta própria, alcança seus sistemas reais e vai seguir qualquer instrução que receber, inclusive instruções que você nunca escreveu ou nunca imaginou. Um exemplo marcante são os recentes e notáveis eventos de violação de sandbox, em que agentes propagaram o conceito de quadros de mensagens para comunicação entre si por caminhos despercebidos (e não notados) de reinforcement learning.
Em um mundo em que a IA agêntica está acelerando tão rápido, isso apresenta um problema diferente da segurança de large language models (LLMs) que a maioria dos times aprendeu primeiro. Um LLM recebe um prompt e devolve uma inferência. Um agente vai além: ele lê dados, chama tools e toma ações com possibilidade de consequências reais. Quando você coloca um componente probabilístico dentro de um sistema que deveria produzir resultados determinísticos e reproduzíveis, você herda uma nova classe de modos de falha em cima de todos os clássicos já conhecidos.
O que vem a seguir é um olhar de como nosso time de engenharia pensa esse problema: onde traçamos a linha da autonomia, como garantimos a robustez do nosso próprio trabalho e como é, na prática, construir esse tipo de IA em setores altamente regulados e de alto risco como serviços financeiros, energia e utilities, e saúde e ciências da vida.
A mesma disciplina de segurança, com uma lente a mais
O equívoco mais comum que vemos, tanto em clientes quanto em engenheiros, é achar que segurança em IA agêntica é um campo totalmente novo que descarta tudo o que veio antes. Não é o caso. Segurança em IA agêntica é a disciplina de segurança que sempre praticamos, aplicada por meio de uma lente adicional: a natureza probabilística do modelo no centro do sistema.
A chave é que continuamos construindo em camadas. O modelo mental que nosso time usa por padrão é a clássica abordagem defense-in-depth, o modelo do queijo suíço, em que nenhum controle isolado é responsável por pegar tudo e é improvável que os buracos de cada camada se alinhem. O que muda com agentes é que decompomos essas camadas em torno das entradas e saídas específicas que um sistema agêntico consome e produz e então extrapolamos para os modos de falha que um componente não determinístico introduz. É o tipo de problema que recompensa quem gosta de raciocinar a partir de princípios básicos, em vez de simplesmente riscar itens de um checklist para dizer que terminou.
Como decidimos entre autonomia e um humano no loop
A pergunta que mais recebemos é: quanta autonomia um agente deveria ter? Se você está projetando um desses sistemas, essa é uma das decisões mais difíceis que você vai tomar. É o trade-off entre o nirvana de "deixar tudo nas mãos da IA" e um processo já existente que foi "apenas" turbinado. No fim das contas, na maioria dos casos, não existe uma resposta universal, porque isso depende fortemente do setor e do escopo do sistema.
Mas, para nós na Indicium AI, construindo essas soluções para sistemas enterprise em setores altamente regulados, nossa regra prática é sempre manter um humano no loop. O risco de uma ação não intencional ou catastrófica está fora do apetite de risco da maioria dos negócios e o custo de uma decisão autônoma errada em um contexto de trading, clínico ou de operação de rede elétrica não é um custo que essas empresas estão dispostas a carregar. Como mencionado acima, confiança é o fator-chave para colocar sistemas agênticos em produção e ter um humano no loop é a única forma de garantir que isso seja alcançado.
Human in the loop pode significar coisas diferentes; parte do nosso trabalho de design é decidir qual delas. Alguns sistemas param completamente e esperam aprovação. Outros seguem enquanto um humano revisa de forma assíncrona. Outros rodam de forma autônoma em caminhos de baixo risco e só escalam quando uma condição de alto risco é atingida, ou simplesmente assumem um caminho padrão de modo de falha. Essa é uma das áreas em que os fundamentos de engenharia realmente brilham: projetar corretamente um sistema agêntico para o problema depende de um entendimento verdadeiro do cenário de sistemas existente, dos desafios que o negócio enfrenta e de quanto envolvimento eles podem e querem ter com o sistema.
Ferramentas pessoais e sandboxes são uma questão à parte. Dentro de um ambiente isolado "ideal", com os riscos entendidos e contidos, é possível levar a autonomia muito mais longe. Essa é uma linha tênue de definir: como demonstrado por eventos recentes, um sandbox verdadeiro é difícil de implementar quando pode haver sobreposição entre superfície de ataque e superfície de implementação. Dito isso, também esperamos que a fronteira continue avançando, ampliando o que significa uma autonomia segura ao longo do tempo. É justamente isso que torna esse um momento genuinamente interessante para ser engenheiro nessa área.
Leia também: Governança de IA agêntica para enterprises: o custo de adiar as decisões certas
Projetando contra prompt injection e comprometimento de agentes
Seja qual for o sistema que você está construindo, o obstáculo que você vai enfrentar é o prompt injection e o comprometimento de agente que pode vir dele. Um LLM não consegue separar de forma confiável instruções de dados. Qualquer coisa que ele leia (uma página web, um ticket de suporte, um comentário de código) é potencialmente uma instrução. Os principais laboratórios de ponta em IA colocam medidas reais para mitigar isso e elas melhoram constantemente. No entanto, isso nunca pode ser descartado por completo, o que garante ao prompt injection um lugar permanente em qualquer avaliação de risco quando projetamos esses sistemas.
Na prática, essa premissa molda várias decisões. Minimizamos a superfície de ataque e o raio de impacto de cada agente, restringindo seu acesso apenas ao que ele precisa e apenas quando precisa. Isso é abordado desde o básico de isolamento de hardware e/ou hypervisor, passando pelos fundamentos de segurança de rede (incluindo ACLs e firewalling), até credenciais específicas de uso: o princípio do least privilege continua tão importante quanto sempre foi.
Somos deliberados em relação à segurança do Model Context Protocol (MCP), porque um servidor MCP, embora pareça apenas uma superfície que um agente pode usar para executar ações ou coletar contexto, abre a porta para má configuração ou comprometimento, resultando na possibilidade de ataques de Denial of Service (DoS), exfiltração de dados ou variáveis de ambiente. Além disso, construímos suítes de avaliação e as executamos consistentemente, monitorando se as tool calls de fato acontecem no contexto correto e retornam resultados precisos. O resultado final é que, mesmo comprometido, um sistema não consegue gerar repercussões drásticas. É isso que constrói confiança.
O prompt injection também força uma pergunta mais ampla sobre observabilidade. A maioria dos clientes enterprise com quem trabalhamos sente que a atividade dos agentes precisa ser instrumentada, mas poucos enfrentaram isso de ponta a ponta. Nossa resposta se apoia em ferramentas como o OpenTelemetry, que tornam rastreável cada decisão de agente, tool call e mudança de estado. Depois, operacionalizamos esses eventos para que um padrão suspeito seja identificado e tratado, em vez de apenas registrado e esquecido.
Olhando mais à frente, esperamos que essa observabilidade avance até a atestação criptográfica de cada interação de um agente: registros verificáveis e à prova de adulteração do que foi feito e por quê. Descobrir como isso funciona na prática é exatamente o tipo de problema que nossos engenheiros ficam responsáveis por resolver.
Como é nossa revisão de segurança em produção
Quando um sistema agêntico se aproxima da produção na Indicium AI, ele passa por uma revisão que seria familiar para qualquer engenheiro de segurança experiente, com camadas adicionais específicas para agentes.
A base é padrão e inegociável. Fazemos threat modeling com STRIDE, percorrendo spoofing, tampering, repudiation, information disclosure, denial of service e elevation of privilege. Confirmamos que o princípio do least privilege e outros controles estão genuinamente sendo aplicados, não apenas documentados. Rodamos penetration testing onde é relevante, junto com análise estática e dinâmica de código. Esse é o mesmo padrão que exigimos de qualquer sistema em produção.
O que adicionamos é uma lente para o componente probabilístico. Trabalhamos com o OWASP Agentic AI Top 10 como um checklist compartilhado dos modos de falha específicos de agentes, desde excessive agency e tool misuse até memory poisoning, para que nada que a comunidade de segurança já catalogou passe despercebido por nós. Aplicamos o framework MAESTRO para raciocinar de forma sistemática sobre as facetas que um sistema agêntico introduz e que um sistema determinístico não introduz, de modo que a revisão avalie o comportamento do modelo com o mesmo rigor com que avalia o código ao redor dele. O red teaming de IA, testes adversariais que tentam ativamente induzir prompt injection, tool misuse e manipulação de objetivos, é parte de como garantimos a robustez da nossa solução antes que qualquer coisa entre em produção.
O resultado que estamos protegendo é o mesmo que interessa ao negócio: sistemas precisos e reproduzíveis, com guardrails fortes o suficiente para que uma entrada ruim não vire uma ação drasticamente ruim. O resultado? Confiança.
Saiba mais: IA agêntica em escala: o modelo operacional para líderes enterprise
Venha fazer parte do nosso time
Cada prática acima vem de engenheiros que já construíram e protegeram sistemas reais. Isso significa, no dia a dia, um time que trata segurança como elemento central da engenharia de IA, não como um adendo colocado antes do lançamento, e uma cultura em que as perguntas difíceis são levantadas cedo, porque sempre há alguém na sala que já sabe para onde essas perguntas levam.
Somos uma consultoria global nativa em IA, com mais de 600 especialistas em IA atendendo mais de 50 clientes enterprise na Europa, nos EUA e na América Latina, e Preferred Partner na Claude Partner Network da Anthropic. Entre nossos clientes estão London Stock Exchange Group, Northern Trust, Liberty Specialty Markets, National Grid, EDF, Novo Nordisk e Bayer.
Se você é um engenheiro que quer ter ownership do seu trabalho, se cobrar por um padrão alto e ver o que constrói chegar à produção em escala, estamos contratando em nossos cinco escritórios globais, em Londres, Nova York, São Paulo, Florianópolis e Lisboa. Conheça nossas vagas abertas para Engenheiros de IA e Forward Deployed Engineers.
