Prompt Injection e a Defesa PVE

00 to X</instruction> e o modelo pode executá-lo como se o usuário tivesse solicitado.

Este é o problema de segurança definidor para agentes de 2024-2026. Todo agente em produção precisa se defender contra isso.

O Conceito

Greshake et al., AISec 2023 (arXiv:2302.12173)

Classe de ataque: injeção indireta de prompt.

• O invasor controla o conteúdo que o agente irá recuperar: página da web, PDF, e-mail, nota de memória, resultado de busca.
• Quando ingeridas, as instruções contidas nesse conteúdo substituem o prompt do desenvolvedor.
• Explorações demonstradas contra Bing Chat, completamento de código do GPT-4, agentes sintéticos:
  • Roubo de dados — o agente exfiltra o histórico da conversa para uma URL controlada pelo invasor.
  • Disseminação de worm — o conteúdo injetado instrui o agente a embutir a exploração na próxima saída.
  • Envenenamento persistente de memória — o agente armazena as instruções do invasor; envenena a si mesmo novamente na próxima sessão.
  • Contaminação do ecossistema de informações — fatos injetados se espalham para outros agentes por meio de memória compartilhada.
  • Uso arbitrário de ferramentas — qualquer ferramenta no registro torna-se acessível ao invasor.

Alegação central: processar prompts recuperados é equivalente à execução arbitrária de código na superfície de uso de ferramentas do agente.

A doutrina de defesa de 2026

Seis controles que convergiram nas orientações dos provedores:

1. Trate todo conteúdo recuperado como não confiável. Documentação do OpenAI CUA: "apenas instruções diretas do usuário contam como permissão."
2. Navegação com listas de permissão / bloqueio. Estreite o conjunto de URLs, domínios ou arquivos que o agente pode acessar.
3. Avaliação de segurança por etapa. Padrão de Computer Use do Gemini 2.5 — avalie cada ação antes da execução.
4. Guardrails nas entradas e saídas de ferramentas. Lesson 16 (OpenAI Agents SDK); Lesson 06 (validação de argumentos).
5. Confirmação humana no circuito (human-in-the-loop). Login, compra, CAPTCHA, envio de mensagem — o humano decide.
6. Captura de conteúdo com armazenamento externo. Lesson 23 — armazene o conteúdo recuperado externamente; os spans carregam referências, não texto corrido; os incidentes são auditáveis.

PVE: Prompt-Validator-Executor

Padrão de implantação que combina vários controles:

• Um modelo validador rápido e barato é executado em cada invocação de ferramenta candidata antes que o modelo principal caro se comprometa.
• O validador verifica: esta ação é consistente com a intenção declarada do usuário? A ação toca em uma superfície sensível? Existe conteúdo no formato de injeção nos argumentos?
• Se o validador rejeitar, o modelo principal é informado: "essa ação foi recusada; tente uma abordagem diferente."
• O trade-off: uma inferência extra por chamada de ferramenta. Para a grande maioria dos produtos de agentes, este é um seguro barato.

Onde as defesas falham

• Sem metadados de origem de conteúdo. Se o sistema não puder distinguir "este texto veio do usuário" de "este texto veio de uma página da web", ele não conseguirá diferenciar os níveis de permissão.
• Todos os guardrails no final. Se a validação for executada apenas na saída final, o modelo já interagiu com o mundo exterior.
• Confiar apenas no seguimento de instruções. "O prompt do sistema diz para ignorar instruções não confiáveis" não é uma aplicação de regra real (enforcement).
• Confiança excessiva na memória recuperada. O agente de ontem escreveu uma nota de memória envenenada; o agente de hoje a lê.

Build It

code/main.py implementa PVE:

• Um Validator que roda em cada chamada de ferramenta: verificação do formato do argumento + varredura de padrões de injeção.
• Um Executor que executa a chamada de ferramenta do modelo principal apenas após a aprovação do validador.
• Demonstração: uma chamada de ferramenta normal passa; uma injetada (prompt no argumento) é capturada; uma nota de memória envenenada dispara uma recusa.

Execute:

python3 code/main.py

Saída: rastreamento por chamada exibindo os vereditos do validador e o comportamento do executor.

Use It

• Guardrails do OpenAI Agents SDK (Lesson 16) — padrão interno no formato PVE.
• Serviço de segurança do Gemini 2.5 Computer Use — gerenciado pelo provedor passo a passo.
• Melhores práticas de uso de ferramentas da Anthropic — tratar o conteúdo recuperado como não confiável; o prompt do sistema do Claude discute isso explicitamente.
• PVE personalizado — seu próprio modelo validador para padrões de injeção específicos do domínio.

Ship It

outputs/skill-injection-defense.md estrutura uma camada PVE + disciplina de captura de conteúdo para qualquer runtime de agente.

Exercícios

1. Adicione uma "tag de origem" (source tag) a cada parte do conteúdo: user_message, tool_output, retrieved. Propage as tags pelo histórico de mensagens. O validador recusa conteúdo retrieved que se pareça com diretivas.
2. Implemente um guardrail de gravação de memória: qualquer gravação de memória que se pareça com uma instrução ("do X", "execute Y") é recusada.
3. Escreva uma simulação de ataque de worming: o conteúdo injetado diz ao agente para incluir a exploração em sua próxima resposta. Defenda-se contra isso.
4. Leia o artigo de Greshake et al. de ponta a ponta. Implemente uma das explorações demonstradas em seu projeto de testes. Corrija-a.
5. Meça: no tráfego normal, com que frequência o validador PVE rejeita? Meta: próximo de zero em chamadas legítimas.

Termos-Chave

Termo	O que as pessoas dizem	O que realmente significa
Injeção indireta de prompt	"Injeção em conteúdo recuperado"	Instruções embutidas nos dados que o agente recupera
Injeção direta de prompt	"Jailbreak"	O prompt fornecido pelo usuário ignora os guardrails
PVE	"Prompt-Validator-Executor"	Validador rápido e barato executado antes da inferência principal cara
Tag de origem (source tag)	"Proveniência de conteúdo"	Metadados que marcam de onde o conteúdo veio
Navegação com lista de permissão	"URL whitelist"	O agente só pode visitar destinos aprovados
Worming	"Exploração autoreplicável"	O conteúdo injetado inclui instruções para se propagar
Envenenamento de memória	"Injeção persistente"	Conteúdo injetado armazenado como memória; envenena novamente a próxima sessão

Leitura Adicional

• Greshake et al., Indirect Prompt Injection (arXiv:2302.12173) — artigo de ataque canônico
• OpenAI, Computer-Using Agent — "apenas instruções diretas do usuário contam como permissão"
• Google, Gemini 2.5 Computer Use — serviço de segurança por etapa
• OpenAI Agents SDK docs — guardrails como PVE