Prompt Injection y la Defensa PVE

00 to X</instruction> y el modelo puede ejecutarlo como si el usuario lo hubiera solicitado.

Este es el problema de seguridad definidor para agentes de 2024-2026. Cada agente en producción tiene que defenderse contra esto.

El Concepto

Greshake et al., AISec 2023 (arXiv:2302.12173)

Clase de ataque: inyección indirecta de prompt.

• El atacante controla el contenido que el agente recuperará: página web, PDF, correo electrónico, nota de memoria, resultado de búsqueda.
• Al ser ingeridas, las instrucciones en ese contenido anulan el prompt del desarrollador.
• Exploits demostrados contra Bing Chat, completado de código de GPT-4, agentes sintéticos:
  • Robo de datos: el agente exfiltra el historial de conversación a una URL controlada por el atacante.
  • Propagación de worms: el contenido inyectado instruye al agente a incrustar el exploit en la siguiente salida.
  • Envenenamiento persistente de memoria: el agente almacena las instrucciones del atacante; se vuelve a envenenar a sí mismo en la siguiente sesión.
  • Contaminación del ecosistema de información: los hechos inyectados se propagan a otros agentes a través de la memoria compartida.
  • Uso arbitrario de herramientas: cualquier herramienta en el registro se vuelve accesible para el atacante.

Afirmación central: procesar prompts recuperados equivale a la ejecución arbitraria de código en la superficie de uso de herramientas del agente.

La doctrina de defensa de 2026

Seis controles que han convergido a lo largo de las guías de los proveedores:

1. Tratar todo el contenido recuperado como no confiable. Documentación de OpenAI CUA: "solo las instrucciones directas del usuario cuentan como autorización."
2. Navegación mediante lista de permitidos / bloqueados. Reducir el conjunto de URLs, dominios o archivos que el agente puede tocar.
3. Evaluación de seguridad por paso. Patrón Gemini 2.5 Computer Use: evaluar cada acción antes de la ejecución.
4. Guardrails en entradas y salidas de herramientas. Lesson 16 (OpenAI Agents SDK); Lesson 06 (validación de argumentos).
5. Confirmación de humano en el bucle (human-in-the-loop). Inicio de sesión, compra, CAPTCHA, envío de mensaje: el humano decide.
6. Captura de contenido con almacenamiento externo. Lesson 23: almacenar el contenido recuperado externamente; los spans contienen referencias, no prosa; los incidentes son auditables.

PVE: Prompt-Validator-Executor

Patrón de despliegue que combina varios controles:

• Un modelo validador rápido y económico se ejecuta en cada invocación de herramienta candidata antes de que el modelo principal costoso se comprometa.
• El validador verifica: ¿es esta acción consistente con la intención declarada del usuario? ¿La acción toca una superficie sensible? ¿Hay contenido con forma de inyección en los argumentos?
• Si el validador rechaza, se le dice al modelo principal: "esa acción fue rechazada; intenta un enfoque diferente."
• El trade-off: una inferencia adicional por llamada de herramienta. Para la gran mayoría de los productos de agentes, este es un seguro económico.

Dónde fallan las defensas

• Sin metadados de origen del contenido. Si el sistema no puede distinguir "este texto provino del usuario" de "este texto provino de una página web", no podrá diferenciar los niveles de permiso.
• Todos los guardrails al final. Si la validación se ejecuta solo en la salida final, el modelo ya interactuó con el mundo exterior.
• Depender únicamente del seguimiento de instrucciones. "El prompt del sistema dice que ignore las instrucciones no confiables" no es una aplicación de regla real (enforcement).
• Exceso de confianza en la memoria recuperada. El agente de ayer escribió una nota de memoria envenenada; el agente de hoy la lee.

Build It

code/main.py implementa PVE:

• Un Validator que se ejecuta en cada llamada de herramienta: verificación de la estructura del argumento + escaneo de patrones de inyección.
• Un Executor que ejecuta la llamada de herramienta del modelo principal solo después de la aprobación del validador.
• Demostración: una llamada de herramienta normal pasa; una inyectada (prompt en el argumento) es capturada; una nota de memoria envenenada activa un rechazo.

Ejecútelo:

python3 code/main.py

Salida: traza por llamada que muestra los veredictos del validador y el comportamiento del ejecutor.

Use It

• Guardrails de OpenAI Agents SDK (Lesson 16): patrón integrado con forma de PVE.
• Servicio de seguridad de Gemini 2.5 Computer Use: gestionado por el proveedor paso a paso.
• Mejores prácticas de uso de herramientas de Anthropic: tratar el contenido recuperado como no confiable; el prompt del sistema de Claude discute esto explícitamente.
• PVE personalizado: su propio modelo validador para patrones de inyección específicos del dominio.

Ship It

outputs/skill-injection-defense.md estructura una capa PVE + disciplina de captura de contenido para cualquier runtime de agente.

Ejercicios

1. Agregue una "etiqueta de origen" (source tag) a cada fragmento de contenido: user_message, tool_output, retrieved. Propague las etiquetas a través del historial de mensajes. El validador rechaza el contenido retrieved que parezca directivas.
2. Implemente un guardrail de escritura en memoria: cualquier escritura en memoria que parezca una instrucción ("do X", "execute Y") es rechazada.
3. Escriba una simulación de ataque de worming: el contenido inyectado le dice al agente que incluya el exploit en su próxima respuesta. Defiéndase contra ello.
4. Lea el artículo de Greshake et al. de extremo a extremo. Implemente uno de los exploits demostrados en su entorno de pruebas. Corrijalo.
5. Mida: en tráfico normal, ¿con qué frecuencia rechaza el validador PVE? Objetivo: casi cero en llamadas legítimas.

Términos Clave

Término	Lo que la gente dice	Lo que realmente significa
Inyección indirecta de prompt	"Inyección en contenido recuperado"	Instrucciones incrustadas en los datos que el agente recupera
Inyección directa de prompt	"Jailbreak"	El prompt proporcionado por el usuario evade los guardrails
PVE	"Prompt-Validator-Executor"	Validador rápido y económico antes de la inferencia principal costosa
Etiqueta de origen (source tag)	"Procedencia del contenido"	Metadados que marcam de dónde proviene el contenido
Navegación mediante lista de permitidos	"URL whitelist"	El agente solo puede visitar destinos aprobados
Worming	"Exploit autorreplicable"	El contenido inyectado incluye instrucciones para propagarse
Envenenamiento de memoria	"Inyección persistente"	Contenido inyectado almacenado como memoria; vuelve a envenenar la siguiente sesión

Lectura Adicional

• Greshake et al., Indirect Prompt Injection (arXiv:2302.12173) — artículo de ataque canónico
• OpenAI, Computer-Using Agent — "solo las instrucciones directas del usuario cuentan como autorización"
• Google, Gemini 2.5 Computer Use — servicio de seguridad por paso
• OpenAI Agents SDK docs — guardrails como PVE