Phase 16 - Lesson 23

Modos de Falha — MAST, Pensamento de Grupo, Monocultura, Erros em Cascata

A taxonomia de referência para 2026 é a MAST (Cemri et al., NeurIPS 2025, arXiv:2503.13657), derivada de 1642 traces de execução em 7 MAS de código aberto de última geração que mostram uma taxa de falha de 41–86,7%. Três categorias raiz: Problemas de Especificação (Specification Problems - 41,77%) — ambiguidade de papéis, definições de tarefas pouco claras; Falhas de Coordenação (Coordination Failures - 36,94%) — falhas de comunicação, dessincronização de estado; Lacunas de Verificação (Verification Gaps - 21,30%) — validação ausente, falta de verificações de qualidade. A família Pensamento de Grupo (Groupthink) (arXiv:2508.05687) adiciona: colapso de monocultura (mesmo modelo base → falhas correlacionadas), viés de conformidade (agentes reforçam os erros uns dos outros), teoria da mente deficiente, dinâmica de motivação mista e falhas de confiabilidade em cascata. Exemplo em cascata: tempestades de tentativas (retry storms) onde uma falha de pagamento aciona tentativas de pedidos, que acionam tentativas de inventário, sobrecarregando o serviço de inventário (10x a carga em segundos — necessita de disjuntores / circuit breakers). Envenenamento de memória: a alucinação de um agente entra na memória compartilhada e os agentes downstream a tratam como fato; a precisão decai gradualmente, tornando doloroso o diagnóstico da causa raiz. O STRATUS (NeurIPS 2025) relata uma melhoria de 1,5x no sucesso da mitigação por meio de agentes especializados de detecção / diagnóstico / validação. Esta lição trata os modos de falha como alvos de engenharia de primeira classe.

Tipo: Aprenda Linguagens: Python (stdlib) Pré-requisitos: Fase 16 · 13 (Memória Compartilhada), Fase 16 · 14 (Consenso e BFT), Fase 16 · 15 (Topologia de Votação e Debate) Tempo: ~75 minutos

Problema

Sistemas multiagentes falham de 41 a 86,7% do tempo em tarefas reais (Cemri et al. 2025 mediram isso em 7 MAS de código aberto). Isso não é algo depurável "apenas adicionando mais agentes". As falhas têm causas estruturais. A taxonomia MAST fornece as categorias. Esta lição mapeia cada categoria para um padrão concreto de detecção, diagnóstico e mitigação para que os números parem de parecer arbitrários.

A prática de produção em 2026 consiste em tratar os modos de falha como entradas de design. Sua arquitetura não é "boa o suficiente" até que você possa apontar para cada categoria da MAST e nomear a mitigação que implantou.

Conceito

Categorias MAST

Problemas de Especificação (41,77% das falhas). A tarefa do agente não foi definida com rigor suficiente. Exemplos:

• Ambiguidade de papéis: dois agentes pensam que são o revisor.
• Tarefa subespecificada: "resuma isso" quando o usuário queria um ângulo específico.
• Critérios de sucesso implícitos: o agente não consegue dizer se obteve sucesso.

Mitigações:

• Escreva contratos de papel explícitos. O prompt de cada agente indica o que ele faz e o que ele não faz.
• Testes de aceitação por tarefa. Antes do início do agente, defina "concluído se parece com X".
• Verificação de especificação pré-voo (pre-flight): um agente separado revisa a definição da tarefa antes do despacho.

Falhas de Coordenação (36,94%). Falhas de comunicação ou de estado.

Exemplos:

• Dois agentes atualizam o estado compartilhado sem sincronização.
• Mensagem perdida entre agentes (falha na fila, timeout).
• Desvio de estado (state drift): o agente A pensa que a tarefa está concluída; o agente B ainda está executando.

Mitigações:

• Estado compartilhado versionado com concorrência otimista.
• Confirmação explícita (ack) para mensagens críticas (tentar novamente até receber ack).
• Checkpoints periódicos de sincronização de estado; detecte desvios precocemente.

Lacunas de Verificação (21,30%). Nenhuma verificação independente nas saídas.

Exemplos:

• Um agente alega sucesso; ninguém verifica.
• Cadeia de agentes onde cada um confia na saída do anterior.
• Falta de cobertura de testes no comportamento emergente composto.

Mitigações:

• Agente verificador independente (Lição 13). Acesso a fontes de forma independente e apenas para leitura.
• Contrato explícito de entrega (handoff): "a saída de A deve passar pelo verificador C antes que B comece."
• Registro de resultados para análise posterior (post-hoc).

Família Pensamento de Grupo (arXiv:2508.05687)

Cinco falhas relacionadas quando os agentes se homogeneízam ou imitam uns aos outros:

Colapso de monocultura. Mesmo modelo base ou dados de treinamento → erros correlacionados. Quando três agentes compartilham um LLM, eles compartilham suas alucinações.

Viés de conformidade. Os agentes se ajustam ao colega mais barulhento ou confiante, mesmo quando ele está errado.

Teoria da Mente (ToM) deficiente. Os agentes falham ao modelar as crenças uns dos outros; a coordenação desmorona (Lição 18).

Dinâmica de motivação mista. Agentes com incentivos parcialmente alinhados desviam-se para um meio-termo de compromisso que não satisfaz a ninguém.

Falhas de confiabilidade em cascata. O padrão de erro de um componente aciona padrões de erro em componentes dependentes.

Exemplo em cascata — a tempestade de tentativas (retry storm)

Um padrão clássico de incidente de 2026:

payment service fails 10% of requests
    ↓
order agent retries payment (exponential backoff but naive)
    ↓
each retry is a new order-inventory check
    ↓
inventory service sees 2x normal load
    ↓
inventory service starts timing out
    ↓
every order retries inventory check
    ↓
inventory service sees 10x normal load
    ↓
cluster goes down

A correção é clássica: disjuntores (circuit breakers). Quando a taxa de erro downstream excede o limite, interrompe-se o circuito retornando resultados armazenados em cache ou padrões. Além disso, aplicam-se orçamentos de tentativas limitados por requisição.

Disjuntores são uma das poucas mitigações de falhas multiagentes herdadas diretamente de sistemas distribuídos sem modificação.

Envenenamento de memória (revisitado)

Da Lição 13: a alucinação de um agente torna-se um fato na memória compartilhada; os agentes downstream raciocinam com base no fato envenenado. Em termos da MAST, esta é uma lacuna de verificação na camada de memória compartilhada.

O sintoma é o declínio gradual da precisão. Não ocorre uma falha catastrófica imediata; você obtém um desvio lento difícil de diagnosticar a causa raiz.

Mitigação: log append-only, proveniência, verificador sem permissão de escrita. Já abordado na Lição 13.

STRATUS — agentes especializados para detecção de falhas

O STRATUS (NeurIPS 2025) relata uma melhoria de 1,5x no sucesso de mitigação ao implantar:

• Agente de detecção. Observa padrões de sintomas (alta divergência, picos de tentativas, desvio de precisão).
• Agente de diagnóstico. Diante de sintomas, infere a provável causa raiz a partir da taxonomia MAST.
• Agente de validação. Após a aplicação de uma mitigação, verifica se os sintomas desapareceram.

Isso é resposta a incidentes ao estilo SRE, aplicada a sistemas de agentes. Os três papéis podem ser agentes de LLM com prompts especializados.

A auditoria de modos de falha

Uma melhoria de processo recomendada para 2026 é realizar uma auditoria de modos de falha anual (ou por grande lançamento):

1. Amostra de traces. Colete cerca de 1000 traces de execução reais.
2. Categorize. Para as falhas de cada trace, mapeie para as categorias MAST + Groupthink.
3. Calcule a taxa de falha por categoria. Quais categorias dominam o seu sistema?
4. Classifique as mitigações. Qual correção eliminaria a maior quantidade de falhas?
5. Escolha de 2 a 3 mitigações. Implemente e audite novamente no próximo trimestre.

A disciplina é mais importante do que as escolhas específicas. Sem auditorias, as falhas misturam-se com o ruído e nunca são tratadas sistematicamente.

Quando os sistemas falham silenciosamente

A categoria de falha mais perigosa é a falha de correção silenciosa. Um sistema que falha de forma barulhenta (crash, exceção, alerta) pode ser monitorado. Um sistema que produz saídas plausíveis, mas incorretas, não pode ser detectado por logs de exceção. É por isso que as lacunas de verificação são a categoria mais cara por falha, embora representem apenas 21,30% em quantidade.

Invista em:

• Revisão humana baseada em amostragem.
• Testes de regressão com conjuntos de dados de referência (golden datasets).
• Validação cruzada entre agentes para saídas importantes.

Falha imediata vs falha lenta

Algumas falhas são imediatas; outras são lentas. Falhas imediatas (timeout, incompatibilidade de esquema, erro de autenticação) são baratas de detectar. Falhas lentas (envenenamento de memória, desvio por monocultura, ambiguidade de papéis) são caras de detectar e prevenir.

A estratégia de engenharia para 2026: instrumentar proxies de falha lenta para capturar desvios antes que se tornem erros visíveis. A taxa de concordância, a taxa de tentativas, a distribuição do comprimento da saída e a distância de edição entre versões consecutivas dos agentes são proxies úteis.

Build It

O arquivo code/main.py implementa:

• FailureTaxonomy — categoriza incidentes simulados nas categorias MAST + Groupthink.
• CircuitBreaker — padrão clássico; abre quando a taxa de erro excede o limite.
• RetryStormSimulator — exibe a falha em cascata; ativa e desativa o disjuntor.
• DetectionAgent — correspondente de sintomas no estilo STRATUS implementado via código.

Execute:

python3 code/main.py

Saída esperada:

• tempestade de tentativas sem disjuntor: os erros de inventário explodem (simulado).
• com disjuntor: limita-se ao limite máximo; respostas em modo degradado são servidas.
• o agente de detecção sinaliza o padrão e nomeia a categoria MAST correspondente.

Use It

O arquivo outputs/skill-mast-auditor.md executa uma auditoria de modos de falha no estilo MAST em um sistema multiagente. Traces → categorização → classificação de mitigação.

Ship It

Disciplina de modos de falha em produção:

• Auditoria MAST trimestral. Não anual. As categorias mudam à medida que seu sistema cresce.
• Disjuntores em todos os lugares. Em cada chamada de saída para qualquer serviço dependente. Limite padrão de abertura em 5-10% de taxa de erro.
• Golden datasets. Conjuntos de dados pequenos, de alta qualidade e auditados manualmente. Realize testes de regressão com eles semanalmente.
• Trio STRATUS. Agentes de detecção + diagnóstico + validação monitorando a produção. Comece apenas com o agente de detecção; adicione o diagnóstico quando os sintomas gerarem muito ruído.
• Orçamento de falhas (failure budget). SLO explícito para a taxa de falha por categoria. Exceder o orçamento interrompe os lançamentos para investigações.

Exercícios

1. Execute code/main.py. Confirme se o disjuntor limita a tempestade de tentativas. varie o limite de falhas e observe a relação de troca (tradeoff).
2. Implemente um proxy de falha lenta: taxa de concordância entre 3 agentes paralelos. Quando ela cair drasticamente, acione um alerta. Simule um desvio por monocultura correlacionando gradualmente as saídas dos agentes.
3. Leia Cemri et al. (arXiv:2503.13657). Escolha um de seus 7 sistemas MAS e mapeie suas 3 principais categorias de falha. Como elas se comparam com as previsões da MAST?
4. Leia o artigo sobre Groupthink (arXiv:2508.05687). Identifique qual dos cinco padrões é o mais difícil de detectar em produção. Proponha uma métrica de proxy.
5. Desenhe um trio de detecção-diagnóstico-validação no estilo STRATUS para um sistema multiagente específico que você conheça. Quais sintomas a detecção monitora? Quais mitigações o diagnóstico recomenda? Como a validação confirma que funcionaram?

Termos-Chave

Leitura Adicional

• Cemri et al. — Why Do Multi-Agent LLM Systems Fail? — Taxonomia MAST, NeurIPS 2025
• Groupthink failures in multi-agent LLMs — Monocultura, conformidade e a taxonomia das cinco famílias
• STRATUS — specialized agents for MAS incident response — Entrada nos anais do NeurIPS 2025 (detecção + diagnóstico + validação)
• Release It! — stability patterns (Nygard) — A referência canônica de disjuntores
• Anthropic — Multi-agent research system — Notas sobre modos de falha em produção