Phase 16 - Lesson 07

Sociedad de la Mente y Debate Multiagente

La premisa de 1986 de Minsky —la inteligencia es una sociedad de especialistas— se redescubre cada década. En 2023, Du et al. la convirtieron en un algoritmo concreto: múltiples instancias de LLM proponen respuestas, leen las respuestas de las demás, critican y actualizan. A lo largo de N rondas, convergen en un consenso que supera a CoT zero-shot y a la autorreflexión en seis tareas de razonamiento y factualidad. Dos hallazgos son importantes: tanto múltiples agentes como múltiples rondas contribuyen de forma independiente. La sociedad supera al monólogo de un solo agente; el intercambio de múltiples rondas supera a la votación en una sola ronda.

Tipo: Aprender + Construir Lenguajes: Python (stdlib) Prerrequisitos: Fase 16 · 04 (Modelo Primitivo) Tiempo: ~60 minutos

Problema

La autoconsistencia (self-consistency) —muestrear un modelo muchas veces y tomar la respuesta de la mayoría— es la mejora de razonamiento más barata que se puede implementar. Funciona, pero se satura rápido. Puedes duplicar tus muestras y no ver otro salto significativo.

El debate rompe la saturación. En lugar de N muestras independientes de un mismo modelo, N agentes leen el razonamiento de los demás y lo revisan. La correlación entre las muestras disminuye (ya no son i.i.d.) y el punto de convergencia suele ser correcto donde la votación i.i.d. estaba confiantemente errónea.

Concepto

El algoritmo de Du et al. 2023

De arXiv:2305.14325 (ICML 2024):

1. Cada uno de los N agentes produce una respuesta inicial a la pregunta.
2. Para la ronda r = 2..R: a cada agente se le muestran las respuestas de la ronda r-1 de los otros agentes y se le pregunta "considerando estas, proporcione su respuesta actualizada".
3. Después de R rondas, se realiza una votación por mayoría de las respuestas finales.

El artículo realiza pruebas en MMLU, GSM8K, biografías, MATH y benchmarks de factualidad. El debate supera consistentemente a CoT y a la autorreflexión (Self-Reflection).

Dos parámetros independientes

Ablaciones del mismo artículo:

• Solo el número de agentes (1 ronda, votación por mayoría de N) supera al agente único en la mayoría de las tareas, pero se estanca en una meseta.
• Solo el número de rondas (1 agente que ve su propio razonamiento previo) apenas ayuda; la debilidad conocida de la reflexión.
• Ambos juntos producen los grandes saltos. El intercambio de múltiples rondas entre múltiples agentes impulsa la ganancia.

Por que funciona

Dos mecanismos:

1. Exposición al desacuerdo. Cuando un agente ve la cadena de razonamiento de otro agente con una conclusión diferente, tiene que justificarla o actualizar la suya. De cualquier manera, el contexto para la ronda r+1 es más rico que el de la ronda r.
2. Reducción del error correlacionado. En la autoconsistencia, todas las muestras provienen del mismo modelo, por lo que los errores se correlacionan; se obtiene un promedio que da una respuesta confiantemente errónea. Diferentes modelos o diferentes semillas (seeds) decorrelacionan los resultados. Diferentes puntos de vista debatidos decorrelacionan aún más.

Debate heterogéneo

A-HMAD y los seguimientos relacionados utilizan diferentes modelos de base para los distintos agentes. El debate entre Llama + Claude + GPT reduce el colapso por monocultivo (Lección 26) porque los errores correlacionados de una familia de modelos no son compartidos por las demás.

Desventaja: un modelo débil que participa en un debate puede arrastar el consenso hacia su respuesta errónea (ver "Should we be going MAD?", arXiv:2311.17371).

NLSOM — la extensión de 129 agentes

Zhuge et al. ("Mindstorms in Natural Language-Based Societies of Mind", arXiv:2305.17066) escalaron esta idea a sociedades de 129 miembros. El resultado: la especialización y la autoorganización emergen con la escala, y el sistema supera al agente único en tareas como la respuesta visual a preguntas (visual question answering).

Modos de fallo

• Cascada de adulación (Sycophancy cascade). Todos los agentes ceden ante el agente que parece más seguro de sí mismo. El debate se reduce a la voz más alta. Diseñar indicaciones con roles adversarios ("un agente debe defender la posición contraria") ayuda.
• Desviación del tema (Topic drift). Los debates a lo largo de muchas rondas se desvían de la pregunta original. Mitigación: volver a introducir la pregunta en cada ronda.
• Explosión de cómputo. N agentes × R rondas = N·R llamadas de LLM, cada una con un contexto que crece. Un debate de 5 agentes y 5 rondas equivale a 25 llamadas con contexto creciente. El costo por pregunta puede superar en más de 10 veces el de una sola llamada CoT.

Constrúyalo

code/main.py ejecuta un debate de 3 agentes × 3 rondas sobre una pregunta de matemáticas donde cada agente comienza con una respuesta diferente (posiblemente incorrecta). Los agentes están programados (scripted): cada uno "se actualiza" promediando las respuestas de los vecinos ponderadas por una confianza programada. La convergencia es visible en el registro ronda por ronda.

La demostración muestra dos efectos clave:

• Una sola ronda de intercambio acerca a los agentes a la respuesta correcta.
• Las rondas adicionales más allá de la ronda 2 muestran retornos decrecientes (coincidiendo con la meseta de Du et al.).

Ejecute:

python3 code/main.py

Úselo

outputs/skill-debate-configurator.md configura un debate para una nueva tarea: número de agentes, número de rondas, heterogeneidad (mismo modelo frente a mixto), asignación de roles (simétrico frente a uno adversario). También estima el costo de tokens antes de la ejecución.

Envíelo a producción

Si implementa el debate en producción:

• Limite las rondas a 3. Du et al. muestran que 3 rondas capturan la mayor parte de la ganancia. Más rondas implican costo, no calidad.
• Limite los agentes a 5. Más allá de 5, el aumento de contexto y el costo dominan.
• Heterogéneo por defecto. Al menos dos modelos de base diferentes en el grupo.
• Espacio adversarial. Un agente instruido para no estar de acuerdo pase lo que pase. Rompe la adulación (sycophancy).
• Registre cada ronda. Los sistemas de debate que ocultan rondas intermedias no se pueden depurar ni auditar.

Ejercicios

1. Ejecute code/main.py, luego configure el número de rondas a 5 y observe los retornos decrecientes. ¿En qué ronda se detiene la convergencia adicional?
2. Agregue un cuarto agente con un rol adversario: estar siempre en desacuerdo con la mayoría actual. ¿Esto rompe o mejora la convergencia?
3. Grafique (imprima) la puntuación de acuerdo por ronda (fracción de agentes en la respuesta de la mayoría). ¿Cuándo llega a 1.0 y equivale eso a "correcto"?
4. Lea las ablaciones de la Sección 4 de Du et al. Replique el resultado de "solo agentes" frente a "solo rondas" frente a "ambos" utilizando este código.
5. Lea "Should we be going MAD?" (arXiv:2311.17371) y enumere dos variantes de debate más allá de round-robin (por ejemplo, dirigido por juez, cadena de debate, adversarial).

Términos Clave

Lecturas Adicionales

• Du et al. — Improving Factuality and Reasoning in Language Models through Multiagent Debate — el artículo de referencia, ICML 2024
• Zhuge et al. — Mindstorms in Natural Language-Based Societies of Mind — NLSOM de 129 agentes
• Should we be going MAD? A Look at Multi-Agent Debate Strategies for LLMs — evalúa variantes de debate
• Página del proyecto Debate — código, demostraciones y detalles de ablación de Du et al.