Phase 15 - Lesson 22

CAIS, CAISI e Risco em Escala Societal

O Center for AI Safety (CAIS, São Francisco, fundado em 2022 por Hendrycks e Zhang) publica o framework de quatro riscos — uso malicioso, corridas de IA, riscos organizacionais, IAs rebeldes — e a declaração de maio de 2023 sobre o risco de extinção assinada por centenas de professores e líderes de empresas. Lançamentos de 2026 do CAIS: AI Dashboard para avaliação de modelos de fronteira, Remote Labor Index (com a Scale AI), Superintelligence Strategy Paper, boletim informativo AI Frontiers. Uma entidade distinta: NIST Center for AI Standards and Innovation (CAISI) — acordos voluntários voltados para o governo dos EUA e avaliações não confidenciais de capacidades focadas em riscos de armas cibernéticas, biológicas e químicas. O CAIS sinaliza o risco organizacional como um dos quatro riscos de nível superior: cultura de segurança, auditorias rigorosas, defesas em camadas e segurança da informação são fundamentais, mas rotineiramente sacrificados em prol da velocidade de implantação. A SB-53 da Califórnia, se assinada, seria a primeira regulamentação de risco catastrófico em nível estadual nos EUA.

Tipo: Learn Linguagens: Python (stdlib, inventário de quatro riscos e combinador de mitigação) Pré-requisitos: Fase 15 · 19 (RSP), Fase 15 · 20 (PF + FSF) Tempo: ~45 minutos

O Problema

As Lições 19 e 20 cobriram as políticas de escala internas dos laboratórios. A Lição 21 cobriu a avaliação independente de capacidades. Esta lição cobre a terceira perspectiva: a sociedade civil e as organizações governamentais que moldam a discussão pública e a linha de base regulatória para o risco catastrófico de IA.

Duas entidades distintas são importantes. O CAIS é uma organização de pesquisa sem fins lucrativos que publica frameworks para pensar sobre o risco de IA e coordena declarações públicas. O CAISI é um centro do governo dos EUA dentro do NIST que gerencia acordos voluntários com laboratórios e avaliações não confidenciais de capacidades. Os nomes rimam; as missões não se sobrepõem. Um profissional deve conhecer ambos.

O conteúdo prático: o framework de quatro riscos do CAIS é a taxonomia de risco em escala societal mais amplamente citada na literatura. A cultura de segurança e o risco organizacional são um desses quatro, e este é o mais diretamente sob o controle de um profissional. A SB-53 (Califórnia) seria a primeira regulamentação estadual de risco catastrófico nos EUA se assinada; a estruturação do projeto de lei é importante porque a regulamentação em nível estadual historicamente liderou a ação federal na política de tecnologia dos EUA.

O Conceito

CAIS — Center for AI Safety

• Fundação: 2022 em São Francisco, por Dan Hendrycks e colaboradores (o nome "Zhang" refere-se a um colaborador inicial, não a um cofundador atual; consulte o site do CAIS para ver a liderança atual).
• Status: organização sem fins lucrativos 501(c)(3).
• Produção notável de 2023: declaração sobre o risco de extinção, assinada em conjunto por centenas de pesquisadores e CEOs. Declarou: "Mitigar o risco de extinção por IA deve ser uma prioridade global, juntamente com outros riscos em escala societal, como pandemias e guerra nuclear."
• Entregas de 2026: AI Dashboard para avaliação de modelos de fronteira, Remote Labor Index (em conjunto com a Scale AI), Superintelligence Strategy Paper, boletim informativo AI Frontiers.

O framework de quatro riscos

O framework do CAIS agrupa o risco catastrófico de IA em quatro categorias de nível superior:

1. Uso malicioso: um ator mal-intencionado usa IA para causar danos (síntese de armas biológicas, desinformação, ataques cibernéticos).
2. Corridas de IA: a pressão competitiva entre laboratórios, empresas ou nações força a implantação além do ponto em que ela é segura.
3. Riscos organizacionais: dinâmicas internas de laboratório (falhas na cultura de segurança, auditoria insuficiente, segurança com poucos recursos) produzem uma implantação ruim.
4. IAs rebeldes: uma IA suficientemente capaz persegue objetivos que conflitam com o bem-estar humano.

Esta não é a única taxonomia; é a mais citada. As categorias não são mutuamente exclusivas — uma IA rebelde produzida por uma organização que trocou auditoria por velocidade em uma corrida envolve as quatro categorias.

Onde vive o risco organizacional

Das quatro categorias, o risco organizacional é o mais acionável para os profissionais. A cultura de segurança de um laboratório, o rigor da auditoria, as defesas em camadas e a segurança da informação decidem se seu modelo é lançado com os controles das Lições 10–18 realmente implementados ou se esses controles são apenas itens de uma lista de verificação que ninguém verificou.

As alavancas concretas de risco organizacional:

• Cultura de segurança: os membros da equipe sentem-se capazes de relatar uma preocupação sem custo para a carreira? As pesquisas do CAIS mostram que este é um forte preditor das outras alavancas.
• Auditorias rigorosas: externas e internas. Auditorias apenas internas produzem relatórios otimistas.
• Defesas em camadas: nenhuma camada única é suficiente (o tema recorrente da Fase 15).
• Segurança da informação: vazamento de pesos do modelo, vazamento de dados de avaliação, vazamento de técnicas de desvio de monitoramento. O RAND SL-4 na Lição 19 é um padrão específico.

CAISI — Center for AI Standards and Innovation

• Opera dentro do NIST.
• Gerencia acordos voluntários com laboratórios de fronteira.
• Publica avaliações não confidenciais de capacidades focadas em riscos de armas cibernéticas, biológicas e químicas.
• Distinto do CAIS; as siglas colidem; verifique a URL (nist.gov) para confirmar qual deles você está lendo.

O papel do CAISI é o equivalente público e voltado para o governo dos engajamentos privados de laboratórios do METR (Lição 21). Os relatórios do CAISI não são confidenciais; os relatórios do METR geralmente são protegidos por acordos de confidencialidade (NDAs). Um profissional que lê ambos obtém um panorama mais completo.

California SB-53

O projeto de lei do Senado da Califórnia (sessão 2025–2026) aborda o risco catastrófico de modelos de fronteira. Principais disposições conforme redigido:

• Limites de capacidade específicos que acionam obrigações em nível estadual.
• Proteções para denunciantes (whistleblowers) para funcionários de laboratórios de IA.
• Requisitos de notificação de incidentes para falhas catastróficas.

Se assinado, seria a primeira regulamentação estadual de risco catastrófico nos EUA. Independentemente de ser assinado ou não, a estruturação do projeto de lei molda como outras legislaturas estaduais abordam o problema. Os profissionais na Califórnia devem acompanhar a situação do projeto de lei; os profissionais de outros lugares devem lê-lo para entender como a regulamentação estadual dos EUA provavelmente se parecerá.

O risco em escala societal não é um problema de camada única

O tema recorrente da Fase 15 — defesa em profundidade — aplica-se também à camada societal. Nenhuma organização, regulamentação ou framework isolado elimina o risco catastrófico. O ecossistema funciona apenas quando:

• Os laboratórios lançam políticas de escala (Lições 19, 20).
• Os avaliadores externos produzem medições (Lição 21).
• A sociedade civil acompanha e divulga (CAIS).
• O governo gerencia programas voluntários e regulamentação básica (CAISI, SB-53).
• Os profissionais constroem controles em camadas (Lições 10–18).

Esta é a síntese final para a fase: cada lição anterior é uma camada em uma pilha cuja integridade importa mais do que a força de qualquer camada isolada.

Use It

code/main.py implementa uma pequena ferramenta de inventário de risco. Diante de uma implantação proposta, ela categoriza a implantação nas quatro categorias de risco e retorna uma lista de mitigação. É um auxílio de leitura para o framework, não um substituto para o julgamento humano.

Ship It

outputs/skill-societal-risk-review.md analisa a postura de risco em escala societal de uma implantação: quais das quatro categorias ela afeta, quais mitigações estão implementadas e qual é a exposição ao risco organizacional.

Exercises

1. Execute code/main.py. Insira três implantações sintéticas em escalas diferentes. Confirme se as tags dos quatro riscos correspondem ao esperado; identifique um caso em que a ferramenta rotule de forma insuficiente ou excessiva.

2. Leia o artigo de quatro riscos do CAIS na íntegra. Escolha uma categoria de risco e escreva dois parágrafos sobre o que você acredita ser o desenvolvimento mais importante de 2026 nessa categoria.

3. Leia uma versão preliminar atual da SB-53 da Califórnia. Identifique uma disposição que você acredita que fortalece a postura de risco catastrófico e outra que você acredita que a enfraquece. Justifique ambas.

4. Escolha uma implantação de IA em produção que você conheça (sua ou publicada). Avalie-a em relação às subalavancas de risco organizacional: cultura de segurança, rigor da auditoria, defesas em camadas e segurança da informação. Qual é a mais fraca? Quanto custaria para trazê-la ao nível ideal?

5. Esboce uma versão de 2028 do framework de quatro riscos que reflita um ano adicional de capacidade e um ano adicional de experiência de implantação. O que você adicionaria, removeria ou reagruparia?

Key Terms

Further Reading

• Center for AI Safety — sede institucional do framework de quatro riscos.
• CAIS — AI Risks that Could Lead to Catastrophe — o artigo sobre os quatro riscos.
• CAIS — May 2023 statement on extinction risk — declaração conjunta curta.
• NIST CAISI — centro de inovação e padrões de IA voltado para o governo.
• Anthropic — Measuring agent autonomy in practice — conecta os compromissos em nível de laboratório com a estrutura em escala societal.