Pular para conteúdo

Capítulo 3.2 — Agency, autonomia limitada e blast radius

🎯 Objetivo

Estabelecer que autonomia não é propriedade emergente: é função do espaço de ação, das ferramentas disponíveis, das permissões concedidas e das políticas aplicadas. Quem desenha o agente desenha o teto de autonomia, e portanto o teto de risco.

🧠 Conceitos

  • Agency. Capacidade operacional de perseguir um objetivo via decisões intermediárias e ações permitidas.
  • Autonomia limitada. Agency restringida por escopo, ferramentas disponíveis, permissões IAM, budgets de custo, número máximo de passos e aprovações humanas em pontos críticos.
  • Blast radius. O quanto uma ação errada do agente pode danificar o sistema/empresa. Inclui efeito reversível, efeito permanente, número de tenants atingidos, valor financeiro exposto.

🛡️ Princípios

  • Menos permissões > mais permissões. Aumentar privilégio é decisão consciente, com revisão; reduzir é default.
  • Aprovação humana para ações irreversíveis. Critérios objetivos (valor, classe de ação, recurso afetado) declarados antes do go-live.
  • Budget + circuit breaker para limitar custo e número de passos.
  • Observabilidade exige tracing de cada decisão, não só do resultado final.
  • Defesa em profundidade entre identidade, policy, schema e tool registry - nenhuma camada isolada.

🚨 Sinais de excessive agency

  • Agente com acesso a tools que ele "ainda não precisa", mas "pode vir a precisar".
  • Agente compartilhando credencial de serviço com humano ou com outro agente.
  • Agente sem max_steps claro.
  • Agente sem budget por tenant.
  • Agente cuja única defesa contra uso indevido é o prompt.

📚 Referências