Capítulo 7.3 — Estratégias de rollout¶
🎯 Objetivo¶
Mapear estratégias de rollout com critério para escolha. Em IA, shadow e canary ganham importância especial porque grande parte do comportamento só aparece sob tráfego real.
📊 Estratégias¶
| Estratégia | Quando usar | Trade-off | Específico para IA |
|---|---|---|---|
| Canary | Mudança de risco médio | Tempo de validação | Métrica de qualidade pode demorar a se manifestar; precisa janela |
| Blue/green | Alternância rápida | Custo duplicado temporário | Útil quando rollback precisa ser instantâneo |
| Shadow | Comparar versões sem afetar usuário | Sem feedback de UX; só vale para componentes sem efeito colateral | Excelente para LLMs (sem efeito) e retrieval; ruim para tools que mutam estado |
| Feature flag | Habilitar por segmento | Complexidade de configuração | Permite ativar agente novo para um tenant antes do resto |
| Rollout progressivo | Tenant a tenant | Demora maior | Padrão recomendado para mudanças com risco de regressão |
| A/B test | Métrica de negócio | Tamanho amostral | Necessário para validar ganho real |
🧠 Critérios de reversão (rollback) declarados¶
Antes do rollout, registre objetivamente o que dispara reversão:
- Queda > X% em task success em janela de Y horas.
- Aumento > Z% em custo por sucesso.
- Aumento de policy violations ou de incidentes severos.
- Aumento de p95 fora do SLO.
- Reclamações reais acima de threshold.
Reversão automática quando possível; reversão manual com critério publicado quando não.
📌 Checklist de rollout¶
- [ ] Critérios de sucesso e de reversão estão escritos antes do rollout?
- [ ] Há eval pré-promoção?
- [ ] Há dashboard específico do rollout, separando tráfego controle e candidato?
- [ ] Reversão é testada (drill) periodicamente?
- [ ] Há comunicação a stakeholders sobre janela e impacto?