Capítulo 1.9 — Monitoramento, drift e retreinamento

🎯 Objetivo

Distinguir tipos de drift e definir estratégia de retreinamento.

🧠 Tipos de drift

Tipo	O que muda	Como detectar
Data drift	Distribuição das features	KS test, PSI, Jensen-Shannon
Concept drift	Relação feature -> label	Performance drift, A/B vs baseline
Label drift	Distribuição do label	Frequência por classe ao longo do tempo
Performance drift	Métrica de qualidade cai	Monitoramento contínuo de métricas
Feedback drift	Comportamento do usuário muda	Métrica de negócio

🛡️ Estratégias de retreinamento

• Reativo - retreina quando drift é detectado.
• Periódico - janela fixa (semanal, mensal).
• Online incremental - pequenos updates contínuos (raro em enterprise).
• Trigger por métrica de negócio - retreina quando KPI cai.

🚨 Modos de falha

• Retreinar sem rollback definido.
• Retreinar com dados contaminados pelo próprio modelo (feedback loop).
• Retreinar sem comparação contra baseline.

🧰 Exemplo prático relacionado (planejado)

• EX-ML-05 - monitor de drift com Evidently.

📌 Checklist

• [ ] Há detecção automatizada de drift?
• [ ] Retreinamento tem testes de regressão?
• [ ] Há rollback definido?

📚 Referências

• Evidently AI - Concept drift e Data drift docs.

---