Capítulo 1.7 — Experiment tracking e model registry

🎯 Objetivo

Tratar experimentos como artefatos de engenharia.

🧠 Conceito

• Experiment tracking - registro de parâmetros, código, dados, métricas, artefatos e ambiente.
• Model registry - catálogo versionado de modelos com metadata, status (staging, production, archived) e aprovação.

Ferramentas: MLflow, Weights & Biases, DVC, ClearML.

🚨 Modos de falha

• "Modelo do laptop" sem rastreabilidade.
• Métrica reportada em deck difere da métrica reproduzível.
• Modelo em produção sem dataset/código rastreáveis.

📝 Templates obrigatórios

• Model card - propósito, dataset, métricas, limites, riscos.
• Dataset card - origem, schema, viés, restrições.
• Eval report - comparação versionada entre modelo atual e candidato.

🧰 Exemplo prático relacionado (planejado)

• EX-ML-03 - pipeline scikit-learn + MLflow + model registry local.

📌 Checklist

• [ ] Todo experimento tem ID e rastreabilidade?
• [ ] Modelo em produção tem model card publicado?
• [ ] Promoção entre staging e production exige aprovação?

📚 Referências

• MLflow docs: https://mlflow.org/docs/latest/index.html
• Mitchell et al. - Model Cards for Model Reporting (FAT* 2019): https://arxiv.org/abs/1810.03993
• Gebru et al. - Datasheets for Datasets: https://arxiv.org/abs/1803.09010

---