Pular para conteúdo

Capítulo 1.4 — Loss functions e alinhamento de objetivos

🎯 Objetivo

Mostrar que loss, métrica offline e métrica de negócio raramente coincidem - e que esse desalinhamento é fonte recorrente de modelos que "funcionam" mas não geram valor.

🧠 Conceitos

  • Loss define o que o modelo otimiza.
  • Métrica offline mede o que medimos antes de deployar.
  • Métrica de negócio mede o que importa para o usuário ou para a empresa.

Exemplos de desalinhamento:

  • Loss cross-entropy -> métrica F1 -> métrica de negócio satisfação.
  • Loss MSE -> métrica RMSE -> métrica de negócio economia.
  • Loss pointwise -> métrica NDCG -> métrica de negócio engajamento.

🛡️ Boas práticas

  • Definir explicitamente a cadeia loss -> métrica offline -> métrica de negócio.
  • Validar correlação entre métricas antes do deploy.
  • Aceitar que a métrica de negócio só é mensurável em produção (via A/B test ou monitoramento longitudinal).

🚨 Modos de falha

  • Otimizar CTR e degradar confiança ou diversidade.
  • Otimizar acurácia e ignorar segmento crítico.
  • Otimizar engajamento de curto prazo e perder retenção de longo prazo.

📌 Checklist

  • [ ] A cadeia loss -> métrica offline -> métrica de negócio está documentada?
  • [ ] A métrica de negócio é monitorada após o deploy?
  • [ ] Há análise por segmento, não apenas média global?