Capítulo 5.1 — Por que logs não bastam¶
🎯 Objetivo¶
Estabelecer a diferença operacional entre log textual, métrica agregada e tracing semântico - e mostrar por que IA exige os três, com ênfase desproporcional no terceiro.
🧠 Conceito¶
Em uma aplicação tradicional, log + métrica costuma bastar para 80% da operação. Em IA, esse percentual se inverte: o que diferencia um diagnóstico útil de um chute educado é o trace semântico, porque a maior parte do comportamento depende de contexto, versões e decisões intermediárias que não cabem em uma linha de log nem em uma métrica agregada.
Logs textuais respondem "o que aconteceu". Tracing semântico responde "como" e "por quê". Em IA, o "por quê" envolve:
- contexto enviado (modelo, prompt, versões, retrieval, tools);
- decisões intermediárias (policy decision, fallback, retry, routing);
- estados (memória usada, tokens consumidos);
- aprovações humanas;
- custo e latência por etapa.
Sem tracing semântico, um incidente de IA termina em "o modelo respondeu errado" - sem visibilidade para diagnosticar.
🧠 Diferença prática¶
| Camada | O que responde | Limite |
|---|---|---|
| Métrica | "Quantas vezes? Em que faixa de latência?" | Não tem contexto |
| Log | "O que o serviço disse?" | Textual, frágil, fragmentado |
| Trace | "Como esse caso específico atravessou o sistema?" | Mais caro de produzir; insubstituível em incidente |
🚨 Anti-padrões frequentes¶
- Logar prompts inteiros sem redaction. Vira incidente de privacidade.
- Métrica de "qualidade" como uma média global sem segmentação por tenant, idioma, intent.
- Trace só em erro. Quando o caso difícil acontece sem erro explícito, ninguém consegue investigar.