Síntese da Parte 6¶
Parte 6 tratou custo como dimensão arquitetural, não como surpresa no fim do mês. O que ficou estabelecido:
- Custo total é mais do que tokens: inclui infra, observabilidade, evals, retries, retraining e revisão humana.
- Latência tem dois eixos diferentes: TTFT (prefill) e TPOT (decode); otimização errada vai para o lugar errado.
- Sizing de AI server depende de KV cache, batching e tipo de carga, não só de "VRAM dos pesos".
- Self-hosting vs API provider é trade-off com break-even que depende de utilização real, não de discurso.
- Caching (prompt e semântico), model routing e batching são alavancas, cada uma com risco próprio.
- FinOps em IA exige budgets por tenant/agente, alertas de anomalia e custo por sucesso, não só por chamada.
A Parte 7 fecha o ciclo: como esses sistemas são versionados, implantados, evoluídos e depreciados.