Pular para conteúdo

Síntese da Parte 6

Parte 6 tratou custo como dimensão arquitetural, não como surpresa no fim do mês. O que ficou estabelecido:

  • Custo total é mais do que tokens: inclui infra, observabilidade, evals, retries, retraining e revisão humana.
  • Latência tem dois eixos diferentes: TTFT (prefill) e TPOT (decode); otimização errada vai para o lugar errado.
  • Sizing de AI server depende de KV cache, batching e tipo de carga, não só de "VRAM dos pesos".
  • Self-hosting vs API provider é trade-off com break-even que depende de utilização real, não de discurso.
  • Caching (prompt e semântico), model routing e batching são alavancas, cada uma com risco próprio.
  • FinOps em IA exige budgets por tenant/agente, alertas de anomalia e custo por sucesso, não só por chamada.

A Parte 7 fecha o ciclo: como esses sistemas são versionados, implantados, evoluídos e depreciados.