Pular para conteúdo

Capítulo 6.5 — FinOps para IA

🎯 Objetivo

Tratar FinOps em IA como disciplina contínua, não como auditoria trimestral. A natureza variável do custo de LLMs e agentes - tokens por chamada, retries, eval contínuo, observabilidade, picos multi-tenant - torna inviável administrar custo só com relatório mensal.

🧠 Conceito

FinOps para IA combina três coisas que, em sistemas tradicionais, costumam viver em times separados: visibilidade (quem gasta o quê), alocação (de quem é o gasto) e otimização (como reduzir sem perder qualidade). A unidade certa de medição é quase nunca "custo por chamada"; é custo por sucesso - quanto custa, em média, resolver uma tarefa de fato.

Sem essa unidade, agentes ineficientes parecem baratos (poucos tokens por chamada, muitas chamadas inúteis) e agentes caros mas eficazes parecem perdulários. A diferença só aparece quando o cálculo inclui retries, fallbacks, eval e revisão humana.

🛡️ Práticas

  • Orçamento por produto, tenant e agente.
  • Alertas de anomalia de consumo.
  • Custo por sucesso (não apenas custo por chamada).
  • Custo por erro.
  • Custos de eval.
  • Custos de tracing/storage.
  • Políticas de retenção.
  • Model routing.
  • Revisão de prompts longos.
  • Chargeback / showback formal.

🧰 Exemplo prático relacionado (planejado)

  • EX-COST-01 - cost budget enforcer simples para chamadas a LLM (planejado).