Síntese da Parte 2¶

Parte 2 tratou o LLM como componente probabilístico dentro de uma arquitetura maior. Os pontos que ficaram estabelecidos:

Fundamentos importam para decisões de produção, não para treinar modelo do zero. Tokenizer, KV cache, prefill vs decode e sampling determinam custo, latência e variância.
Quantização e compressão trocam precisão por capacidade. O ganho só é real quando o kernel suporta o formato no hardware-alvo -meça, não suponha.
Context engineering é mais importante que prompt engineering. Selecionar, ordenar e formatar o que entra no contexto pesa mais do que tentar arrancar performance com instrução melhor.
Structured outputs garantem forma, não conteúdo. Validação continua sendo responsabilidade da aplicação.
AI gateways são camadas de governança operacional, não mecanismos de segurança nem substitutos de evals.
RAG é o caminho dominante para conhecimento corporativo, mas só funciona quando filtros, reranker, chunking, freshness e isolamento por tenant estão tratados como engenharia, não como detalhe.
Embeddings e Matryoshka transformam dimensão de embedding em decisão arquitetural com efeitos diretos em custo, RAM e qualidade.
Avaliação de LLM é um sistema próprio, com datasets versionados, golden + adversarial + regression e revisão humana onde aplicável.

A Parte 3 sobe um degrau: agentes assumem ação no mundo, e tudo o que foi discutido sobre LLM passa a operar dentro de um loop autônomo com tools, memória e estado.