ADR: Seleção de Modelo no Amazon Bedrock — Claude vs Nova vs Llama vs Fine-tune

Toda decisão de modelo em produção envolve pelo menos cinco tensões simultâneas que raramente apontam para a mesma direção.

Qualidade vs. custo por token. Modelos frontier como Claude 3.5 Sonnet entregam qualidade de raciocínio e coerência textual em pt-BR que modelos menores simplesmente não alcançam em zero-shot. Mas a diferença de preço entre Sonnet e um modelo custo-otimizado como Nova Micro pode ser de duas ordens de magnitude. Para tarefas de classificação binária ou extração de campos simples, pagar pelo Sonnet é desperdício mensurável.

Latência vs. janela de contexto. Documentos longos — contratos, laudos, transcrições de chamadas — exigem janelas de contexto de 100k+ tokens. Claude 3.5 Sonnet suporta 200k tokens de contexto. Modelos menores frequentemente têm janelas de 8k–32k, forçando chunking e lógica de retrieval adicional que introduz latência e complexidade operacional. A escolha do modelo afeta diretamente a arquitetura de ingestão.

Governança e residência de dados. No Bedrock, a inferência ocorre na região AWS configurada e a Anthropic, Meta e Amazon assinaram os termos de não-uso de dados de clientes para treinamento. Isso resolve o problema contratual básico. Porém, fine-tuning com dados proprietários exige que esses dados sejam armazenados em S3 e processados pelo serviço de customização do Bedrock — o que amplia a superfície de auditoria e requer controles adicionais de acesso (IAM, KMS, VPC endpoints).

Multilíngue pt-BR. Esta é uma força frequentemente subestimada em avaliações feitas com benchmarks em inglês. Claude 3.x e Nova Pro têm desempenho documentado em pt-BR. Llama 3.1/3.2 melhorou significativamente o suporte multilíngue, mas ainda apresenta degradação perceptível em tarefas de geração livre em português comparado ao inglês. Fine-tuning em corpus pt-BR pode compensar essa lacuna, mas cria um ciclo de manutenção.

Velocidade de evolução do produto. Modelos gerenciados (Claude, Nova) recebem atualizações sem intervenção do time de engenharia. Um fine-tune próprio congela o comportamento base e exige re-treinamento periódico para acompanhar melhorias de modelo — custo de MLOps que precisa estar no denominador da decisão.

A tentação natural em qualquer projeto GenAI é escolher o melhor modelo disponível e usá-lo para tudo. Isso elimina complexidade de roteamento, simplifica prompts e reduz superfície de teste. O problema é que essa abordagem otimiza para o pior caso de custo.

Considere o mix de tarefas deste cenário. Classificação de intenção — determinar se uma mensagem é uma reclamação, uma solicitação de informação ou um elogio — é uma tarefa que um modelo de 8B parâmetros com bom prompt resolve com F1 acima de 0,90. Usar Claude 3.5 Sonnet para isso é como usar um bisturi para cortar pão. A extração estruturada de campos em documentos padronizados (CPF, CNPJ, valores monetários) é igualmente resolvível com modelos menores e prompts bem construídos.

Por outro lado, sumarização de documentos jurídicos longos em pt-BR com preservação de nuances técnicas, ou geração de rascunhos de comunicação que precisam soar naturais e formais ao mesmo tempo, são tarefas onde a diferença entre Sonnet e Haiku é perceptível para um revisor humano. Aqui, economizar no modelo é economizar na qualidade do produto.

A janela de contexto adiciona outra dimensão. Nova Pro suporta 300k tokens — maior que o Sonnet — a um custo de input de $0,80/1M tokens contra $3,00/1M do Sonnet. Para sumarização de documentos muito longos onde o contexto completo precisa estar disponível, Nova Pro é uma alternativa séria que precisa ser avaliada com dados reais de pt-BR antes de ser descartada.

O argumento para Llama no Bedrock é diferente: não é primariamente custo, é auditabilidade de pesos. Setores regulados (financeiro, saúde) às vezes precisam demonstrar que entendem o modelo que estão usando. Open-weight não significa que você vai re-treinar — significa que você pode inspecionar, que existe literatura acadêmica sobre o comportamento do modelo, e que a dependência de fornecedor é estruturalmente menor. Esse argumento tem peso real em comitês de compliance.

Uma questão que frequentemente paralisa decisões de GenAI em empresas brasileiras é a conformidade com a LGPD quando dados de clientes transitam por modelos de terceiros. O Amazon Bedrock resolve parte desse problema de forma estrutural, mas não toda.

O que o Bedrock garante por design: A inferência ocorre dentro da infraestrutura AWS na região configurada. A AWS, Anthropic e Meta assinaram termos contratuais (disponíveis no Bedrock service terms) de que dados de clientes enviados para inferência não são usados para treinar ou melhorar modelos base. Isso é diferente de usar a API pública da Anthropic ou OpenAI diretamente, onde os termos padrão podem permitir uso de dados para melhoria do serviço. Para efeitos de LGPD, o Bedrock se qualifica como operador de dados com DPA (Data Processing Agreement) disponível via AWS.

O que ainda precisa ser gerenciado: Mesmo com Bedrock, PII que entra no prompt precisa ser tratada. A recomendação é implementar uma camada de sanitização antes da chamada ao modelo — substituindo CPF, CNPJ, nomes e dados sensíveis por tokens ou pseudônimos quando a tarefa não requer os valores reais (ex: classificação de intenção não precisa do CPF real; sumarização de contrato pode pseudonimizar partes). Isso reduz o risco residual e simplifica a auditoria.

Fine-tune e o problema do dado de treino: Se a decisão de fine-tune for revisitada no futuro, o dado de treino armazenado em S3 para o job de customização do Bedrock passa a ser um ativo de dados sensível com ciclo de vida próprio. Retenção, criptografia com KMS customer-managed key, controle de acesso com IAM least-privilege, e auditoria via CloudTrail são obrigações — não opcionais. O custo de conformidade do fine-tune vai além do custo de computação do treinamento.

Região e latência: O Bedrock com suporte completo a Claude e Nova está disponível primariamente em us-east-1 e us-west-2. Para dados que não podem sair do Brasil, a arquitetura precisa de uma camada de sanitização em sa-east-1 antes de rotear para us-east-1 para inferência — ou aguardar disponibilidade de modelos em sa-east-1, que está em expansão. Essa restrição de região é um item de roadmap que precisa estar no radar do time de arquitetura.