Pular para o conteúdo
fernando.moretes.com
BlogEstudosCursosE-booksOpen SourcePodcasts
Loading…
Fernando Azevedo

Arquiteto de TI Especialista

Arquitetura, AWS, IA em produção, sistemas financeiros e FinOps, escritos a partir do que foi operado, com os números.

  • LinkedIn
  • GitHub
  • E-mail

Conteúdo

  • Blog
  • Estudos de arquitetura
  • Cursos
  • E-books
  • Open Source
  • Podcasts
  • Assuntos
  • Trilhas

Ferramentas

  • Well-Architected self-check
  • Arquitetura deste site
  • Números públicos
  • Histórico de estudo

Sobre

  • Comunidade
  • IA Builder
  • Perfil
  • Currículo (CV)
  • Trabalhe comigo
  • Media kit
  • RSS do blog
  • RSS dos estudos
  • Artigos narrados (podcast)
  • llms.txt
  • Termos, privacidade e uso de IA

(c) 2026 Fernando Francisco Azevedo

Assuntos/sagemaker-hyperpod

Agentes de IA em produção

sagemaker-hyperpod

5 conteúdos publicados sobre este assunto: artigos, estudos de arquitetura e guias de repositório.

Artigos· 5

IA & AgentesCluster de GPU compartilhado no HyperPod: três desenhos e quando cada um valeA AWS publicou uma arquitetura de referência para vários times dividirem um único cluster SageMaker HyperPod EKS, com IAM Identity Center, um domínio SageMaker por time, namespaces e Task Governance. Comparo esse desenho com um cluster por time e com namespaces sem governança, olhando para o que quebra em produção e para quem paga a GPU ociosa.Abrir IA & AgentesTreino multi-Region no HyperPod: como o cache da Qumulo esconde 60 msA AWS e a Qumulo publicaram uma validação de treino com o compute em `us-west-2` e o dataset em `us-east-2`, separados por 60 ms de RTT, e o cluster remoto empatou com o co-localizado depois de 100–150 batches de warmup. Fui atrás do mecanismo: metadados replicados em segundos, prefetch preditivo sobre leitura sequencial de 4 KB e um caminho de rede com limites bem concretos. O resultado é real, mas vale sob condições específicas, e são elas que este artigo destrincha.Abrir IA & AgentesTreino e inferência na mesma GPU: quatro formas de partilhar 10 mil aceleradoresO China Merchants Bank venceu o CNCF End User Case Study Contest ao colocar treino, fine-tuning e inferência num único plano de controle Kubernetes sobre quase 10 mil aceleradores heterogêneos: utilização média de 35% para mais de 60% e custo por milhão de tokens cortado em mais de 60%. Analiso o que faz esse número acontecer, fila com quota, autoscaling por métrica, virtualização de GPU e cache de dados, e comparo quatro formas de reproduzi-lo na AWS, com a matriz de decisão que eu usaria num banco.Abrir IA & AgentesCold start de LLM no HyperPod: de 27 minutos a segundos com model cachingO SageMaker HyperPod passou a pré-carregar pesos de modelo em NVMe local e imagens de contêiner nos nós, com cerca de 60% de scale-out mais rápido em modelos de 57 a 145 GB. Conto a migração de um endpoint de análise de documentos passo a passo, do baseline de 27 minutos até o primeiro token à reescrita da política de autoscaling que só existia para conviver com o cold start.Abrir IA & AgentesDPD no HyperPod: Prefill e Decode Disagregados em ProduçãoO SageMaker HyperPod agora suporta Disaggregated Prefill and Decode (DPD), separando as duas fases de inferência LLM em pools de GPU dedicados conectados via EFA e GPU-Direct RDMA. Essa mudança resolve um dos problemas mais persistentes em produção: um único request de contexto longo degradando a latência de token de todos os requests concorrentes. Neste artigo, analiso os trade-offs reais, os padrões de falha que você vai encontrar e um playbook para habilitar DPD em workloads financeiros de alta exigência.Abrir