A Pathway publicou um guia sobre sua arquitetura BDH-CQ, inspirada no cérebro, e sobre como ela foi desenvolvida e escalada no Amazon SageMaker HyperPod. No texto, a empresa afirma que um modelo de 150 milhões de parâmetros alcançou 29,2% de pass@2 no ARC-AGI-1, com custo de US$ 0,0007 por tarefa.
A BDH-CQ é apresentada como uma extensão da BDH, ou Baby Dragon Hatchling, que faz raciocínio em espaço latente em vez de gerar uma cadeia de raciocínio em texto. Segundo a Pathway, o modelo atualiza a própria memória durante a inferência e decodifica apenas as respostas candidatas, sem produzir um rastro verbal intermediário. A empresa também descreve a arquitetura como baseada em interações locais e esparsas entre neurônios artificiais, com aprendizado hebbiano para reforçar conexões entre elementos que “disparam” juntos.
Para desenvolver esse sistema, a Pathway usou o SageMaker HyperPod com instâncias EC2 p5en.48xlarge e GPUs NVIDIA H200, conectadas pelo Elastic Fabric Adapter. O texto diz ainda que o conjunto de monitoramento com Amazon Managed Service for Prometheus e Grafana ajudou a acompanhar uso de GPU e comunicação entre nós durante o treinamento. A empresa menciona documentação técnica e uma implementação de exemplo em seus repositórios públicos.