Meta atualiza Framework de Escala de IA Avançada, prévia Relatório de Segurança para Muse Spark

A Meta detalha como constrói e testa IA avançada via escalonamento. Treinaram Llama 3.1 405B, Llama 4 Scout e Llama 4 Maverick em clusters com centenas de milhares de GPUs NVIDIA H100s, H200s e GB200s, usando TorchScale. Processam trilhões de tokens em data factory com deduplicação e filtros. Receitas incluem GQA, tied LSTMs e RLHF com process supervision. Plataforma de avaliação roda milhões de benchmarks diários, como MMLU e GPQA. Inferência otimizada com ExecuTorch atinge 2x speedup via speculative decoding. Planejam modelos ordem de magnitude maiores em 2025.