Hugging Face detalha melhorias do PyTorch 2.15 para Macs com Apple silicon
A equipe do PyTorch na Hugging Face descreveu mudanças no suporte à GPU dos Macs, incluindo novos recursos e ganhos medidos em operações específicas. A versão exige macOS 15 ou posterior e Python 3.11 ou posterior.
A equipe do PyTorch na Hugging Face detalhou as mudanças da versão 2.15 para o MPS, que permite executar e treinar modelos usando a GPU de Macs com Apple silicon. Para usar o recurso, é preciso ter macOS 15 ou posterior e Python 3.11 ou posterior. A publicação também oferece uma versão candidata para testes.
Entre as novidades estão tensores FP8, que ocupam metade do espaço de armazenamento de FP16 ou BF16, e novas operações executadas com Metal, a tecnologia da Apple. Em 96 formatos de camadas BF16 de modelos reais, a equipe mediu aceleração média geométrica de 1,23 vez. O ganho se concentrou em camadas menores; camadas grandes e cabeças de saída ficaram perto de 1 vez.
Em modelos de mistura de especialistas, a implementação nativa de multiplicação de matrizes agrupadas gerou cerca de 1,3 vez mais tokens por segundo em testes com um M3 Ultra e torch.compile. Em outro teste, o preenchimento em Metal no decodificador VAE do Wan2.2-TI2V-5B-Diffusers reduziu o pico de memória do driver de cerca de 270 GiB para 8 GiB. A medição correspondeu a 8.764 chamadas durante a decodificação de 28 blocos.
O que muda para você
As mudanças servem a quem executa ou treina modelos com PyTorch em Macs com Apple silicon, inclusive usando Transformers, Diffusers ou ComfyUI. É possível testar a versão candidata, desde que o Mac tenha macOS 15 ou posterior e Python 3.11 ou posterior. Os ganhos divulgados se referem a operações e configurações específicas; a publicação não garante o mesmo resultado em outros modelos ou equipamentos.
Minha leitura
Os números mais chamativos descrevem situações bem delimitadas. A queda de memória pode ajudar um modelo específico a caber na máquina, mas não prova que outros modelos terão o mesmo resultado; o ganho de velocidade também varia conforme a operação. Eu julgaria a atualização pelo problema concreto que ela resolve na carga de trabalho que você pretende executar, não pelo melhor número da publicação.
Thiago FelizolaConsultor de IA, curador do Diário da IA
