Hugging Face publica consulta de modelos testados no AWS Trainium
A Hugging Face criou um Space para consultar se modelos populares do Hub rodam sem modificações no Trainium. A página também fornece o script usado nos testes.
A Hugging Face publicou um Space que mostra quais modelos populares do Hub foram testados e rodam sem modificações no AWS Trainium. A página informa se o teste passou e fornece o script para executar o modelo, além das versões do compilador Neuron e do Transformers usadas na avaliação.
Cada resultado inclui o número de núcleos Trainium utilizados, o tempo de execução — com a compilação incluída — e o pico de memória do dispositivo. Os testes geram 32 tokens. Para modelos distribuídos por vários núcleos, um modelo avaliador verifica se o texto produzido é fluente em inglês; em um único núcleo, os tokens são comparados aos gerados pela mesma versão do modelo em uma CPU.
No momento da publicação, a seleção cobre apenas modelos Transformers de geração de texto e de texto e imagem que cabem em até quatro dispositivos Trainium2, ou 16 núcleos. A Hugging Face planeja ampliar os testes para outras bibliotecas e tarefas. Um resultado “PASS” não informa a vazão nem garante o desempenho em gerações mais longas.
O que muda para você
O Space é voltado a quem desenvolve ou executa modelos em instâncias AWS Trainium. Já dá para consultar os modelos testados e obter o script e as versões de software usados em cada avaliação. A cobertura é limitada a algumas tarefas e modelos que cabem em até quatro dispositivos Trainium2. A consulta não mede a vazão nem o desempenho em gerações longas.
Minha leitura
A consulta tira uma dúvida prática de compatibilidade, mas não responde se o Trainium atende à carga de trabalho de uma aplicação. O “PASS” indica que o modelo passou por um teste curto naquela configuração. Não mede a vazão nem mostra como o desempenho se mantém em gerações longas. Eu usaria o resultado para decidir o que vale testar a seguir, não para estimar a capacidade de produção.
Thiago FelizolaConsultor de IA, curador do Diário da IA
