A NVIDIA publicou um guia sobre o AIPerf, que ela apresenta como sucessor do GenAI-Perf para testar inferência de modelos de linguagem em servidores. O texto diz que a ferramenta foi reescrita do zero para substituir abordagens improvisadas, como comandos manuais e scripts próprios, que acabam limitados pelo próprio cliente e geram números pouco confiáveis.
Segundo o guia, o AIPerf foi pensado para saturar um servidor real sem virar o gargalo do teste e para entregar resultados úteis com configuração mais rápida. Na execução, ele mostra métricas como TTFT, ITL, vazão em tokens por segundo e estatísticas por percentil, como p25, p50, p75, p90, p95 e p99. O resultado sai no terminal e também em CSV e JSON.
O material compara dois modos de teste com o modelo Qwen3-0.6B servido por vLLM. No modo fixo, cada requisição usa exatamente 128 tokens de entrada e 128 de saída. No outro, as requisições chegam com média de 10 por segundo e tamanhos variáveis de entrada e saída, o que amplia a distribuição de latência e aumenta a competição entre pedidos.
O guia também observa que, com DCGM ou pynvml, o AIPerf registra consumo de energia, uso da GPU e memória na mesma execução. A NVIDIA cita ainda suporte a cenários mais complexos, como implantação em vários nós, reuso de cache e reprodução de tráfego, mas sem detalhar esses casos no texto principal.