A NVIDIA publicou um guia sobre quando usar a separação encode-prefill-decode, ou EPD, no Dynamo, seu framework de inferência de código aberto para servir modelos de IA em ambientes distribuídos. A técnica isola o codificador de visão das etapas de prefill e decode, para que cada parte possa ser escalada de forma independente.
Segundo o texto, o ganho aparece sobretudo em pedidos com muitas imagens, saídas curtas ou médias e modelos MoE quantizados. Em cenários com pouco conteúdo visual ou com sequências muito longas de saída, a separação pode deixar de compensar, porque o decode passa a dominar o tempo total.
Nos testes descritos, a NVIDIA usou o Qwen3.5 122B A10B NVFP4 em quatro GPUs GB200, com transferência de embeddings por NIXL sobre UCX RC/TCP Ethernet. Em uma carga com dez imagens por pedido e 1024 tokens de saída, o TTFT caiu 58% com o encoder colado ao processamento e 50% com uma camada heterogênea; o tempo de resposta final melhorou pouco, já que o decode não muda com essa técnica. O principal resultado foi o goodput: a camada heterogênea atendeu 70% mais tráfego no mesmo limite de latência.
A empresa também observou que, em tráfego misto, pedidos de texto tiveram o TTFT reduzido de 92,3 para 53,3 ms, enquanto pedidos com imagem caíram de 289,9 para 200,6 ms. A escolha entre manter o encoder nas mesmas GPUs ou movê-lo para uma camada separada depende do hardware disponível e do equilíbrio entre visão, prefill e decode.