Primeira páginaDiário da IA
Para quem programa

NVIDIA detalha como otimizar atenção esparsa em GPUs

A NVIDIA publicou um guia para desenvolvedores sobre atenção esparsa em modelos de contexto longo. O material traz medições de um kernel FP8 e recomendações de projeto para GPUs da empresa.

Desenvolvedora observa seleção de blocos de contexto em monitor ao lado de uma GPU.
Ilustração editorial · Diário da IA

A NVIDIA publicou um guia prático para desenvolvedores que projetam atenção esparsa para GPUs da empresa. A técnica faz cada consulta considerar apenas parte do contexto, em vez de todos os tokens. O material aborda modelos com contextos que podem chegar a centenas de milhares de tokens, como os usados com agentes, documentos longos e grandes bases de código.

O guia divide o processo em três etapas: um indexador pontua as chaves do contexto, a seleção Top-k mantém as mais relevantes e a atenção principal opera sobre esse subconjunto. Essa última etapa passa a depender da quantidade selecionada, mas o indexador ainda avalia todas as chaves. Segundo a NVIDIA, indexador e Top-k representam 47% do tempo de pré-processamento de uma camada do DeepSeek V3.2.

Para comparar escolhas de projeto, a empresa mediu um kernel de indexador FP8, variando parâmetros como número de cabeças, dimensão, compressão e profundidade da decodificação especulativa. Entre as recomendações estão reduzir as chaves avaliadas, integrar a seleção Top-k ao indexador e usar seleção por blocos grandes. O guia trata de esparsidade treinada no modelo, não de métodos aplicados depois do treinamento.

O que muda para você

O material é voltado a desenvolvedores que otimizam modelos de contexto longo para GPUs NVIDIA. Ele oferece medições e critérios de projeto, mas não anuncia um produto novo nem uma melhoria que usuários possam ativar em qualquer modelo. Para quem apenas usa ferramentas de IA, nada muda de imediato: aplicar as recomendações exige trabalho técnico no modelo ou nos seus componentes.

Minha leitura

A atenção esparsa reduz o trabalho de uma etapa, mas cobra uma conta para descobrir quais tokens usar. Esse custo pode ser grande: segundo a NVIDIA, o indexador e o Top-k já somam 47% do pré-processamento de uma camada do DeepSeek V3.2. Para quem desenvolve modelos, a medida relevante é o custo total, não apenas o ganho da atenção principal. Para quem usa um serviço pronto, o guia ainda não representa uma mudança perceptível.

Thiago FelizolaConsultor de IA, curador do Diário da IA

Primeira páginaArquivo de notícias