A Multiverse Computing publicou um artigo no Hugging Face em que reformula a poda de grandes modelos de linguagem como um problema de otimização binária com restrições, equivalente a um sistema de spins do tipo Ising. No método, cada bloco do transformer recebe uma variável binária: 0 para manter e 1 para remover.
A ideia central é considerar não só a importância de cada bloco isoladamente, mas também a interação entre pares de blocos. Para isso, o trabalho usa uma expansão de Taylor de segunda ordem da perda do modelo e calcula uma matriz Hessiana com base em um pequeno conjunto de calibração. Depois disso, cada configuração candidata pode ser avaliada com um cálculo de energia, sem executar o modelo completo nem rodar benchmarks para cada tentativa.
O resultado mais forte aparece no Llama-3.3-70B-Instruct. Ao remover 40 dos 80 blocos, o CBO ficou perto de 77 pontos no MMLU, enquanto a melhor linha de base caiu para a faixa dos 50 pontos, uma diferença de quase 23 pontos percentuais. Em compressões mais leves, o desempenho ficou mais próximo do dos métodos concorrentes.
O texto também mostra que o estado de menor energia nem sempre é o melhor modelo final. No Llama-3.1-8B-Instruct, o 17º estado excitado, que remove um bloco no começo da rede, superou o estado fundamental depois de um leve retreinamento. A abordagem também foi aplicada ao NVIDIA-Nemotron-3-Nano-30B-A3B-FP8, um modelo que mistura Mamba2, atenção e camadas de mistura de especialistas.