Siemens EDA eleva pontuação de agente de chips de 55% para 95% em benchmark
A Siemens EDA usou o NeMo Gym, da NVIDIA, para avaliar e aprimorar o agente Fuse em tarefas de caracterização de células padrão. A equipe também reduziu turnos e tokens de saída nos testes.
A Siemens EDA usou o NeMo Gym, biblioteca aberta da NVIDIA para avaliar e aprimorar agentes, para melhorar o desempenho do Siemens Fuse EDA AI Agent em tarefas de caracterização de células padrão. Em um benchmark com o PDK aberto GF180MCU, a pontuação composta média subiu de aproximadamente 55% para 95%, segundo a publicação da NVIDIA.
A equipe comparou os arquivos Liberty gerados pelo agente com referências verificadas. Essa checagem final identificou falhas que avaliações de etapas isoladas poderiam não detectar, incluindo células e condições de operação ausentes e valores de temporização ou potência fora da tolerância. Os resultados orientaram ajustes nas instruções de uso do agente e nas descrições das ferramentas.
O teste foi limitado a duas células em 36 combinações de processo, tensão e temperatura por execução. A equipe realizou aproximadamente 25 rodadas com Claude Opus 4.8 no Claude Code; cada execução levou de 1,5 a 2 horas. Nesse benchmark, os turnos do agente caíram de 155 para 53, redução de aproximadamente 66%, e os tokens de saída passaram de aproximadamente 81 mil para 29 mil, queda de aproximadamente 64%.
O que muda para você
O método interessa a equipes de projeto de chips e desenvolvedores de ferramentas de engenharia que precisam verificar resultados produzidos por agentes. A publicação mostra uma avaliação feita com o NeMo Gym e verificadores específicos para arquivos Liberty; não apresenta um produto novo de uso geral nem demonstra os mesmos ganhos em outros fluxos. Os resultados se limitam ao benchmark e às condições descritas.
Minha leitura
O avanço mais útil está em avaliar o arquivo final, onde erros plausíveis podem aparecer depois de várias etapas, em vez de confiar apenas em chamadas de ferramentas que parecem ter funcionado. Esse critério pode fazer diferença em qualquer fluxo técnico automatizado. Mas a pontuação de 95% pertence a um teste delimitado; para aplicá-la a outro processo, a equipe precisa definir o que conta como resultado correto e como verificar isso.
Thiago FelizolaConsultor de IA, curador do Diário da IA
