Primeira páginaDiário da IA
Para quem programa

Microsoft detalha ThinkingBox, benchmark que mede agentes de IA pelo estado final dos dados

A Microsoft detalha o ThinkingBox, benchmark que avalia agentes de IA pelo estado terminal do banco de dados, não só pelas chamadas de ferramentas. Em 121.680 tentativas válidas, 79.853 falharam nas verificações executáveis.

ThinkingBox testa o resultado dos agentes. Ilustração editorial: Lupa e verificações executáveis inspecionam o estado final de um banco de dados.
Ilustração editorial · Diário da IA

A Microsoft publicou no Hugging Face o ThinkingBox, um benchmark para agentes de IA que julga o estado final deixado no backend, e não só a correção das chamadas de ferramenta ou da resposta textual. Cada tarefa roda 20 vezes em sessões isoladas, e o resultado é comparado com o estado terminal exigido.

No exemplo descrito pela empresa, um agente faz nove chamadas corretas, abre e documenta um ticket, mas encerra o caso com o status errado e ainda responde sem enfrentar a dúvida principal da cliente. É esse tipo de desvio que o ThinkingBox tenta capturar: o trajeto pode parecer certo, mas o dado final pode continuar errado.

Em uma ablação com 121.680 tentativas válidas em 12 modelos, 79.853 falharam nas verificações executáveis. Entre essas falhas, 67,24% terminaram sem erro aparente, mas ainda assim deixaram valores errados, efeitos extras ou faltas no estado final. O benchmark cobre 507 fluxos de trabalho e também calcula custo por sucesso e por tarefa confiável.

O que muda para você

Serve para quem avalia ou constrói agentes que alteram registros, abrem tickets, fazem reembolsos ou mexem em sistemas transacionais. O ganho prático está em medir o que ficou gravado no backend, não só a fala do modelo. Segundo a Microsoft, ThinkingBox e ThinkingBox-Bench estão no Hugging Face e podem ser usados via OpenEnv; o material pede Linux ou WSL, Python 3.11+, uv e Docker.

Minha leitura

A métrica certa muda a conversa. Se o agente pode soar correto e ainda assim gravar o estado errado, pass@1 virou um número bonito demais para trabalho de verdade. O recado aqui é separar capacidade de confiabilidade. Para mim, a pergunta útil deixa de ser qual modelo respondeu melhor e passa a ser qual consegue terminar o fluxo sem deixar lixo no sistema.

Thiago FelizolaConsultor de IA, curador do Diário da IA

Primeira páginaArquivo de notícias