OpenAI aponta falhas em 30% das tarefas do benchmark SWE-Bench

A OpenAI publicou uma análise detalhada do benchmark de codificação SWE-Bench Pro, identificando que aproximadamente 30% das tarefas do conjunto de dados apresentam falhas que comprometem a avaliação de modelos de inteligência artificial. A auditoria, que combinou revisão automatizada com análise humana, encontrou 249 tarefas quebradas em um total de 731, o que representa 34,1% do dataset. Os problemas foram classificados em quatro categorias principais: testes excessivamente rigorosos, prompts subespecificados, testes com baixa cobertura e prompts enganosos.

O estudo é relevante porque benchmarks como o SWE-Bench Pro são usados para medir a capacidade de modelos de IA em tarefas de codificação realistas, influenciando decisões de implantação e segurança. A OpenAI já havia identificado problemas similares no SWE-Bench Verified, levando a empresa a recomendar o SWE-Bench Pro como alternativa. Agora, com as novas descobertas, a OpenAI retirou essa recomendação, alertando que avaliações com falhas podem distorcer a compreensão das capacidades dos modelos e afetar prioridades de pesquisa.

A metodologia da auditoria envolveu um pipeline automatizado que sinalizou 286 tarefas potencialmente problemáticas, seguidas por uma revisão aprofundada com agentes investigadores baseados em Codex e uma campanha de anotação humana com cinco engenheiros de software experientes por tarefa. Os revisores humanos foram mais propensos a marcar tarefas como quebradas do que os agentes automatizados, e em 74% dos casos houve sobreposição nas categorias de problemas identificadas. A maior diferença foi em testes de baixa cobertura, que os humanos identificaram em 9,4% do benchmark contra 4,1% dos agentes.

As implicações práticas são significativas para a comunidade de desenvolvimento de IA. A OpenAI sugere que novos benchmarks sejam criados por desenvolvedores experientes especificamente para testar capacidades de modelos, permitindo melhor supervisão humana. A empresa também destaca que, à medida que os modelos melhoram, eles próprios podem ser usados para inspecionar prompts, testes e patches, facilitando a detecção de problemas que antes eram caros ou impraticáveis de encontrar em escala. A análise reforça a necessidade de avaliações que sejam difíceis de manipular, fáceis de confiar e genuinamente reflexivas das capacidades dos modelos.