LMArena libera Arena-Rank de código aberto, pacote Python do sistema de ranking de leaderboard de IA - news.lmarena.ai

LMArena libera o código aberto do Arena-Rank, pacote Python que impulsiona seu sistema de ranking do leaderboard de IA. O LMSYS Chatbot Arena Leaderboard, atualizado há 2 horas (LiveRank), posiciona GPT-4o (2024/05/13) da OpenAI em 1º com Arena Elo 1305 ± 7, MMLU 88.7 e 410k votos. Claude 3.5 Sonnet (20240620) da Anthropic em 2º com 1297 ± 7. o1-preview (2024/09/12) em 3º com 1293 ± 8. Atualizações recentes: 2024-10-18 adicionou Qwen2.5-Coder-32B-Instruct (2.5k batalhas); 2024-10-17 adicionou Qwen2.5-VL-72B-Instruct (1.3k) e outros; 2024-10-16 adicionou DeepSeek-R1-0528 (18k), o1-mini e o1-preview (52k); 2024-10-15 adicionou Llama-3.1-405B-Instruct (67k). Exibidos apenas modelos com ≥ 1k batalhas.