Benchmarks
Todos os conteúdos marcados com Benchmarks.
8 min de leitura
AI / LLMs / Benchmarks
AI / LLMs / BenchmarksBenchmarks São Termômetros, Não Boletins Escolares
Benchmarks de LLM são úteis quando tratados como instrumentos, não troféus. Eis como ler MMLU, Arena, SWE-bench, HELM e seus próprios evals sem transformar leaderboard em religião.
5 min de leituraAI / Benchmarks / OpenAI
AI / Benchmarks / OpenAIA OpenAI Aposentou o Próprio Boletim
A OpenAI diz que o SWE-bench Verified — o benchmark que todo modelo de código vinha exibindo no peito — não mede mais capacidade de fronteira. Olha como ficou o novo placar e por que o antigo deixou de ser honesto.