Czy benchmarki LLM rzeczywiście mierzą to, co powinny?

Badanie BenchMIRT z Allen AI kwestionuje wiarygodność obecnych benchmarków dla dużych modeli językowych, ujawniając rozbieżności między wynikami testów a rzeczywistą zdolnością aplikacyjną. Artykuł porusza fundamentalne pytania o sposób ewaluacji postępu w AI.