Co mierzyć, gdy benchmark się nasycił? Lekcja z CORE-Bench

Badacze pokazują, że kiedy benchmark osiąga nasycenie w dokładności, warto zmierzyć inne wymiary wydajności agentów AI: skróty w logice, generalizację poza rozkład, efektywność i niezawodność. Na przykładzie benchmarku CORE-Bench do reprodukcji kodu naukowego demonstrują, że ta wielowymiarowa analiza ujawnia istotne różnice między modelami nawet po osiągnięciu 100% dokładności.