OpenAI demaskuje problemy w benchmarku SWE-Bench Pro

Nowa analiza OpenAI ujawnia poważne braki w populárnym benchmarku kodowania SWE-Bench Pro, który jest szeroko stosowany do ewaluacji modeli AI. Badanie rodzi pytania o wiarygodność obecnych metod oceny zdolności programistycznych sztucznej inteligencji.