Matematyka grokking: kiedy sieci neuronowe przechodzą od memoryzacji do generalizacji

Naukowcy zmapowali dokładnie warunki hiperparametrów, przy których sieci neuronowe przechodzą od memoryzowan do generalizacji (grokking), odkrywając prawo skalowania opisujące ten przełom. Wyniki ujawniają, że złożoność danych jest kluczowym czynnikiem tego przejścia fazowego.