TŁO/ARXIV CS.AI
Próbkowanie stochastyczne ujawnia ograniczenia wiedzy modeli języka
Badanie dowodzi, że zmienność odpowiedzi tego samego modelu przy różnych temperaturach nie odzwierciedla prawdziwej różnorodności wiedzy, w przeciwieństwie do zespołu różnych modeli. Jeden model generuje maksymalnie jeden wymiar sygnału powyżej szumu losowego.
#LLM-UNCERTAINTY#MODEL-DIVERSITY#UNCERTAINTY-ESTIMATION