WARTO/HACKER NEWS
Dlaczego lokalne modele wydają się słabsze, niż są
Analiza przyczyn, dla których LLM-y uruchamiane lokalnie wydają się mniej zaawansowane niż wersje w chmurze. Wśród przyczyn: kwantyzacja, brak kontekstu i ograniczenia sprzętowe.
#LLM#LOCAL#OPTIMIZATION#INFERENCE