PRZEŁOM/HACKER NEWS
Destylacja wiedzy z wielkich modeli językowych bez dostępu do źródła
Badanie naukowców opisuje metodę ekstrakcji i adaptacji wiedzy z zamkniętych modeli AI (black-box) poprzez destylację. Technika pozwala na tworzenie mniejszych, efektywniejszych modeli bez bezpośredniego dostępu do parametrów oryginalnego systemu.
#KNOWLEDGE DISTILLATION#LLM#MODEL OPTIMIZATION