PRZEŁOM/ARXIV CS.AI
EntropyMoE: inteligentne routing ekspertów dla LLM bez tokenizera
Nowa architektura Mixture-of-Experts oparta na entropii umożliwia efektywne przetwarzanie bajtowych LLM poprzez dynamiczne przydzielanie mocy obliczeniowej. System adaptuje się do zmiennej granulacji danych, zwiększając wydajność tokenizer-free modeli.
#MIXTURE OF EXPERTS#TOKENIZER-FREE#LLM#EFFICIENCY