TŁO/ARXIV CS.AI
Rok obserwacji LLM-ów w chmurze: Jak naprawdę pracują w produkcji
Longitatualne badanie roku pracy LLM-ów u operatora Chutes ujawnia rzeczywiste wzorce użytkowania, ewolucję obciążenia i dynamikę interakcji użytkownika z modelami. Dane pokazują jak workloady zmieniają się w czasie i wpływają na infrastrukturę serwowania.
#LLM-SERVING#PRODUCTION-WORKLOADS#INFRASTRUCTURE