Wiola – nowa architektura dla efektywnych małych modeli językowych

Naukowcy zaprezentowali Wiolę, całkowicie oryginalną architekturę modelu SLM zbudowaną od podstaw, która wprowadza pięć innowacyjnych komponentów: spiralne kodowanie pozycyjne, warstwową atencję krzyżową, dynamiczne łączenie tokenów i inne rozwiązania. Architektura nie czerpie z istniejących rodzin modeli jak GPT czy LLaMA, stanowiąc potencjalnie przełomowe podejście do projektowania efektywnych modeli.