Slimmere aansturing van experts in Mixture-of-Experts taalmodellen

Modellen die gebaseerd zijn op de Mixture-of-Experts architectuur maken gebruik van een router om binnenkomende opdrachten door te sturen naar specifieke deelsystemen. Tot nu toe baseerde deze router zich voornamelijk op de directe toestanden van losse tokens, waardoor bredere contextuele informatie soms onbenut bleef. Onderzoekers introduceren nu Attention-Aware Routing, een techniek die tijdelijke en spectrale kenmerken uit eerdere aandachtsberekeningen meeneemt bij het maken van die keuzes.

Het grote voordeel van deze aanpak is dat het onderliggende transformermodel volledig onveranderd blijft. Alleen de parameters die verantwoordelijk zijn voor de routering worden aangepast en getraind. Hiermee wordt de aansturing geïsoleerd als enige variabele, wat de analyse en eventuele opschaling van dergelijke systemen vereenvoudigt.

Binnen de kunstmatige intelligentie is de Mixture-of-Experts structuur een populaire manier om grotere en krachtigere modellen te bouwen zonder dat het energieverbruik bij elke berekening exponentieel stijgt. Optimalisaties aan de routeringslaag dragen direct bij aan een effectiever gebruik van deze specialistische netwerken.