Wat is een mixture-of-experts-model?

Niet alles tegelijk aanzetten

Een gewoon taalmodel gebruikt bij elke vraag al zijn parameters. Hoe groter het model, hoe meer rekenwerk per woord — en dus hoe duurder en trager.

Een mixture-of-experts-model doet het anders. Het bestaat uit veel deelnetwerken, de "experts", en per stukje tekst wordt maar een handjevol daarvan ingeschakeld. Een model met honderden miljarden parameters kan zo per vraag het rekenwerk van een veel kleiner model doen.

Wie kiest welke expert?

Een klein stuurnetwerk, de router, bepaalt per stukje tekst welke experts het beste passen. Dat stuurnetwerk wordt meegetraind: het leert gaandeweg dat bepaalde experts beter zijn in code, andere in andere talen.

Belangrijk om te weten: die experts zijn geen keurige vakgebieden. Niemand heeft er "de jurist" of "de wiskundige" van gemaakt; de specialisatie ontstaat vanzelf en is voor mensen nauwelijks te duiden.

Waarom vrijwel elk groot model zo werkt

Het geeft de prestaties van een groot model tegen de kosten van een klein model. Dat is de belangrijkste reden dat de prijzen zo hard konden dalen terwijl de kwaliteit steeg.

Waar het misgaat

Het lastigste is de balans. Als de router steeds dezelfde experts kiest, staat de rest werkloos en heb je een duur model dat zich als een klein model gedraagt. Er zijn speciale technieken nodig om het verkeer eerlijk te verdelen.

Ook het geheugen is een probleem: alle experts moeten klaarstaan, ook de ongebruikte. Het model is dus goedkoop in rekenwerk maar niet in geheugen — wat het lastig maakt om zo'n model op een klein apparaat te draaien.

Onderzoek van deze zomer laat bovendien zien dat routeringsfouten een onderschatte bron van kwaliteitsverlies zijn, zeker bij modellen die zijn verkleind met quantisatie.