Thinking Machines lanceert Inkling 2 Small

Thinking Machines Lab heeft een nieuw taalmodel gepresenteerd onder de naam Inkling 2 Small. Het model maakt gebruik van de Mixture of Experts-architectuur, een techniek waarbij verschillende gespecialiseerde submodellen binnen het grotere systeem samenwerken. Hierdoor blijft de operationele efficiëntie behouden ondanks de omvang van de onderliggende parameters.

Efficiëntie in taalmodellen

De methode van actieve versus totale parameters is kenmerkend voor moderne taalmodellen die streven naar hoge prestaties zonder buitensporige rekenkracht per taak. Door slechts een deel van het netwerk te activeren per instructie, kunnen systemen sneller reageren. Het model zal naar verwachting openlijk beschikbaar worden gesteld voor ontwikkelaars onder een toegankelijke licentie.