Taylor-reeks maakt lineaire schaling mogelijk voor Transformers
Een nieuwe wiskundige benadering voor de aandachtsmechanismen in taalmodellen zorgt ervoor dat de rekentijd lineair kan schalen met de contextlengte. Hierdoor kan het geheugengebruik bij lange teksten flink worden teruggebracht.
Wetenschappers hebben een methode ontwikkeld om de exponentiële kern van het bekende aandachtsmechanisme in Transformers te benaderen met een afgeknotte Taylor-reeks. Door deze reeks te factoriseren, kan de historische context in een vast aantal recurrente staten worden opgeslagen die onafhankelijk zijn van de totale lengte van de invoer.
Het traditionele aandachtsmechanisme kent een kwadratische complexiteit naarmate de invoer groeit, wat lange documenten of grote datasets erg Rekenintensief maakt. Deze nieuwe techniek biedt potentie om de efficiëntie van moderne AI-architecturen fundamenteel te verbeteren, een belangrijk aandachtsgebied binnen de hedendaagse machine learning-wetenschap.
Deze samenvatting is gebaseerd op een origineel artikel van arXiv (cs.LG). Lees het volledige, originele bericht bij de bron.
Lees het originele artikel