Nieuwe Adam-optimalisatie verbetert betrouwbaarheid bij ruizige data
Onderzoekers presenteren een aanpassing op Adam-achtige optimizers genaamd MGO-SC. Deze methode herkent stabiele gradiëntsignalen om de prestaties van neurale netwerken te beschermen tegen ruis.
Bij het trainen van diepe neurale netwerken wordt vaak gebruikgemaakt van adaptieve optimalisatietechnieken. Wanneer datasets echter veel ruis bevatten of onbetrouwbare labels hebben, kan de werking van dergelijke methoden verslechteren doordat de richting en grootte van de gradiënten gaan fluctueren.
Gerichte aanpassing voor stabielere training
De recent voorgestelde MGO-SC-aanpak introduceert een coördinaat-specifieke controle op basis van een exponentieel voortschrijdend gemiddelde van het teken van de gradiënt. Hierdoor krijgen stabiele coördinaten meer gewicht tijdens de training, terwijl componenten met sterk wisselende signalen worden gedempt.
Optimalisatiealgoritmen vormen een fundamenteel onderdeel van machine learning omdat ze bepalen hoe een model leert van fouten. Door de robuustheid bij onvolmaakte data te vergroten, kunnen onderzoekers betrouwbaardere systemen bouwen zonder dat de basisarchitectuur van het model drastisch hoeft te worden gewijzigd.
Deze samenvatting is gebaseerd op een origineel artikel van arXiv (cs.LG). Lees het volledige, originele bericht bij de bron.
Lees het originele artikel