Spectrale updates maken lokaal leren stabieler voor diepe neurale netwerken
Een nieuwe techniek genaamd het 'Drift Contract' past spectrale stapgrootte-optimalisatie toe op per-layer lokale updates. Dit verhelpt de traditionele problemen van nauwkeurigheidsverlies en gevoelige hyperparameters bij lokaal leren.
Bij lokaal leren wordt elke laag van een neuraal netwerk afzonderlijk getraind met een eigen verliesfunctie, zonder dat er een wereldwijde terugwaartse doorvoer nodig is. Dit maakt dat lagen in principe tegelijkertijd kunnen worden bijgewerkt, maar kende tot dusver grote nadelen op het gebied van stabiliteit en prestaties bij toenemende diepte. Door gebruik te maken van momentum-orthogonalisatie en spectrale stapgrootte-schaling blijkt dit proces nu aanzienlijk robuuster te worden.
Efficiëntere en parallelle trainingsmethoden zijn een belangrijk aandachtsgebied binnen de machine learning-theorie. Traditionele backpropagation vereist dat het hele netwerk opeenvolgend wordt doorgelopen, wat bij zeer grote architecturen veel rekenkracht en geheugen vergt. Door te experimenteren met alternatieve update-geometrieën zoeken onderzoekers naar schaalbaardere manieren om neurale netwerken te trainen.
Deze samenvatting is gebaseerd op een origineel artikel van arXiv (cs.LG). Lees het volledige, originele bericht bij de bron.
Lees het originele artikel