Respons-renormalisatie verbetert training van diepe evenwichtsmodellen
Een nieuwe methode genaamd Response Renormalization moet de optimalisatie van diepe evenwichtsmodellen betrouwbaarder maken. Hiermee wordt omgegaan met instabiele gradiënten tijdens de achterwaartse pass.
Diepe evenwichtsmodellen bepalen voorspellingen op basis van een interne representatie die tijdens de update ongewijzigd blijft. Het trainen van dergelijke systemen vraagt om complexe wiskundige handelingen, die gevoelig zijn voor kleine verstoringen.
Wanneer de onderliggende berekeningen instabiel worden, ontstaan er soms extreme gradiënten die het optimalisatieproces ontwrichten. De voorgestelde aanpak grijpt in tijdens deze achterwaartse fase om de stabiliteit te waarborgen.
Deze samenvatting is gebaseerd op een origineel artikel van arXiv (cs.LG). Lees het volledige, originele bericht bij de bron.
Lees het originele artikel