Onderzoek belicht afwijkende afgeleiden bij natuurkundig geïnformeerde neurale netwerken
Een nieuwe studie toont aan dat natuurkundig geïnformeerde neurale netwerken moeite kunnen hebben met nauwkeurige afgeleiden, zelfs bij correcte functiewaarden. Dit specifieke faalmoment is onderzocht met behulp van eendimensionale benchmarks. De bevindingen dragen bij aan een beter begrip van de beperkingen van automatische differentiatie binnen deze netwerken.
Natuurkundig geïnformeerde neurale netwerken maken gebruik van automatische differentiatie om differentiaalvergelijkingen toe te passen. Uit onderzoek blijkt echter dat een goede overeenkomst in functiewaarden niet automatisch betekent dat de afgeleiden even nauwkeurig zijn. Dit fenomeen wordt in de studie gedefinieerd als een specifiek faalmoment.
Om deze hypothese te onderbouwen, hebben onderzoekers tests uitgevoerd met meerlaagse perceptrons. Deze werden getraind op basis van specifieke functiewaarden, waarna de afgeleiden afzonderlijk werden geëvalueerd. De resultaten bieden meer inzicht in de theoretische werking en mogelijke onvolkomenheden van deze netwerkarchitecturen.
Dergelijke inzichten zijn van waarde voor het veld van wetenschappelijke machine learning, waar neurale netwerken steeds vaker worden ingezet om natuurkundige processen te simuleren en te doorgronden.
Deze samenvatting is gebaseerd op een origineel artikel van arXiv (cs.LG). Lees het volledige, originele bericht bij de bron.
Lees het originele artikel