Turing-winnaar Richard Sutton noemt inzet van synthetische data een grove misser
AI-pionier Richard Sutton stelt dat het trainen van taalmodellen op synthetische data een dood spoor is vanwege de oneindige complexiteit van de werkelijkheid. Volgens hem vormen menselijke expertise en beperkte simulaties een obstakel voor ware vooruitgang. Als alternatief pleit hij voor intelligente agenten die continu leren door zelfervaring in plaats van te bouwen op statische modellen.
De bekende AI-onderzoeker Richard Sutton heeft zich kritisch uitgelaten over de praktijk om taalmodellen te trainen met door computers gegenereerde informatie. Volgens de Turing-winnaar is deze methode gedoemd te mislukken, omdat de werkelijkheid te complex is om volledig in kunstmatige data te vatten. Ook het leunen op menselijke kennis en vooraf gemaakte simulaties remt volgens hem de ontwikkeling naar geavanceerde systemen af.
Sutton stelt daar een andere visie tegenover, waarin de nadruk ligt op zelfstandige agenten die door directe ervaring en continue interactie zelf kennis opbouwen. Deze benadering sluit aan bij zijn eerdere wetenschappelijke werk, waarin hij al vaker benadrukte dat fundamentele vooruitgang in kunstmatige intelligentie vooral voortkomt uit algemene leer- en zoekmethoden in plaats van ingebouwde menselijke expertise.
De discussie rond trainingsdata
Binnen de technologiewereld woedt al langer een discussie over de toekomst van trainingsmateriaal voor neurale netwerken. Nu de hoeveelheid beschikbare menselijke tekst op internet grotendeels is uitgeput, zoeken techbedrijven naar alternatieven zoals synthetische data. De kritiek van invloedrijke figuren zoals Sutton laat zien dat er fundamentele twijfels bestaan of dergelijke methoden uiteindelijk kunnen leiden tot echte intelligentie of dat er een fundamentele heroverweging nodig is.
Deze samenvatting is gebaseerd op een origineel artikel van The Decoder. Lees het volledige, originele bericht bij de bron.
Lees het originele artikel