Wereldmodellen als goedkope trainingsbron voor taalmodellen
Wetenschappers onderzoeken een techniek om taaltaalmodellen te trainen met behulp van uitvoerbare programmacode als wereldmodel. Hierdoor kunnen automatisch gelabelde gegevens worden gegenereerd voor domeinen waar weinig echte data beschikbaar is.
Taalmodellen hebben doorgaans grote hoeveelheden gelabelde praktijkvoorbeelden nodig om goed te generaliseren binnen een specifiek vakgebied. Omdat dergelijke data lang niet overal voorhanden is, beschrijft een nieuw onderzoek een alternatieve route waarbij domeindynamica in code wordt gegoten. Uitvoerbare en verifieerbare programma's fungeren hierbij als oneindige bron van nauwkeurig gelabelde trajecten voor het model.
Deze trainingsbenadering, door de onderzoekers aangeduid als world-time compute, verschuift het zwaartepunt van modeloptimalisatie naar de trainingsfase. Binnen de kunstmatige intelligentie bestaat al langer de behoefte om de afhankelijkheid van schaarse menselijke trainingsdata te verminderen. Door te trainen op synthetische werelden gebaseerd op logische regels, kunnen systemen mogelijk beter presteren in situaties die ze tijdens de reguliere training niet zijn tegengekomen.
Deze samenvatting is gebaseerd op een origineel artikel van arXiv (cs.LG). Lees het volledige, originele bericht bij de bron.
Lees het originele artikel