Onderzoekers testen of talenmodellen zelf agent-frameworks kunnen ontwerpen
Een samenwerkingsverband introduceert een nieuwe methode om te meten hoe goed taalmodellen zelf werkende programmatuur kunnen bouwen voor AI-agenten. Uit de resultaten blijkt dat door AI gemaakte systemen op sommige gebieden al in de buurt komen van menselijk werk, maar dat consistente verbetering nog lastig is.
Verschillende onderzoeksinstituten en techbedrijven hebben een testomgeving ontwikkeld om te beoordelen hoe taalmodellen functionele structuren voor AI-agenten kunnen bouwen. In plaats van alleen te kijken naar het uiteindelijke antwoord, richt deze methode zich op de uitvoerbare omgeving die een model zelf opzet. Hierbij experimenteerden verschillende modellen met het ontwikkelen en aanpassen van deze structuren op basis van feedback uit de praktijk.
Prestaties en uitdagingen bij zelfgebouwde systemen
De geteste systemen bleken in staat om resultaten te behalen die vergelijkbaar zijn met door mensen ontworpen varianten op het gebied van schrijven en machine learning-experimenten. Op andere vlakken, zoals programmeren en zoekopdrachten, bleven de modellen achter. Bovendien bleek dat lang niet alle aanpassingen die modellen zelf doorvoerden consistent positief uitpakten op andere taken.
Het ontwikkelen van stabiele agent-omgevingen is een belangrijk onderwerp binnen de kunstmatige intelligentie. Waar modellen voorheen vooral losse antwoorden gaven, worden ze steeds vaker ingezet als autonome agenten die zelfstandig taken uitvoeren en gereedschappen inzetten. Onderzoek naar zelfverbetering helpt inzicht te krijgen in de mate waarin systemen betrouwbaar complex werk kunnen overnemen.
Deze samenvatting is gebaseerd op een origineel artikel van MarkTechPost. Lees het volledige, originele bericht bij de bron.
Lees het originele artikel