Microsoft en UC Berkeley presenteren TokenEconomizer voor programmeer-agenten
Microsoft Research en UC Berkeley hebben TokenEconomizer ontwikkeld, een open-source plug-in die het verbruik van programmeer-agenten terugbrengt. De tool analyseert eerdere sessies om efficiënter te werken zonder dat er aanpassingen aan de agent zelf nodig zijn.
Er is een nieuwe open-source plug-in verschenen die is ontworpen om de hoeveelheid verwerkte tokens bij softwareontwikkeling via AI te verminderen. Het hulpmiddel is het resultaat van een samenwerking tussen onderzoekers van Microsoft en UC Berkeley. Door te leren van voorgaande sessies weet de toepassing het verbruik flink te reduceren op bekende benchmarks voor programmeertaken.
Efficiëntie in softwareontwikkeling
Het gebruik van taalmodellen voor het schrijven en controleren van code brengt doorgaans aanzienlijke rekenkosten met zich mee. Tokenverbruik vormt in de praktijk vaak een financiële en technische beperking voor organisaties die grootschalig inzetten op geautomatiseerde softwareontwikkeling. Oplossingen die deze kosten drukken zonder in te leveren op de prestaties van het onderliggende systeem, zijn daarom een belangrijk onderwerp binnen het huidige onderzoek naar efficiënt grootschalig taalgebruik.
De plug-in onderscheidt zich doordat het bestaande werkprocessen ongewijzigd laat, wat de drempel voor integratie verlaagt. Terwijl AI-modellen steeds complexere taken op zich nemen, blijft het optimaliseren van de onderliggende infrastructuur een continu aandachtspunt voor ontwikkelaars en onderzoekers.
Deze samenvatting is gebaseerd op een origineel artikel van MarkTechPost. Lees het volledige, originele bericht bij de bron.
Lees het originele artikelAchtergrond bij dit bericht
- Wat is inferentie? Het verschil tussen een model bouwen en gebruikenTrainen gebeurt één keer en kost een vermogen. Inferentie gebeurt bij elke vraag, en dat is waar de rekening echt ontstaat.
- AI koppelen aan je eigen software: wat komt daar bij kijken?Van chatvenster naar iets dat echt in je werkproces zit. De zes dingen die je moet regelen, en de twee waar het meestal op stuk loopt.