Nieuw platform laat veilen om taakverwerking van taalmodellen
Architect Financial Technologies introduceert Liquid Inference, een systeem dat een live veiling houdt voor het verwerken van prompts door taalmodellen. Ontwikkelaars kunnen hiermee automatisch de voordeligste aanbieder selecteren die aan hun criteria voldoet.
Het bedrijf Architect heeft een nieuwe techniek gelanceerd die het aansturen van taalmodellen flexibeler moet maken. Via een speciaal routersysteem kunnen verschillende aanbieders van taalmodellen direct bieden op afzonderlijke verzoeken van gebruikers. Het systeem kiest vervolgens automatisch de goedkoopste optie die aansluit bij de vooraf ingestelde regels.
Voor ontwikkelaars is de integratie ontworpen om eenvoudig te zijn, doordat enkel de basis-URL hoeft te worden aangepast. Dergelijke marktplaatsen passen in een bredere trend waarbij de markt voor clouddiensten en rekenkracht steeds dynamischer wordt. Door concurrentie tussen aanbieders te automatiseren, proberen bedrijven de kosten voor het gebruik van geavanceerde taalmodellen omlaag te brengen.
Deze samenvatting is gebaseerd op een origineel artikel van MarkTechPost. Lees het volledige, originele bericht bij de bron.
Lees het originele artikelAchtergrond bij dit bericht
- AI koppelen aan je eigen software: wat komt daar bij kijken?Van chatvenster naar iets dat echt in je werkproces zit. De zes dingen die je moet regelen, en de twee waar het meestal op stuk loopt.
- Waarom AI grafische kaarten nodig heeftWaarom draait AI op GPU's van NVIDIA in plaats van gewone processors?
- Wat is inferentie? Het verschil tussen een model bouwen en gebruikenTrainen gebeurt één keer en kost een vermogen. Inferentie gebeurt bij elke vraag, en dat is waar de rekening echt ontstaat.