Perplexity maakt open-source-inferentie-engine Lily openbaar
Perplexity heeft Lily open-source gemaakt, een lokale inferentie-engine die is geschreven in Rust en gebruikmaakt van Metal-kernels. De software is specifiek ontworpen om bepaalde taalmodellen efficiënt te laten draaien op Apple Silicon-processors.
HetzoekmachinebedrijfPerplexityheefteenlokaleinferentie-enginegenaamdLilyvrijgegevenvoorontwikkelaars.DezesoftwareisontwikkeldinhettalenpakketRustenmaaktgebrwijknaspecifiekeMetal-kernelsomhetverwerkenvancomputertaakten-modellenoptedrivenvoorApples-processors.
Lokaal rekenen aan AI-modellen
Inferentie-engineszijncruciaalvoorhetuitvoerenvangetraindeartificiële-intelligentiemodellen.Doorditsoortsoftwareteoptimaliserenvoorspecifiekehardware,kunnenbedrijvenenkennerssnellerenenergiezuinigerkunstmatigeintelligentietoepassingenlokaaldraaienopstandaardcomputerhardware.
Deze samenvatting is gebaseerd op een origineel artikel van MarkTechPost. Lees het volledige, originele bericht bij de bron.
Lees het originele artikel