Wat is distillatie?

Een groot model leert een klein model

Bij distillatie gebruik je een groot, duur model als leraar voor een klein, goedkoop model. Het grote model beantwoordt duizenden vragen, en het kleine model wordt getraind om die antwoorden na te bootsen. Het resultaat is een model dat een fractie kost maar op veel taken verrassend dicht bij de leraar komt.

Waarom het zo goed werkt

Het kleine model hoeft niet zelf uit ruwe internetteksten te ontdekken hoe de wereld in elkaar zit. Het krijgt uitgewerkte antwoorden voorgeschoteld, inclusief de redenering ernaartoe. Dat is een veel efficiëntere leerroute — vergelijkbaar met het verschil tussen zelf een vak uitvinden en les krijgen van iemand die het al beheerst.

Wat het voor de prijs betekent

Dit is een van de hoofdredenen dat AI zo snel goedkoper wordt. De zware modellen blijven duur om te maken, maar de gedistilleerde varianten die het dagelijkse werk doen, kosten een fractie. Bijna elk goedkoop en snel model dat je vandaag gebruikt, is op deze manier ontstaan.

Voor bedrijven is het ook zelf toepasbaar: laat een topmodel duizenden voorbeelden maken van precies jouw taak, train daar een klein model op, en draai dat vervolgens goedkoop en desnoods op eigen apparatuur.

De grenzen

Een gedistilleerd model erft de blinde vlekken van zijn leraar, en soms worden die versterkt. Het presteert goed op taken die op de trainingsvoorbeelden lijken, en merkbaar slechter zodra er iets ongewoons wordt gevraagd. Voor een afgebakende taak is dat prima; als algemene assistent valt het door de mand.

Waarom het juridisch gevoelig ligt

De gebruiksvoorwaarden van vrijwel alle grote aanbieders verbieden het gebruik van hun uitvoer om een concurrerend model te trainen. Tegelijk is het lastig te bewijzen: een model dat op dezelfde bronnen is getraind, geeft nu eenmaal vergelijkbare antwoorden. Er lopen inmiddels zaken waarin precies dit de inzet is. AI Dagblad volgt ze in de nieuwsrubriek.