Wat is een klein taalmodel?

Een klein taalmodel doet hetzelfde als een groot taalmodel — tekst begrijpen en schrijven — maar met aanzienlijk minder parameters. Waar de grootste modellen honderden miljarden parameters hebben, zit een klein model op enkele miljarden of minder.

Wat dat in de praktijk betekent

• Het past op bescheiden hardware. Een laptop, een telefoon, een server zonder dure videokaart.
• Het is veel goedkoper per aanroep, vaak een factor tien tot vijftig.
• Het antwoordt sneller, omdat er minder rekenwerk is.
• Het weet minder van de wereld en redeneert minder goed over ingewikkelde vraagstukken.

Waar het goed genoeg voor is

Dit is het punt dat vaak wordt gemist: voor veel taken is "minder slim" geen bezwaar, omdat de taak niet slim is.

• binnenkomende e-mail indelen in categorieën;
• bepalen of een klantbericht positief of negatief is;
• gegevens uit een vast formulier halen;
• tekst corrigeren en herschrijven;
• samenvatten van korte stukken;
• bepalen welke vraag naar welke afdeling moet.

Een redeneermodel inzetten om te bepalen of een mail over een factuur of over een klacht gaat, is een vrachtwagen gebruiken om een brief te bezorgen. Het werkt, en je betaalt vijftig keer te veel.

Waarom bedrijven overstappen

Zodra een toepassing van honderd naar honderdduizend aanroepen per maand gaat, wordt de prijs per aanroep ineens het belangrijkste getal. Veel organisaties beginnen met het beste model om te bewijzen dat iets kán, en stappen daarna over op het kleinste model dat het nog goed genoeg doet.

Daar komt bij dat een klein model op eigen apparatuur kan draaien. Voor gegevens die het pand niet uit mogen, is dat vaak de enige begaanbare weg.

Hoe je kiest

Niet op gevoel en niet op een ranglijst. Neem honderd echte gevallen uit je eigen praktijk, laat ze door beide modellen lopen en tel hoe vaak het goed gaat. Scheelt het twee procent en is het dertig keer goedkoper, dan is de keuze gemaakt.

Zie welk AI-model kies je, distillatie en kwantisatie.