Wat is inferentie? Het verschil tussen een model bouwen en gebruiken
Twee heel verschillende momenten
Bij AI gebeuren er twee dingen die vaak door elkaar worden gehaald. Trainen is het bouwen van het model: enorme hoeveelheden tekst erdoor halen tot het patronen oppikt. Dat gebeurt één keer, duurt weken en kost tientallen tot honderden miljoenen.
Inferentie is het gebruiken van het model: jij stelt een vraag, het model rekent een antwoord uit. Dat gebeurt elke keer opnieuw, duurt een seconde, en kost een fractie van een cent.
Het woord zelf betekent zoiets als afleiden of concluderen — het model leidt uit wat het heeft geleerd een antwoord af op iets wat het nog niet eerder zag.
Waarom dit begrip in elk chipbericht staat
Omdat de economie van AI aan het kantelen is van het ene naar het andere. In de eerste jaren ging het geld naar trainen: wie het grootste model kon bouwen, won. Inmiddels gaan er honderden miljoenen vragen per dag naar bestaande modellen, en dan telt de kostprijs per vraag.
Eén keer tien miljoen betalen om een model te maken is een investering. Elke dag een miljoen vragen beantwoorden is een vaste last die met je succes meegroeit. Dat is een wezenlijk ander soort kosten, en het verklaart waarom chipfabrikanten nu aparte hardware maken die niet goed kan trainen maar heel goedkoop kan antwoorden.
Wat inferentie duur of goedkoop maakt
- De grootte van het model. Een groter model is duurder per vraag. Daarom wordt er veel moeite gedaan om kleine modellen bijna even goed te maken.
- De lengte van de vraag en het antwoord. Je betaalt naar hoeveelheid tekst, in en uit. Een hele bijlage meesturen is comfortabel en kost geld.
- Hoeveel het model moet nadenken. Redeneermodellen rekenen langer door voordat ze antwoorden. Beter antwoord, hogere rekening.
- Of het antwoord al eens is gegeven. Veelgestelde vragen hoef je niet elke keer opnieuw te laten uitrekenen.
Waarom dit voor jou uitmaakt
Bouw je iets met AI, dan is dit de post die je verrast. Een proef met vijftig vragen per dag kost niets. Hetzelfde systeem met vijftigduizend vragen per dag kost echt geld, en de kosten lopen recht mee met het gebruik.
Daarom is het zinvol om al bij de eerste versie te weten wat een vraag kost. Niet om te bezuinigen, maar om te weten of het idee blijft kloppen als het werkt.