Fine-tuning of RAG? Welke je nodig hebt voor je eigen gegevens
Het probleem dat beide oplossen
Een taalmodel weet veel over de wereld en niets over jouw bedrijf. Het kent je prijzen niet, je handleidingen niet en je contracten niet. Er zijn twee manieren om dat te veranderen, en ze worden voortdurend verward.
RAG: de informatie erbij zoeken
Bij RAG verandert het model niet. Wat verandert, is de vraag die het krijgt. Op het moment dat iemand iets vraagt, zoekt een systeem eerst de relevante stukken op in jouw documenten, en stuurt die mee met de vraag. Het model beantwoordt de vraag dus mét het juiste document erbij — als een medewerker die het naslagwerk opengeslagen voor zich heeft.
De afkorting staat voor retrieval-augmented generation: antwoorden genereren, aangevuld met opgezochte informatie.
Fine-tuning: het model bijscholen
Bij fine-tuning train je het model verder op jouw voorbeelden, waardoor de interne afstelling verandert. Je geeft het honderden of duizenden voorbeelden van gewenste invoer en uitvoer, en het leert dat patroon overnemen.
Welke wanneer
| Je wilt... | Dan gebruik je |
|---|---|
| Antwoorden op basis van jouw documenten | RAG |
| Informatie die regelmatig verandert | RAG |
| Kunnen zien waar een antwoord op gebaseerd is | RAG |
| Een vaste toon of een vast uitvoerformaat | Fine-tuning |
| Een specialistische taak heel vaak en heel goedkoop | Fine-tuning |
Waarom het antwoord meestal RAG is
Drie redenen, en ze wegen zwaar.
Je informatie verandert. Een bijgeschoold model weet wat het tijdens de training zag. Verandert je prijslijst, dan moet je opnieuw trainen. Bij RAG vervang je het document en klaar.
Je kunt de bron aanwijzen. RAG kan erbij zetten uit welk document een antwoord komt. Een bijgeschoold model kan dat niet — het weet het gewoon, en of het klopt moet je maar hopen. Bij alles wat met geld, recht of veiligheid te maken heeft, is die herleidbaarheid geen luxe.
Rechten blijven werken. Bij RAG kun je per gebruiker bepalen welke documenten meegezocht worden. Wat in een bijgeschoold model zit, zit er voor iedereen in — ook de salarisadministratie die er per ongeluk in meeging.
Wanneer fine-tuning wél het juiste gereedschap is
Als het niet om kennis gaat maar om gedrag. Een model dat altijd in hetzelfde strakke formaat moet antwoorden, of dat een specifieke classificatie moet doen die je duizenden keren per dag uitvoert en zo goedkoop mogelijk wilt houden. Dan is bijscholen zinvol — en vaak combineer je het dan nog met RAG voor de inhoud.
De fout die het meeste geld kost, is fine-tuning kiezen omdat het indrukwekkender klinkt, en er dan achter komen dat je bij elke wijziging opnieuw moet beginnen.