Realistische tests tonen beperkingen van AI-programmeurs
Uit nieuwe praktijktests blijkt dat AI-programmeurs bij een groot deel van de opdrachten nog menselijke correctie nodig hebben. Zelfs de beste geteste systemen slagen er op complexe taken lang niet altijd in om zelfstandig een foutoplossing te bieden.
Een nieuwe testomgeving, ontworpen om AI-programmeurs te beoordelen op basis van daadwerkelijke gebruikersverzoeken, laat zien dat de praktijk weerbarstiger is dan traditionele benchmarks deden vermoeden. Waar systemen op oudere tests vaak nagenoeg foutloos presteren, blijkt uit deze realistische beoordeling dat menselijke tussenkomst nog zeer vaak noodzakelijk is om het eindresultaat te corrigeren.
Het verschil met traditionele tests
De resultaten onderstrepen de kloof tussen gecontroleerde laboratoriumtests en onvoorspelbare dagelijkse taken. Hoewel geavanceerde modellen zoals GPT-6 Astra als beste uit de bus komen, slagen zij er in deze praktijksituaties slechts in een minderheid van de gevallen in om een taak volledig zelfstandig af te ronden.
Dit toont aan dat AI-tools voor softwareontwikkeling nog volop in ontwikkeling zijn en vooralsnog vooral dienen als ondersteuning in plaats van als volledige vervanging van menselijke ontwikkelaars.
Deze samenvatting is gebaseerd op een origineel artikel van The Decoder. Lees het volledige, originele bericht bij de bron.
Lees het originele artikelAchtergrond bij dit bericht
- Hoe wordt een AI-model getraind?Van ruwe data tot een bruikbaar model: de stappen die een AI maken zoals ChatGPT.
- Wat zijn transformers? De doorbraak achter moderne AIDe architectuur die ChatGPT, Claude en beeldmodellen mogelijk maakte, in begrijpelijke taal.
- Wat zijn AI-benchmarks en wat zeggen ze?Elke modelaankondiging komt met grafieken. Hoe je die leest, en waarom de cijfers vaak minder betekenen dan ze suggereren.
- Wat is reinforcement learning?Leren met beloning en straf — de techniek achter game-AI en zelfrijdende auto's.