Context window
Wat is Context window?
Het context window is de maximale hoeveelheid tekst die een AI-model in één keer kan ‘lezen’. Het is als het werkgeheugen van het model: alles wat erin past kan het meenemen in zijn antwoord, alles wat er niet in past is het kwijt.
Context windows worden gemeten in tokens. GPT-4 Turbo heeft een window van 128.000 tokens (circa 200 pagina’s). Claude heeft een window tot 200.000 tokens. Kleinere modellen hebben soms maar 4.000 of 8.000 tokens.
Voor bedrijfsautomatisering is het context window relevant omdat het bepaalt hoeveel informatie je in één prompt kunt meegeven. Als je een document van 100 pagina’s wilt analyseren en je model heeft een klein context window, moet je het document opsplitsen — met het risico dat je context verliest.
Grotere context windows zijn duurder (meer tokens = meer kosten) en langzamer. De kunst is om precies de juiste hoeveelheid context mee te geven: genoeg om een goed antwoord te krijgen, niet meer dan nodig.
Voorbeeld uit de praktijk
Visser Elektrotechniek besteedde gemiddeld twintig minuten aan de administratieve verwerking van elk inspectierapport. Met de AI-oplossing van Agentech worden rapporten nu automatisch geanalyseerd en naar de juiste afdeling doorgestuurd. Bij gebreken maakt het systeem ook een bestellijst met artikelnummers, aantallen en locaties. Binnen vijf minuten is de verwerking klaar, zonder handmatig overtypen.
Bekijk de case van Visser ElektrotechniekWat betekent dit voor jouw organisatie?
Agentech kiest het model met het juiste context window voor jouw toepassing. Soms is een groot window essentieel, soms is een kleiner, goedkoper model met slimme chunking de betere keuze.