Na de pauze begin je beter een nieuwe chat
Je zit al een hele voormiddag met je AI aan een rapport. Het loopt goed, de chat is lang geworden en je AI weet ondertussen precies waar je naartoe wil. Dan is het middag. Je gaat eten, je doet de afwas en je loopt nog even binnen bij een collega. Een uur later zit je weer achter je scherm en je typt nog één klein vraagje in diezelfde chat.
Dat vraagje lijkt het kleinste van de dag. En toch is het eigenlijk het duurste. Ik leg dat in mijn opleidingen over Claude en Copilot telkens uit, want bijna niemand weet het. En het is gelukkig makkelijk op te lossen.
Kopieer de prompt onderaan dit artikel. Daarmee laat je je AI een overdracht schrijven voor je pauze.

Wat er gebeurt terwijl jij eet
Elke keer dat je iets vraagt in een chat, leest je AI de hele chat opnieuw. Al je vragen en al zijn antwoorden, en ook de documenten die je erbij gaf. Dat kost eigenlijk telkens tokens. Dus hoe langer de chat, hoe meer elk nieuw vraagje kost.
Om dat een beetje betaalbaar te houden, parkeren Claude, ChatGPT en Gemini dat stuk chat in een cache. Dat is een soort geheugensteuntje op de achtergrond. Zolang dat er is, hoeft het model niet alles van voren af aan door te nemen. Maar zo'n cache bijhouden kost de aanbieder ook geld. Dus wissen ze hem na een tijd. Afhankelijk van je tool en je instellingen is dat na een paar minuten of na een uur.
Bij mij thuis gaat dat ongeveer zo. Ik ben met iets bezig en dan moeten we eten. Daarna nog afwassen en de honden en de katten eten geven. Anderhalf uur later zit ik terug aan mijn chat. En op dat moment is de cache al lang weg. Mijn dieren kosten mij dus ook nog tokens, en dat had ik toen ze bij ons kwamen wonen eerlijk gezegd niet ingecalculeerd.
Je AI moet dan die hele chat terug door zijn contextvenster halen. In sommige tools zie je dan even ‘refreshing session’ staan. Dat is het moment waarop je abonnement of je budget een flinke hap neemt.

Veelgestelde vragen
Lees gratis verder
Registreer gratis met je e-mailadres en lees verder. Met je account open je de gratis artikels in de leerruimte; de rest is voor abonnees, vanaf Learn Plus.
Kijk in je mailbox
0 waarderingenNog geen reactiesLees de reacties
Reacties
Leden reageren hier en lezen elkaars reacties. Registreer gratis of log in om mee te praten.
Registreer gratis of log inNog geen reacties. Wat neem jij mee?