Tokenrapport
Wat je gebruik kost, en waar het naartoe gaat. Te vinden onder Rapportages → Tokens.
Wat een token is
Modellen meten hun werk in tokens, ruwweg een deel van een woord. Alles wordt in twee richtingen geteld:
Input
Alles wat naar het model gaat: de vraag, de instructies, het gesprek tot dan toe en de documenten die zijn opgehaald om te antwoorden.
Output
Wat het model heeft teruggeschreven.
Input is meestal het grootste deel, en het deel dat mensen verrast. Een korte vraag tegen een grote kennisbank stuurt heel veel context mee.
Het scherm
Dezelfde bediening voor organisatie, periode en granulariteit als bij het Activiteitenrapport.
Samenvattingskaarten
Totale kosten
De totale tokenkosten voor de periode en het bereik.
Input / output
De verdeling tussen beide, zowel in kosten als in aantal tokens.
Grafiek
Kies Tokenkosten of Tokengebruik, en daarna hoe de staven worden gestapeld:
Input / output: hoe de kosten verdeeld zijn tussen vraag en antwoord.
Modelmix: hoeveel elk model bijdraagt.
Verdeling per bron: hoeveel er van assistenten komt en hoeveel van de Toolbox.
Chats / Runs: hoeveel er van gesprekken komt en hoeveel van runs die assistenten zelfstandig uitvoeren.
Filters en uitsplitsing
Filter op provider, op model, of op chats of runs. Splits de tabel uit Per gebruiker, Per assistent, Per toolbox-element, Per model of Per provider.
Uitsplitsen per model voegt kolommen met de kosten per eenheid toe, en zo vergelijk je wat elk model je werkelijk kost in plaats van wat het in het abstracte per token kost.
Het gebruiken om kosten te sturen
Zoek de dure assistent. Splits uit per assistent. De kosten zijn zelden gelijk verdeeld. Meestal is één assistent het grootste deel van de rekening.
Kijk naar het aandeel input. Een hoog aandeel input betekent dat er grote hoeveelheden context worden meegestuurd. Twee instellingen sturen dat direct aan: Contextgrootte van de assistent in de geavanceerde instellingen, en hoeveel resultaten een zoektool teruggeeft. Beide wegen kosten af tegen hoeveel de assistent kan zien.
Kies het model dat bij de taak past. Een zwaar model dat eenvoudige, veelgestelde vragen beantwoordt, is de meest voorkomende vermijdbare kostenpost. Vergelijk de kosten per eenheid per model, zet eenvoudige assistenten daarna op een sneller model en controleer of de kwaliteitscontrole nog steeds slaagt.
Kijk naar de trend, niet naar de dag. De kosten per actieve gebruiker over meerdere maanden vertellen je of het gebruik efficiënter wordt. Eén drukke dag zegt niets.
Let op verrassingen. Een plotselinge sprong heeft meestal een concrete oorzaak: een assistent is live gegaan, een zoektool geeft ineens veel meer context terug, of een integratie is aanroepen gaan herhalen.
Laatst bijgewerkt
Was dit nuttig?