Naar inhoud
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Tokenrapport

Wat je gebruik kost, en waar het naartoe gaat. Te vinden onder Rapportages → Tokens.

Wat een token is

Modellen meten hun werk in tokens, ruwweg een deel van een woord. Alles wordt in twee richtingen geteld:

Richting
Wat het is

Input

Alles wat naar het model gaat: de vraag, de instructies, het gesprek tot dan toe en de documenten die zijn opgehaald om te antwoorden.

Output

Wat het model heeft teruggeschreven.

Input is meestal het grootste deel, en het deel dat mensen verrast. Een korte vraag tegen een grote kennisbank stuurt heel veel context mee.

Het scherm

Dezelfde bediening voor organisatie, periode en granulariteit als bij het Activiteitenrapport.

Samenvattingskaarten

Kaart
Wat het laat zien

Totale kosten

De totale tokenkosten voor de periode en het bereik.

Input / output

De verdeling tussen beide, zowel in kosten als in aantal tokens.

Grafiek

Kies Tokenkosten of Tokengebruik, en daarna hoe de staven worden gestapeld:

  • Input / output: hoe de kosten verdeeld zijn tussen vraag en antwoord.

  • Modelmix: hoeveel elk model bijdraagt.

  • Verdeling per bron: hoeveel er van assistenten komt en hoeveel van de Toolbox.

  • Chats / Runs: hoeveel er van gesprekken komt en hoeveel van runs die assistenten zelfstandig uitvoeren.

Filters en uitsplitsing

Filter op provider, op model, of op chats of runs. Splits de tabel uit Per gebruiker, Per assistent, Per toolbox-element, Per model of Per provider.

Uitsplitsen per model voegt kolommen met de kosten per eenheid toe, en zo vergelijk je wat elk model je werkelijk kost in plaats van wat het in het abstracte per token kost.

Het gebruiken om kosten te sturen

Zoek de dure assistent. Splits uit per assistent. De kosten zijn zelden gelijk verdeeld. Meestal is één assistent het grootste deel van de rekening.

Kijk naar het aandeel input. Een hoog aandeel input betekent dat er grote hoeveelheden context worden meegestuurd. Twee instellingen sturen dat direct aan: Contextgrootte van de assistent in de geavanceerde instellingen, en hoeveel resultaten een zoektool teruggeeft. Beide wegen kosten af tegen hoeveel de assistent kan zien.

Kies het model dat bij de taak past. Een zwaar model dat eenvoudige, veelgestelde vragen beantwoordt, is de meest voorkomende vermijdbare kostenpost. Vergelijk de kosten per eenheid per model, zet eenvoudige assistenten daarna op een sneller model en controleer of de kwaliteitscontrole nog steeds slaagt.

Kijk naar de trend, niet naar de dag. De kosten per actieve gebruiker over meerdere maanden vertellen je of het gebruik efficiënter wordt. Eén drukke dag zegt niets.

Let op verrassingen. Een plotselinge sprong heeft meestal een concrete oorzaak: een assistent is live gegaan, een zoektool geeft ineens veel meer context terug, of een integratie is aanroepen gaan herhalen.

Deze rapportage kan voor een organisatie worden uitgezet. Ontbreekt hij, of zie je een melding dat tokeninzichten zijn uitgeschakeld, vraag dan een organisatiebeheerder om hem aan te zetten.

Laatst bijgewerkt

Was dit nuttig?