Bac à sable de tokenisation
Tapez ce que vous voulez. Le découpage, le décompte et le prix se mettent à jour au fil de la frappe.
Voyez comment le persan et l’anglais se tokenisent, et ce que cela coûte.
Ce qui est réel ici
Aucun vocabulaire BPE n’est téléchargé ici. Une vraie table de fusions pèse plusieurs mégaoctets, et les lecteurs de ce site sont sur des réseaux où cela donne une page bloquée plutôt qu’une démo — l’API refuse le même téléchargement sur son propre chemin de requête, pour la même raison. Ce qui est montré à la place est exact plutôt qu’approximatif : le découpage en pré-jetons publié de GPT-4, de vrais octets UTF-8, et la réservation que l’API effectue avant d’appeler un modèle. Cette réservation est le nombre d’octets lui-même, et c’est pourquoi les deux chiffres coïncident — une borne supérieure tient dans toutes les langues, une règle empirique non. Avec le vocabulaire de GPT-4, un vrai décompte de jetons se situe toujours entre le nombre de pré-jetons et le nombre d’octets. Sa proximité avec le haut de cette fourchette est exactement ce que le persan paie, et ce contre quoi il réserve.