Tokenizer-Spielwiese
Schreiben Sie irgendetwas. Aufteilung, Anzahl und Preis aktualisieren sich beim Tippen.
Sehen Sie, wie Persisch und Englisch tokenisiert werden — und was das kostet.
Was hier echt ist
Hier wird kein BPE-Vokabular heruntergeladen. Eine echte Merge-Tabelle ist mehrere Megabyte groß, und die Leser dieser Website sitzen in Netzen, in denen das eine hängende Seite ist und keine Demo — die API verweigert denselben Download auf ihrem eigenen Anfragepfad, aus demselben Grund. Gezeigt wird stattdessen Exaktes statt Näherungen: die veröffentlichte GPT-4-Pre-Token-Aufteilung, echte UTF-8-Bytes und die Reservierung, die die API vornimmt, bevor sie ein Modell aufruft. Diese Reservierung ist die Byte-Zahl selbst, und deshalb stimmen die beiden Zahlen überein — eine obere Schranke gilt in jeder Sprache, eine Faustregel nicht. Unter dem Vokabular von GPT-4 liegt eine echte Tokenzahl immer zwischen der Pre-Token-Zahl und der Byte-Zahl. Wie nahe sie am oberen Ende liegt, ist genau das, was Persisch bezahlt und wogegen es reserviert.