分词器实验场
随便输入点什么。切分、计数和价格都会跟着实时更新。
看看波斯语和英语是怎么被切成 token 的，以及这要付出多少代价。
这里有哪些是真的
这里不会下载任何 BPE 词表。真正的合并表有好几兆字节，而本站的读者所在的网络里，那意味着一个卡住的页面而不是一个演示——出于同样的理由，API 也在自己的请求路径上拒绝了同一份下载。取而代之展示的是精确值而非近似值：GPT-4 公开的预分词切分规则、真实的 UTF-8 字节，以及 API 在调用模型前所做的那次预留。这次预留就是字节数本身，两个数字因此完全相同——上界在任何语言里都成立，而经验法则不成立。在 GPT-4 的词表下，真实的 token 数一定落在预分词数和字节数之间。它离这个区间上界有多近，正是波斯语要多付的那部分代价，也正是预留所针对的东西。