Playground do tokenizador
Digite qualquer coisa. A divisão, a contagem e o preço se atualizam enquanto você escreve.
Veja como o persa e o inglês são tokenizados, e o que isso custa.
O que aqui é real
Nenhum vocabulário BPE é baixado aqui. Uma tabela de merges de verdade tem vários megabytes, e os leitores deste site estão em redes onde isso vira uma página travada e não uma demo — a API recusa o mesmo download no próprio caminho de requisição, pelo mesmo motivo. O que aparece no lugar é exato e não aproximado: a divisão em pré-tokens publicada do GPT-4, bytes UTF-8 reais e a reserva que a API faz antes de chamar um modelo. Essa reserva é a própria contagem de bytes, e é por isso que os dois números coincidem — um limite superior vale em qualquer idioma, e uma regra de bolso não. Com o vocabulário do GPT-4, uma contagem real de tokens fica sempre entre a contagem de pré-tokens e a de bytes. O quanto ela se aproxima do topo dessa faixa é exatamente o que o persa paga, e aquilo contra o que ele reserva.