Песочница токенизатора
Напишите что угодно. Разбиение, счётчик и цена обновляются на ходу.
Посмотрите, как токенизируются персидский и английский и во что это обходится.
Что здесь настоящее
Никакой словарь BPE здесь не скачивается. Настоящая таблица слияний весит несколько мегабайт, а читатели этого сайта сидят в сетях, где это означает зависшую страницу, а не демо — API по той же причине отказывается от такой же загрузки на собственном пути запроса. Вместо этого показано точное, а не приблизительное: опубликованное предтокенное разбиение GPT-4, настоящие байты UTF-8 и то резервирование, которое API делает перед вызовом модели. Это резервирование и есть само число байт, поэтому оба числа совпадают — верхняя граница верна для любого языка, а эмпирическое правило — нет. В словаре GPT-4 настоящее число токенов всегда лежит между числом предтокенов и числом байт. Насколько близко оно к верхней границе — это и есть то, чем расплачивается персидский и под что делается резервирование.