Tokenizador interactivo
Escribe lo que quieras. La división, el recuento y el precio se actualizan sobre la marcha.
Mira cómo se tokenizan el persa y el inglés, y lo que eso cuesta.
Qué es real aquí
Aquí no se descarga ningún vocabulario BPE. Una tabla de fusiones real ocupa varios megabytes, y los lectores de este sitio están en redes donde eso es una página colgada y no una demo — la API rechaza la misma descarga en su propia ruta de petición, por el mismo motivo. Lo que se muestra en su lugar es exacto y no aproximado: la división en pretokens publicada de GPT-4, bytes UTF-8 reales y la reserva que hace la API antes de llamar a un modelo. Esa reserva es el propio número de bytes, y por eso las dos cifras coinciden — una cota superior se cumple en cualquier idioma y una regla aproximada no. Con el vocabulario de GPT-4, un recuento real de tokens siempre queda entre el número de pretokens y el de bytes. Lo cerca que quede del extremo superior de ese rango es lo que paga el persa, y aquello frente a lo que reserva.