زمین بازی توکنایزر

چه چیزی اینجا واقعی است

اینجا هیچ واژگان BPE دانلود نمی‌شود. جدول ادغام واقعی چند مگابایت است و خوانندگان این سایت روی شبکه‌هایی هستند که چنین دانلودی برایشان نه نمونه، که یک صفحه معطل است — API هم دقیقاً به همین دلیل این دانلود را از مسیر درخواست خود کنار گذاشته است. آنچه در عوض می‌بینید دقیق است نه تقریبی: تفکیک پیش‌توکن منتشرشده GPT-4، بایت‌های واقعی UTF-8، و رزروی که API پیش از فراخوانی مدل انجام می‌دهد. این رزرو خودِ شمار بایت‌هاست و به همین دلیل این دو عدد یکی‌اند — کران بالا در هر زبانی برقرار می‌ماند، اما قاعده سرانگشتی نه. در واژگان GPT-4، شمار واقعی توکن‌ها همیشه میان شمار پیش‌توکن‌ها و شمار بایت‌ها می‌نشیند؛ و اینکه چقدر به سقف این بازه نزدیک باشد، همان چیزی است که فارسی بابتش هزینه می‌دهد و در برابرش رزرو می‌کند.