ساحة تجريب المُجزِّئ

ما هو حقيقي هنا

لا يجري هنا تنزيل أي مفردات BPE. جدول الدمج الحقيقي حجمه عدة ميغابايتات، وقرّاء هذا الموقع على شبكات يعني ذلك فيها صفحة متجمدة لا عرضًا حيًّا — وواجهة البرمجة ترفض التنزيل نفسه على مسار طلبها للسبب ذاته. ما يُعرض بدلًا منه دقيق لا تقريبي: تقسيم الرموز الأولية المنشور لـGPT-4، وبايتات UTF-8 حقيقية، والحجز الذي تجريه الواجهة قبل استدعاء أي نموذج. وهذا الحجز هو عدد البايتات نفسه، ولهذا يتطابق الرقمان — فحدٌّ أعلى يصحّ في كل لغة، أما القاعدة التقريبية فلا. وضمن مفردات GPT-4 يقع العدد الحقيقي للرموز دائمًا بين عدد الرموز الأولية وعدد البايتات. ومدى قربه من الحد الأعلى لذلك المدى هو بالضبط ما تدفعه الفارسية وما تحجز في مواجهته.