टोकनाइज़र प्लेग्राउंड

यहाँ असली क्या है

यहाँ कोई BPE शब्दकोश डाउनलोड नहीं होता। असली मर्ज तालिका कई मेगाबाइट की होती है, और इस साइट के पाठक ऐसे नेटवर्क पर हैं जहाँ वह डेमो नहीं बल्कि अटका हुआ पृष्ठ बन जाती है — API भी इसी कारण अपने अनुरोध-पथ पर वही डाउनलोड ठुकरा देती है। इसके बदले जो दिखाया गया है वह अनुमान नहीं, ठीक-ठीक है: GPT-4 का प्रकाशित प्री-टोकन विभाजन, असली UTF-8 बाइट, और वह आरक्षण जो API किसी मॉडल को बुलाने से पहले करती है। यह आरक्षण खुद बाइट संख्या ही है, इसीलिए दोनों आँकड़े एक जैसे निकलते हैं — ऊपरी सीमा हर भाषा में टिकती है, अंदाज़े का कोई नियम नहीं टिकता। GPT-4 के शब्दकोश में टोकनों की असली संख्या हमेशा प्री-टोकन संख्या और बाइट संख्या के बीच रहती है। वह उस दायरे के ऊपरी सिरे के कितने पास बैठती है — यही फ़ारसी की क़ीमत है, और यही वह चीज़ है जिसके विरुद्ध आरक्षण किया जाता है।