2026 में पैथोलॉजी फ़ाउंडेशन मॉडल कैसे चुनें

कोई एक पैथोलॉजी फ़ाउंडेशन मॉडल हर जगह नहीं जीतता। UNI, CONCH और Virchow2 पर बेंचमार्क, लाइसेंस, टास्क और कंप्यूट क्या कहते हैं। शोध के लिए, निदान के लिए नहीं।

कोई एक सबसे अच्छा पैथोलॉजी फ़ाउंडेशन मॉडल (foundation model) नहीं है। Nature Biomedical Engineering में प्रकाशित एक स्वतंत्र बेंचमार्क में Neidlinger और सहयोगियों ने स्लाइड-स्तर के टास्क पर 19 फ़ाउंडेशन मॉडल की तुलना की: CONCH सबसे ऊपर रहा और Virchow2 उसके ठीक पीछे। जीन एक्सप्रेशन के प्रेडिक्शन में HEST-Benchmark का लीडरबोर्ड, जिसे 17 सितंबर 2026 को जाँचा गया, H-optimus-1 को शीर्ष पर रखता है और CONCH को और नीचे। चुनाव इस क्रम में करें: लाइसेंस आपको क्या करने देता है, टास्क को क्या चाहिए, और आपका कंप्यूट बजट गीगापिक्सेल स्लाइड्स पर क्या चला सकता है। फिर मरीज़-स्तर के स्प्लिट के साथ, ऐसे कोहोर्ट पर मूल्यांकन करें जिन्हें मॉडल ने प्रीट्रेनिंग में कभी नहीं देखा।

इस सवाल तक मैं अपनी MSc थीसिस के ज़रिए पहुँचा, जो पैथोलॉजी इमेज से जीन एक्सप्रेशन के प्रेडिक्शन पर थी। यहाँ दी गई तुलनाएँ दूसरे समूहों के प्रकाशित नतीजे हैं, मेरे माप नहीं।

पैथोलॉजी फ़ाउंडेशन मॉडल क्या है?

पैथोलॉजी फ़ाउंडेशन मॉडल एक इमेज एनकोडर है, जिसे हिस्टोलॉजी स्लाइड्स के बहुत बड़े संग्रहों पर प्रीट्रेन किया जाता है और फिर कई डाउनस्ट्रीम टास्क के लिए सामान्य-उद्देश्य वाले फ़ीचर एक्सट्रैक्टर के रूप में दोबारा इस्तेमाल किया जाता है। डिजिटल पैथोलॉजी में स्कैनर काँच की स्लाइड को होल-स्लाइड इमेज (whole-slide image, WSI) में बदलता है, जो गीगापिक्सेल पैमाने की होती है, इसलिए आम पाइपलाइन में दो चरण होते हैं। फ़ाउंडेशन मॉडल हीमेटॉक्सिलिन और इओसिन (H&E) से स्टेन किए गए टिशू के छोटे टाइल्स को एम्बेडिंग वेक्टर में बदलता है, और एक हल्का मॉडल इन्हीं वेक्टरों से टास्क सीखता है। Neidlinger और सहयोगी ठीक यही बताते हैं: हर फ़ाउंडेशन मॉडल से फ़ीचर निकाले गए, फिर “इन वेक्टरों का उपयोग स्लाइड-स्तर के एक एग्रीगेटर को ट्रेन करने में किया गया”।

एनकोडर आपको क्या देता है:

• सस्ते लेबल। multiple instance learning (MIL) हेड के साथ जोड़ने पर, फ़्रीज़ किए गए टाइल फ़ीचर डाउनस्ट्रीम मॉडल को हर स्लाइड या हर मरीज़ के एक लेबल से सीखने देते हैं, टिशू के हिस्सों की हाथ से खींची गई रूपरेखाओं से नहीं। यह भी बताया गया है कि प्रीट्रेन किए गए पैथोलॉजी फ़ीचर को लेबल किए गए कम उदाहरणों की ज़रूरत होती है: UNI का पेपर कहता है कि UNI “डेटा-कुशल” (data-efficient) मॉडल संभव बनाता है।

• फ़ीचर जो एक बार ही कंप्यूट होते हैं। एम्बेडिंग को कैश करके कई प्रयोगों में दोबारा इस्तेमाल किया जा सकता है।

• साझा बेसलाइन। स्वतंत्र समूह इन्हीं जारी किए गए एनकोडरों की तुलनाएँ प्रकाशित करते हैं।

यह आपको क्या नहीं देता: निदान, क्योंकि ये मॉडल उसके लिए हैं ही नहीं। न ही यह आपको ऐसा मॉडल देता है जो आपके कोहोर्ट पर वैलिडेट हो और आपके स्कैनर और स्टेनिंग के बदलावों के सामने मज़बूत (robust) रहे। वैलिडेशन और मज़बूती ख़ुद हासिल करनी पड़ती है, और बाक़ी गाइड इसी बारे में है कि यह कैसे हो।

2026 की तस्वीर: UNI, CONCH, Virchow2 और अन्य मॉडल

केवल-विज़न और विज़न-लैंग्वेज एनकोडर

नीचे दिए गए ज़्यादातर एनकोडर केवल-विज़न (vision-only) हैं: वे सिर्फ़ इमेज से सीखते हैं।

• UNI (Mahmood Lab): 0.3B पैरामीटर वाला एक विज़न ट्रांसफ़ॉर्मर (ViT-L/16)। इसका Nature Medicine पेपर 1,00,000 से अधिक डायग्नोस्टिक H&E-स्टेन्ड स्लाइड्स से ली गई 100 मिलियन से अधिक इमेज पर प्रीट्रेनिंग की रिपोर्ट देता है। UNI2-h, इसी लैब का एक बड़ा मॉडल, 681M पैरामीटर वाला ViT-H है।

• Virchow2 (Paige और Microsoft Research): इसके कार्ड के अनुसार 632 मिलियन पैरामीटर वाला एक ViT-H/14, जिसे Memorial Sloan Kettering Cancer Center की 3.1 मिलियन होल-स्लाइड इमेज पर ट्रेन किया गया। इसका पेपर Virchow2G Mini का भी वर्णन करता है, जो इसी परिवार के बड़े मॉडल Virchow2G का 22 मिलियन पैरामीटर वाला डिस्टिल्ड (distilled) संस्करण है।

• H-optimus-0 और H-optimus-1 (Bioptimus): विज़न ट्रांसफ़ॉर्मर, हर एक में 1.1B पैरामीटर; H-optimus-0 का कार्ड 5,00,000 से अधिक H&E स्लाइड्स पर ट्रेनिंग की रिपोर्ट देता है। H0-mini (Owkin और Bioptimus) H-optimus-0 से डिस्टिल किया गया एक ViT-B/14 है, जिसके कार्ड पर 85.7M पैरामीटर दर्ज हैं।

• Prov-GigaPath: एक टाइल एनकोडर, जिसके साथ एक स्लाइड एनकोडर जुड़ा है। Xu और सहयोगी Nature में बताते हैं कि इसे अमेरिकी हेल्थ नेटवर्क Providence की 1,71,189 होल स्लाइड्स से लिए गए 1.3 बिलियन टाइल्स पर प्रीट्रेन किया गया।

• Phikon-v2 (Owkin): सार्वजनिक स्लाइड संग्रहों पर प्रीट्रेन किया गया एक ViT-L; यह बात नीचे की लीकेज जाँच में मायने रखती है।

CONCH (Mahmood Lab) इस सूची का विज़न-लैंग्वेज मॉडल है। इसका विज़न एनकोडर 90M पैरामीटर वाला ViT-B/16 है, जो एक टेक्स्ट एनकोडर के साथ जुड़ा है, और इसका Nature Medicine पेपर 1.17 मिलियन से अधिक इमेज–कैप्शन जोड़ों पर ट्रेनिंग की रिपोर्ट देता है। टेक्स्ट वाला हिस्सा ही वह चीज़ है जो केवल-विज़न एनकोडरों के पास नहीं होती: CONCH का कार्ड इसके उपयोगों में zero-shot क्लासिफ़िकेशन और इमेज–टेक्स्ट रिट्रीवल गिनाता है।

लाइसेंस और एक्सेस की शर्तें पहले फ़ैसला करती हैं

जिस मॉडल को आप अपने उद्देश्य के लिए इस्तेमाल नहीं कर सकते, वह उम्मीदवार ही नहीं है, चाहे उसका स्कोर कुछ भी हो। यह तालिका Hugging Face मॉडल कार्ड का सार है, जैसे वे 17 सितंबर 2026 को दर्ज थे। गेटेड (gated) का मतलब है कि डाउनलोड करने से पहले आप Hugging Face पर एक्सेस का अनुरोध करते हैं और शर्तें स्वीकार करते हैं।

इससे तीन बातें निकलती हैं:

• Apache-2.0 क्लिनिकल लाइसेंस नहीं है। Prov-GigaPath का कार्ड कहता है कि मॉडल “मेडिकल डिवाइस, क्लिनिकल सहायता या डायग्नोस्टिक टूल के रूप में क्लिनिकल उपयोग के लिए न तो अभिप्रेत है और न ही उपलब्ध कराया गया है”। H-optimus-0 का कार्ड कहता है कि इसकी “किसी भी नियामक संस्था द्वारा समीक्षा, प्रमाणन या अनुमोदन नहीं किया गया है”।

• Virchow2 की शर्तें सबसे स्पष्ट हैं। उपयोगकर्ता सहमति देते हैं कि वे इसका उपयोग “रोग के निदान, इलाज, शमन, उपचार या रोकथाम” के लिए नहीं करेंगे, Research Use Only (RUO) या Investigational Use Only (IUO) लेबल के तहत भी नहीं। ये डायग्नोस्टिक उत्पादों की नियामक श्रेणियाँ हैं, अकादमिक शोध नहीं।

• ज़्यादातर गेटेड मॉडल जाँचते हैं कि आप कौन हैं। UNI, UNI2-h, CONCH, Virchow2, H-optimus-1 और H0-mini के कार्ड एक्सेस मंज़ूर होने से पहले यह शर्त रखते हैं कि आपका Hugging Face ईमेल आपके संस्थागत ईमेल से मेल खाए।

शर्तें बदलती रहती हैं, इसलिए डाउनलोड करने से पहले मौजूदा कार्ड और अपने संस्थान के नियम पढ़ें। यह तालिका केवल शुरुआती दिशा देती है, क़ानूनी सलाह नहीं है।

पैथोलॉजी फ़ाउंडेशन मॉडल बेंचमार्क: वे क्या कहते हैं और उन्हें किसने चलाया

किसी मॉडल का अपना पेपर उसे उन टास्क पर परखता है जो उसके लेखकों ने चुने। Neidlinger और सहयोगी यह समस्या साफ़ शब्दों में रखते हैं: जब पैथोलॉजी फ़ाउंडेशन मॉडल प्रकाशित करने वाले समूह उन्हें “अपने ही चुने हुए टास्क पर” परखते हैं, तो “पक्षपात (bias) की संभावना बहुत अधिक होती है”। शुरुआत स्वतंत्र बेंचमार्क से करें, और देखें कि हर मूल्यांकन किसने चलाया।

स्लाइड-स्तर के टास्क: CONCH पहले, Virchow2 ठीक पीछे

Neidlinger और सहयोगियों ने 19 हिस्टोपैथोलॉजी फ़ाउंडेशन मॉडल को बायोमार्कर, मॉर्फ़ोलॉजी (ऊतक की आकृति) और प्रोग्नोसिस (रोग का पूर्वानुमान) से जुड़े weakly supervised टास्क पर बेंचमार्क किया। उनका डेटा मरीज़ों के 13 कोहोर्ट से आया, जिनमें फेफड़े, कोलोरेक्टल, आमाशय और स्तन कैंसर के 6,818 मरीज़ और 9,528 स्लाइड्स थीं। डाउनस्ट्रीम मॉडल The Cancer Genome Atlas (TCGA) पर ट्रेन किए गए और बाहरी कोहोर्ट पर टेस्ट किए गए। ये थे सार्वजनिक CPTAC संग्रह, जिस पर बेंचमार्क किए गए किसी भी मॉडल को ट्रेन नहीं किया गया था, और ऐसे निजी (proprietary) कोहोर्ट जो “कभी किसी फ़ाउंडेशन मॉडल की ट्रेनिंग का हिस्सा नहीं रहे”। प्रेडिक्शन हर मरीज़ के स्तर पर किए गए।

प्रकाशित सार (abstract) का मुख्य निष्कर्ष: CONCH ने “केवल-विज़न फ़ाउंडेशन मॉडलों की तुलना में कुल मिलाकर सबसे ऊँचा प्रदर्शन दिया, और Virchow2 क़रीबी दूसरे स्थान पर रहा”। उसी वाक्य में वह चेतावनी भी है जो दुर्लभ टार्गेट के लिए मायने रखती है: CONCH की बढ़त “कम डेटा वाली स्थितियों और कम प्रचलन (low-prevalence) वाले टास्क में कम स्पष्ट थी”। पूरे नतीजों में, 31 टास्क के औसत पर, CONCH और Virchow2 दोनों 0.71 के औसत AUROC के साथ साझा रूप से सबसे ऊपर रहे (AUROC यानी receiver operating characteristic वक्र के नीचे का क्षेत्रफल), इसलिए मुख्य रैंकिंग के पीछे का अंतर छोटा है।

यह रैंकिंग केवल परखे गए मॉडलों पर लागू होती है। H-optimus-1 और UNI2-h उनमें शामिल नहीं थे।

एन्सेम्बल और डेटा की विविधता

प्रकाशित बेंचमार्क के अनुसार, CONCH और Virchow2 के प्रेडिक्शन को मिलाने वाले एक एन्सेम्बल ने 55% टास्क में अलग-अलग मॉडलों से बेहतर प्रदर्शन किया। लेखकों की व्याख्या यह है कि फ़ाउंडेशन मॉडल, जब “अलग-अलग कोहोर्ट पर ट्रेन होते हैं, तो एक ही लेबल के प्रेडिक्शन के लिए एक-दूसरे के पूरक फ़ीचर सीखते हैं”।

बेंचमार्क के निष्कर्ष यह भी “संकेत देते हैं कि फ़ाउंडेशन मॉडलों के लिए डेटा की विविधता डेटा की मात्रा से ज़्यादा अहम है”, और इसके लेखक लिखते हैं कि “बड़ा हमेशा बेहतर नहीं होता”। Virchow2 का पेपर, जिसे मॉडल के डेवलपरों ने लिखा है, इसमें एक शर्त जोड़ता है। विविध डेटा और डोमेन-विशिष्ट तरीक़े “उन मॉडलों से बेहतर प्रदर्शन कर सकते हैं जो केवल पैरामीटरों की संख्या में बढ़ते हैं”। फिर भी, “औसतन, प्रदर्शन को डोमेन-विशिष्ट तरीक़ों, डेटा के पैमाने और मॉडल के पैमाने के संयोजन से लाभ होता है”। जो भी हो, कार्ड पर लिखी पैरामीटर और स्लाइड की संख्याएँ यह नहीं बतातीं कि मॉडल आपके टास्क पर कैसा करेगा।

UNI बनाम CONCH बनाम Virchow2: लीडरबोर्ड आपस में मेल क्यों नहीं खाते

दूसरे मूल्यांकन दूसरा क्रम देते हैं:

• PathBench, जो एक प्रीप्रिंट है, ने 10 अस्पतालों के 8,549 मरीज़ों की 15,888 स्लाइड्स जुटाईं, और प्रीट्रेनिंग में इस्तेमाल हुए किसी भी डेटा को सख़्ती से बाहर रखा। इसके द्वारा परखे गए 19 पैथोलॉजी फ़ाउंडेशन मॉडल में से यह Virchow2 और H-optimus-1 को “कुल मिलाकर सबसे प्रभावी मॉडल” बताता है।

• HEST-Benchmark लीडरबोर्ड, जो HEST रिपॉज़िटरी में है, एनकोडरों को जीन एक्सप्रेशन प्रेडिक्शन में औसत Pearson correlation के आधार पर रैंक करता है। इसे Mahmood Lab सँभालती है, जो UNI और CONCH भी विकसित करती है। 17 सितंबर 2026 को जाँचे गए HEST लीडरबोर्ड पर H-optimus-1 का स्कोर 0.4229 है और वह सबसे आगे है; Virchow2 का स्कोर 0.4034, CONCH v1 का 0.3696 और ImageNet वेट्स वाले एक ResNet50 बेसलाइन का 0.3252 है। लीडरबोर्ड कुछ नई प्रविष्टियाँ भी दिखाता है जिनका ब्योरा यह गाइड नहीं देती, जैसे H-optimus-1 के ठीक पीछे GenBio-PathFM, और CONCH v1.5; शॉर्टलिस्ट करने से पहले उनके कार्ड पढ़ें।

ये अध्ययन अलग-अलग मॉडल, टास्क और कोहोर्ट परखते हैं, इसलिए ये अलग-अलग सवालों के जवाब देते हैं। UNI बनाम CONCH इसका उदाहरण है: Neidlinger और सहयोगियों के स्लाइड-स्तर के टास्क पर CONCH कुल मिलाकर UNI से ऊपर रहा, जबकि HEST के एक्सप्रेशन लीडरबोर्ड पर UNI का औसत CONCH v1 से ऊपर है। इनसे जो चीज़ काम आती है, वह कोई विजेता नहीं, बल्कि दो या तीन एनकोडरों की एक शॉर्टलिस्ट है, जो कई मूल्यांकनों में अच्छा करें, जिनमें कम से कम एक स्वतंत्र मूल्यांकन हो, और जिन्हें फिर आपके अपने टास्क पर परखा जाए।

टास्क के हिसाब से मॉडल चुनें

स्लाइड क्लासिफ़िकेशन और बायोमार्कर

स्लाइड-स्तर का प्रेडिक्शन आम तौर पर weakly supervised होता है: हर स्लाइड या मरीज़ के लिए एक लेबल, जैसे किसी बायोमार्कर की स्थिति या प्रोग्नोसिस से जुड़ा कोई परिणाम। Neidlinger और सहयोगियों ने इसी स्थिति को मापा, इसलिए यहाँ उद्धृत स्रोतों में उनका बेंचमार्क सबसे सीधे तौर पर प्रासंगिक पीयर-रिव्यूड साक्ष्य है। PathBench, एक प्रीप्रिंट, भी होल-स्लाइड इमेज पर निदान और प्रोग्नोसिस के टास्क परखता है, और Virchow2 और H-optimus-1 को सबसे ऊँची रैंक देता है।

जब लेबल किया गया डेटा कम हो, तब दो निष्कर्ष मायने रखते हैं। कम डेटा और कम प्रचलन वाली स्थितियों में CONCH की बढ़त घट गई। और जब Neidlinger और सहयोगियों ने डाउनस्ट्रीम मॉडल 300, 150 और 75 मरीज़ों पर ट्रेन किए, तो “ट्रेनिंग का आकार घटने पर सभी मॉडलों के प्रदर्शन में एक जैसी गिरावट दिखती है”। किसी दुर्लभ बायोमार्कर के लिए पहले कोहोर्ट की योजना बनाएँ, एनकोडर की बाद में।

H&E से जीन एक्सप्रेशन: बल्क और स्पेशियल

जीन एक्सप्रेशन (जीन अभिव्यक्ति) बताता है कि टिशू के किसी सैंपल में हर जीन कितना सक्रिय है; इसे RNA sequencing (RNA-Seq) जैसे RNA assays से मापा जाता है। शोध की इस धारा का सवाल यह है कि उस आणविक संकेत का कितना हिस्सा H&E इमेज में टिशू की मॉर्फ़ोलॉजी से पढ़ा जा सकता है।

बल्क एक्सप्रेशन का मतलब है हर सैंपल के लिए एक एक्सप्रेशन प्रोफ़ाइल। Schmauch और सहयोगी बताते हैं कि HE2RNA को “केवल होल-स्लाइड इमेज से, विशेषज्ञ एनोटेशन के बिना, RNA-Seq प्रोफ़ाइल का व्यवस्थित रूप से प्रेडिक्शन करने के लिए ट्रेन किया जा सकता है।”

स्पेशियल एक्सप्रेशन का मतलब है टिशू के भीतर अलग-अलग स्थानों पर एक्सप्रेशन का प्रेडिक्शन, जिसे स्पेशियल ट्रांसक्रिप्टोमिक्स (spatial transcriptomics) से सीखा जाता है। He और सहयोगियों (ST-Net) ने स्तन कैंसर से पीड़ित 23 मरीज़ों की हिस्टोलॉजी से मिलाए गए 30,612 स्पेशियली रिज़ॉल्व्ड (spatially resolved) जीन एक्सप्रेशन मापों का उपयोग किया, और 100 से अधिक जीन पहचाने जिनका एक्सप्रेशन 100 µm के रेज़ोल्यूशन पर प्रेडिक्ट किया जा सकता था।

HEST-1k, एक डेटासेट जिसका पेपर NeurIPS 2024 में Spotlight रहा, 1,229 स्पेशियल ट्रांसक्रिप्टोमिक प्रोफ़ाइल इकट्ठा करता है, जिनमें से हर एक किसी होल-स्लाइड इमेज से जुड़ी है। इसका HEST-Benchmark नौ टास्क तय करता है: 112 × 112 µm के H&E क्षेत्रों से सबसे ऊँचे normalised variance वाले शीर्ष 50 जीनों का प्रेडिक्शन, जिसका स्कोर Pearson correlation से तय होता है।

अलग-अलग टिशू के बीच नतीजों के फैलाव को गंभीरता से लें। HEST लीडरबोर्ड पर H-optimus-1 त्वचा के मेलेनोमा (skin cutaneous melanoma, SKCM) पर 0.6589 तक पहुँचता है, जबकि मलाशय के एडेनोकार्सिनोमा (rectal adenocarcinoma, READ) पर उसका स्कोर 0.2421 है। HEST के लेखक बताते हैं कि प्रदर्शन “कुछ टास्क (जैसे READ और ccRCC) में कम बना रहता है”; ccRCC का मतलब clear-cell renal cell carcinoma, यानी गुर्दे का क्लियर-सेल कार्सिनोमा है। Wang और सहयोगियों ने Nature Communications में स्पेशियल एक्सप्रेशन के ग्यारह तरीक़ों को बेंचमार्क किया। उनके स्पेशियल ट्रांसक्रिप्टोमिक्स डेटासेट में से दो पर, सभी जीनों के आधार पर स्कोर करने पर, Pearson correlation (PCC) और structural similarity (SSIM) “सभी तरीक़ों में कम” रहे। चुने हुए जीनों पर स्कोर ऊँचे थे; नीचे मूल्यांकन के जालों वाले हिस्से में यह बात फिर आती है। प्रेडिक्ट किया गया एक्सप्रेशन एक शोध संकेत है, assay का विकल्प नहीं, और यह संकेत कितना मज़बूत है, यह टिशू पर निर्भर करता है।

टाइल से स्लाइड तक: MIL और टिशू पर ग्राफ़

अटेंशन-आधारित multiple instance learning

MIL एक स्लाइड को टाइल्स के ऐसे बैग (bag) की तरह देखता है जिसका एक ही लेबल हो। Ilse, Tomczak और Welling (ICML 2018) ने attention-based MIL (ABMIL) प्रस्तावित किया, एक “क्रम-परिवर्तन से अप्रभावित (permutation-invariant) एग्रीगेशन ऑपरेटर”, जिसके अटेंशन वेट हर टाइल का योगदान दिखाते हैं। CLAM (Lu और सहयोगी, 2021) अटेंशन-आधारित लर्निंग का उपयोग करता है और उसे “केवल स्लाइड-स्तर के लेबल चाहिए”।

एनकोडरों की तुलना के लिहाज़ से Neidlinger और सहयोगियों के बेंचमार्क में एग्रीगेटर का ख़ास असर नहीं पड़ा: ABMIL एक ट्रांसफ़ॉर्मर एग्रीगेटर से “0.01 के औसत AUROC अंतर से पीछे रहा, जिससे मॉडलों की कुल रैंकिंग काफ़ी हद तक अपरिवर्तित रही”। एक सरल ABMIL हेड शॉर्टलिस्ट को परखने का उचित और सस्ता तरीक़ा है।

टिशू पर ग्राफ़

Permutation-invariant pooling अपने आप में इस बात को ध्यान में नहीं रखती कि टाइल्स एक-दूसरे के सापेक्ष कहाँ स्थित हैं। ग्राफ़-आधारित तरीक़े यह स्थानिक जानकारी मॉडल में वापस लाते हैं। Patch-GCN (Chen और सहयोगी, MICCAI 2021), जो “Whole Slide Images are 2D Point Clouds” शीर्षक वाले पेपर से आया है, एक graph convolutional network है जो “स्थानीय और वैश्विक स्तर की टोपोलॉजिकल संरचनाओं को मॉडल करने के लिए instance-स्तर के हिस्टोलॉजी फ़ीचर को पदानुक्रमित (hierarchical) ढंग से एग्रीगेट करता है”। इसकी क़ीमत है डिज़ाइन के ज़्यादा विकल्प, जैसे ग्राफ़ कैसे बनाया और पूल किया जाए, और इनमें से हर विकल्प को बाक़ी सब चीज़ों की तरह उन्हीं स्प्लिट्स के साथ वैलिडेट करना होगा।

स्लाइड एनकोडर बनाम टाइल एम्बेडिंग

कुछ फ़ाउंडेशन मॉडल एक स्लाइड एनकोडर भी जोड़ते हैं; Prov-GigaPath उनमें से एक है। Neidlinger और सहयोगियों ने चार स्लाइड एनकोडर शामिल किए और पाया कि उन्होंने “MIL सेट-अप में टाइल एनकोडरों पर कोई बढ़त नहीं दिखाई, सिवाय कम डेटा वाली स्थितियों के”। जब लेबल किए गए कोहोर्ट छोटे हों, तब स्लाइड एनकोडर आज़माएँ।

मूल्यांकन के वे जाल जो नतीजों को बढ़ा-चढ़ाकर दिखाते हैं

हर जाल किसी नतीजे को उससे बेहतर दिखाता है जितना वह नए मरीज़ों पर होगा, और हर एक प्रकाशित शोध में दर्ज है। भरोसा करने से पहले मापने की यही आदत लैंग्वेज-मॉडल सिस्टम पर भी लागू होती है; देखें RAG हैलुसिनेशन गार्डरेल।

स्प्लिट मरीज़ के स्तर पर करें, टाइल या स्पॉट के स्तर पर नहीं

विफलता: एक ही मरीज़ के टाइल्स, स्पॉट या पास-पास के सेक्शन ट्रेनिंग और टेस्ट, दोनों सेट में पहुँच जाते हैं, इसलिए स्कोर कुछ हद तक उस मरीज़ के टिशू की याद को मापता है।

HEST-Benchmark “ट्रेन/टेस्ट के बीच मरीज़-स्तर के डेटा लीकेज से बचने के लिए” patient-stratified स्प्लिट्स का उपयोग करता है। इसका मतलब है k-fold cross-validation, जिसमें k मरीज़ों की संख्या है, या ccRCC के लिए k/2, क्योंकि उसमें मरीज़ों की संख्या बड़ी है। ये स्प्लिट्स CSV फ़ाइलों के रूप में साथ मिलते हैं। Wang और सहयोगियों ने “एक ही मरीज़ के पास-पास के टिशू सेक्शन” एक ही fold में रखे; उनके HER2+ डेटासेट में 8 मरीज़ों के 36 टिशू सेक्शन हैं, इसलिए स्वतंत्र इकाई मरीज़ है, सेक्शन नहीं।

साइट और स्कैनर की छाप

विफलता: मॉडल यह सीख लेता है कि स्लाइड कहाँ तैयार या स्कैन की गई, और यह बात लेबल से सहसंबद्ध (correlated) होती है। छह कैंसर उपप्रकारों वाले 3,000 से अधिक मरीज़ों के TCGA डेटा में Howard और सहयोगियों ने इस विफलता के दोनों हिस्से पाए। सर्वाइवल, जीन एक्सप्रेशन के पैटर्न और ड्राइवर म्यूटेशन जैसे टार्गेट सैंपल भेजने वाली साइटों के बीच काफ़ी भिन्न थे, और इमेज से ख़ुद साइट का पता लगाया जा सकता था। उनके शब्दों में, “आम तौर पर इस्तेमाल होने वाले color normalization और augmentation तरीक़ों के बावजूद साइट का पता लगाना संभव रहता है”। ऐसी छापें “मॉडल के प्रदर्शन के ज़रूरत से ज़्यादा आशावादी अनुमानों तक ले जा सकती हैं”। उनका समाधान किसी मॉडल के ट्रेनिंग और वैलिडेशन सैंपल अलग-अलग साइटों से रखता है।

फ़ाउंडेशन मॉडल इसे ख़त्म नहीं करते। Carloni और सहयोगियों (MICCAI में MedAGI 2025 वर्कशॉप) ने इन्हें कई स्कैनरों वाले एक डेटासेट पर परखा और पाया कि वे “अब भी स्कैनर बायस से ग्रस्त हैं”। Filiot और सहयोगियों का जुलाई 2026 का एक प्रीप्रिंट ऐसे टाइल रिप्रेज़ेंटेशन का वर्णन करता है जो “स्कैनर और स्टेनिंग की भिन्नता के प्रति संवेदनशील बने रहते हैं”।

आर्टिफ़ैक्ट भी इसी से जुड़ा एक मामला है। Neidlinger और सहयोगी बताते हैं कि “UNI, Hibou, Virchow और Kaiko जैसे मॉडल कभी-कभी पेन के निशानों को हाइलाइट करते थे”; वहाँ पेन के निशानों ने क्लासिफ़िकेशन को नहीं बिगाड़ा, क्योंकि वे “अलग-अलग क्लासों में बराबर बँटे हुए थे”। जाँचें कि आर्टिफ़ैक्ट, साइटें और स्कैनर आपके लेबल से सहसंबद्ध तो नहीं हैं।

प्रीट्रेनिंग से डेटा लीकेज

विफलता: टेस्ट स्लाइड्स, या उन्हीं संस्थानों की स्लाइड्स, फ़ाउंडेशन मॉडल की प्रीट्रेनिंग में शामिल थीं। Neidlinger और सहयोगी बताते हैं कि “जब फ़ाउंडेशन मॉडलों को उन्हीं संस्थानों की इमेज पर टेस्ट किया जाता है जहाँ उन्हें ट्रेन किया गया था, तो डेटा लीकेज की चिंताएँ पैदा होती हैं”। उन्होंने ऐसे निजी कोहोर्ट पर टेस्ट किया जिनके बारे में वे कहते हैं कि वे कभी किसी फ़ाउंडेशन मॉडल की ट्रेनिंग का हिस्सा नहीं रहे, और साथ में CPTAC पर, जिस पर उनके बेंचमार्क किए गए किसी भी मॉडल को ट्रेन नहीं किया गया था।

यही जाँच आप भी करें। Phikon-v2 का कार्ड अपने प्रीट्रेनिंग स्रोतों में TCGA, CPTAC और GTEx गिनाता है (Phikon-v2 उस बेंचमार्क में नहीं था), और H0-mini का कार्ड TCGA स्लाइड्स दर्ज करता है। इन मॉडलों के लिए, इन संग्रहों से लिया गया टेस्ट सेट अनदेखा नहीं माना जा सकता।

चुने हुए जीनों पर औसत

विफलता: चुने हुए जीनों पर निकाले गए औसत correlation की तुलना सभी जीनों पर निकाले गए औसत से की जाती है। अपने HER2+ डेटासेट पर Wang और सहयोगियों ने पाया कि ज़्यादातर तरीक़ों ने सभी जीनों की तुलना में highly variable या spatially variable जीनों पर ऊँचा स्कोर (correlation या SSIM में) किया। इसलिए HEST-Benchmark के शीर्ष 50 highly variable जीनों पर मिले स्कोर की तुलना सभी जीनों के औसत से नहीं की जा सकती। रिपोर्ट करें कि आपने किन जीनों पर स्कोर किया और उन्हें कैसे चुना।

होल-स्लाइड इमेज के लिए कितना कंप्यूट चाहिए?

Xu और सहयोगी बताते हैं कि “एक सामान्य गीगापिक्सेल स्लाइड में दसियों हज़ार इमेज टाइल्स हो सकते हैं”, और आप जो भी टाइल रखते हैं, वह एनकोडर से होकर गुज़रता है। बजट तीन मात्राओं से तय होता है:

• एनकोडर का आकार, प्रति टाइल लागत का एक प्रमुख कारक।

• टाइल्स की संख्या, जो टिशू के क्षेत्रफल और उस मैग्निफ़िकेशन से तय होती है जिस पर आप टाइल बनाते हैं।

• एम्बेडिंग का आकार, जो स्टोरेज और डाउनस्ट्रीम मॉडल के इनपुट की चौड़ाई तय करता है।

ऊपर के एनकोडरों के लिए नीचे दिए आकार उनके मॉडल कार्ड से लिए गए हैं, जब तक अलग से न बताया गया हो। “जोड़कर” (concatenated) का मतलब है class token को mean patch token के साथ जोड़ना; यह विकल्प H0-mini और Virchow2 के कार्ड दिखाते हैं।

कोई फ़ैसला करने से पहले स्टोरेज का अनुमान लगाना आसान है: float32 एम्बेडिंग के लिए bytes ≈ tiles × embedding dimension × 4।

HEST-Benchmark पर बड़े एनकोडर आम तौर पर ऊँचा स्कोर करते हैं, पर घटते लाभ (diminishing returns) के साथ: HEST पेपर बताता है कि मॉडल का आकार “औसत प्रदर्शन से मज़बूती से सहसंबद्ध है, लेकिन ट्रेन किए जा सकने वाले पैरामीटरों की संख्या के साथ लाभ लघुगणकीय (logarithmic) रूप से बढ़ता है”। डिस्टिलेशन बीच का रास्ता है। H0-mini का अपना प्रीप्रिंट “काफ़ी कम inference लागत पर बड़े फ़ाउंडेशन मॉडलों (FMs) के लगभग बराबर प्रदर्शन” की रिपोर्ट देता है, और HEST लीडरबोर्ड पर इसका औसत 0.3958 है, जबकि इसके टीचर मॉडल H-optimus-0 का 0.4150। अलग-अलग एम्बेडिंग आकारों के बीच तुलना करते समय ध्यान रखें कि HEST पहले हर एम्बेडिंग को 256 प्रिंसिपल कंपोनेंट तक घटाता है, क्योंकि ridge regression “बड़े एम्बेडिंग आयाम वाले मॉडलों को अनुचित रूप से दंडित कर सकता है”।

बजट को क़ाबू में रखने वाला पैटर्न: एम्बेडिंग एक बार निकालें, उन्हें कैश करें, और कैश पर कई हल्के हेड ट्रेन करें। पैमाने का अंदाज़ा देने के लिए: HEST पेपर के प्रयोग “एक ही NVIDIA 3090 GPU पर चलाए गए”। लेटेंसी एक अलग बजट है: अगर हर नई स्लाइड की एम्बेडिंग inference के समय बनानी हो, तो एनकोडर का आकार और टाइल्स की संख्या सिर्फ़ ख़र्च ही नहीं, इंतज़ार भी तय करते हैं।

इस गाइड में मेरी थीसिस की जगह

इस्फ़हान यूनिवर्सिटी ऑफ़ टेक्नोलॉजी (Isfahan University of Technology) में सितंबर 2025 में पूरी हुई मेरी MSc थीसिस का सवाल था कि क्या डिजिटल पैथोलॉजी इमेज से जीन एक्सप्रेशन का प्रेडिक्शन किया जा सकता है। जीन एक्सप्रेशन assays धीमे और महँगे होते हैं; होल-स्लाइड इमेज तेज़ और सस्ती होती हैं, पर गीगापिक्सेल पैमाने की। थीसिस कंप्यूट और लेटेंसी की सख़्त सीमा के भीतर की गई, और उसके तरीक़े में graph neural networks, विज़न फ़ाउंडेशन मॉडल, बड़े लैंग्वेज मॉडलों (LLM) से अपनाई गई तकनीकें, और सांख्यिकीय व प्रायिकता-आधारित मॉडलिंग को मिलाया गया। इस पर आधारित एक पेपर तैयार किया जा रहा है।

इसी सीमा की वजह से यहाँ कंप्यूट चयन का एक मानदंड है, बाद में सोची गई बात नहीं। यह गाइड नहीं बताती कि थीसिस में कौन-से फ़ाउंडेशन मॉडल इस्तेमाल हुए, और थीसिस का कोई नतीजा नहीं देती: ऊपर की तुलनाएँ दूसरे शोध समूहों के प्रकाशित नतीजे हैं, मेरे माप नहीं। चिकित्सा इमेजिंग केस स्टडी थीसिस का वर्णन करती है, और शोध पेज पर वह सूचीबद्ध है।

पैथोलॉजी फ़ाउंडेशन मॉडल चुनने की चेकलिस्ट

• लाइसेंस और एक्सेस। कार्ड आपके उपयोग की अनुमति देता है, और आपका अकाउंट उसकी एक्सेस शर्तें पूरी करता है।

• टास्क का प्रकार। स्लाइड लेबल, बायोमार्कर, प्रोग्नोसिस, बल्क एक्सप्रेशन या स्पेशियल एक्सप्रेशन।

• शॉर्टलिस्ट। ऐसे एनकोडर जो एक से ज़्यादा मूल्यांकनों में अच्छा करें, जिनमें एक स्वतंत्र मूल्यांकन भी हो, सिर्फ़ अपने ही पेपरों में नहीं।

• प्रीट्रेनिंग से ओवरलैप। हर कार्ड के प्रीट्रेनिंग स्रोतों को आपके टेस्ट कोहोर्ट से मिलाकर जाँचा गया है।

• स्प्लिट्स। कम से कम मरीज़-स्तर पर, जहाँ संभव हो साइट-स्तर पर, और मिल सके तो एक बाहरी कोहोर्ट।

• कन्फ़ाउंडर। साइट, स्कैनर, स्टेन और आर्टिफ़ैक्ट को लेबल के सापेक्ष जाँचा गया है।

• मेट्रिक और जीन सेट। एक्सप्रेशन के लिए मेट्रिक और स्कोर किए गए जीन, दोनों रिपोर्ट किए गए हैं।

• कंप्यूट। अपने हार्डवेयर पर एक्सट्रैक्शन का समय मापा गया, एम्बेडिंग कैश की गईं, एक डिस्टिल्ड मॉडल आज़माया गया।

• एन्सेम्बल सबसे आख़िर में। मॉडलों को तभी मिलाया गया जब हर एक को अकेले मापा जा चुका था।

अगर आप किसी ऐसे कंप्यूटर विज़न सिस्टम का दायरा तय कर रहे हैं जिसे हार्डवेयर की एक तय सीमा में चलना है, तो परामर्श पेज बताता है कि मैं कैसे काम करता हूँ।

अक्सर पूछे जाने वाले सवाल

सबसे अच्छा पैथोलॉजी फ़ाउंडेशन मॉडल कौन-सा है?

कोई भी मॉडल सभी टास्क में सबसे अच्छा नहीं है। Neidlinger और सहयोगियों के स्वतंत्र बेंचमार्क में, जिसमें स्लाइड-स्तर के टास्क पर 19 मॉडलों को परखा गया, CONCH पहले और Virchow2 क़रीबी दूसरे स्थान पर रहा; PathBench, एक प्रीप्रिंट, Virchow2 और H-optimus-1 को बेहतर पाता है; और 17 सितंबर 2026 को जाँचा गया HEST लीडरबोर्ड जीन एक्सप्रेशन पर H-optimus-1 को पहले स्थान पर रखता है। इन्हीं से शॉर्टलिस्ट बनाएँ, फिर अपने टास्क पर परखें।

क्या H&E स्लाइड से जीन एक्सप्रेशन का प्रेडिक्शन किया जा सकता है?

आंशिक रूप से, कुछ जीनों और टिशू के लिए। He और सहयोगियों (ST-Net) को 100 से अधिक जीन मिले जिनका एक्सप्रेशन स्तन कैंसर की हिस्टोलॉजी से प्रेडिक्ट किया जा सकता था, और HE2RNA ने होल-स्लाइड इमेज से बल्क RNA-Seq प्रोफ़ाइल का प्रेडिक्शन किया। HEST-Benchmark पर शीर्ष एनकोडर का correlation कैंसर के प्रकार के अनुसार बहुत बदलता है। यह एक शोध संकेत है, मरीज़ों की देखभाल में आणविक assay का विकल्प नहीं।

क्या UNI, CONCH या Virchow2 को व्यावसायिक प्रोडक्ट में इस्तेमाल किया जा सकता है?

उनकी सार्वजनिक शर्तों के तहत नहीं। इनके Hugging Face कार्ड CC-BY-NC-ND 4.0 दर्ज करते हैं, उपयोग को ग़ैर-व्यावसायिक अकादमिक शोध तक सीमित रखते हैं, पूर्व अनुमति के बिना व्यावसायिक उपयोग वर्जित करते हैं और व्यावसायिक संस्थाओं से लेखकों से संपर्क करने को कहते हैं। यहाँ शामिल बाक़ी मॉडलों में से H-optimus-0 और Prov-GigaPath पर Apache-2.0 लाइसेंस है, लेकिन Prov-GigaPath का कार्ड किसी भी डिप्लॉयमेंट उपयोग को दायरे से बाहर रखता है, और H-optimus-0 का कार्ड स्वास्थ्य सेवा में उपयोग के लिए नियमों का अनुपालन और स्वतंत्र वैलिडेशन अनिवार्य करता है। शर्तें बदलती रहती हैं, इसलिए मौजूदा कार्ड जाँचें; यह क़ानूनी सलाह नहीं है।

क्या ये मॉडल पैथोलॉजी रिपोर्ट पढ़ सकते हैं या कैंसर का निदान कर सकते हैं?

नहीं। ये शोध मॉडल हैं, जो इमेज टाइल्स को, और CONCH के मामले में टेक्स्ट को भी, फ़ीचर वेक्टर में बदलते हैं। Virchow2 की शर्तें रोग के निदान के लिए इसके उपयोग को वर्जित करती हैं, Prov-GigaPath का कार्ड कहता है कि यह क्लिनिकल उपयोग के लिए अभिप्रेत नहीं है, और H-optimus कार्ड स्पष्ट करते हैं कि किसी नियामक ने उनकी समीक्षा या स्वीकृति नहीं की है। पैथोलॉजी रिपोर्ट से जुड़े सवालों के लिए अपने पैथोलॉजिस्ट या डॉक्टर से पूछें।

स्रोत

• Neidlinger और सहयोगी, Benchmarking foundation models as feature extractors for weakly supervised computational pathology, Nature Biomedical Engineering 10, 1113–1123 (2026; ऑनलाइन 2025) (arXiv प्रीप्रिंट)

• Chen और सहयोगी, Towards a general-purpose foundation model for computational pathology (UNI), Nature Medicine, 2024

• Lu और सहयोगी, A visual-language foundation model for computational pathology (CONCH), Nature Medicine, 2024

• Zimmermann और सहयोगी, Virchow2: Scaling Self-Supervised Mixed Magnification Models in Pathology, arXiv, 2024

• Xu और सहयोगी, A whole-slide foundation model for digital pathology from real-world data (Prov-GigaPath), Nature, 2024

• Filiot और सहयोगी, Distilling foundation models for robust and efficient models in digital pathology (H0-mini), arXiv प्रीप्रिंट, 2025

• Hugging Face मॉडल कार्ड, 17 सितंबर 2026 को जाँचे गए: UNI, UNI2-h, CONCH, Virchow2, H-optimus-0, H-optimus-1, H0-mini, Prov-GigaPath, Phikon-v2

• Prov-GigaPath रिपॉज़िटरी का README, 17 सितंबर 2026 को जाँचा गया

• Ma और सहयोगी, PathBench: A comprehensive comparison benchmark for pathology foundation models towards precision oncology, arXiv प्रीप्रिंट, 2025

• Jaume और सहयोगी, HEST-1k: A Dataset for Spatial Transcriptomics and Histology Image Analysis, NeurIPS 2024 Spotlight

• HEST रिपॉज़िटरी और HEST-Benchmark लीडरबोर्ड, 17 सितंबर 2026 को जाँचे गए

• He और सहयोगी, Integrating spatial gene expression and breast tumour morphology via deep learning (ST-Net), Nature Biomedical Engineering, 2020

• Schmauch और सहयोगी, A deep learning model to predict RNA-Seq expression of tumours from whole slide images (HE2RNA), Nature Communications, 2020

• Wang और सहयोगी, Benchmarking the translational potential of spatial gene expression prediction from histology, Nature Communications, 2025

• Howard और सहयोगी, The impact of site-specific digital histology signatures on deep learning model accuracy and bias, Nature Communications, 2021

• Carloni और सहयोगी, Pathology Foundation Models are Scanner Sensitive: Benchmark and Mitigation with Contrastive ScanGen Loss, MICCAI में MedAGI 2025 वर्कशॉप

• Filiot और सहयोगी, Robustifying pathology foundation models via fine-tuning, arXiv प्रीप्रिंट, 2026

• Ilse, Tomczak और Welling, Attention-based Deep Multiple Instance Learning, ICML 2018

• Lu और सहयोगी, Data-efficient and weakly supervised computational pathology on whole-slide images (CLAM), Nature Biomedical Engineering, 2021

• Chen और सहयोगी, Whole Slide Images are 2D Point Clouds: Context-Aware Survival Prediction using Patch-based Graph Convolutional Networks (Patch-GCN), MICCAI 2021

• चिकित्सा इमेजिंग — MRI डीनॉइज़िंग और पैथोलॉजी से जीन एक्सप्रेशन, इसी साइट पर केस स्टडी