هوش مصنوعی در پاتولوژی: انتخاب مدل پایه در ۲۰۲۶

راهنمای پژوهشی انتخاب مدل پایه (foundation model) در هوش مصنوعی پاتولوژی: مقایسه UNI، CONCH، Virchow2 و H-optimus از نگاه بنچمارک، مجوز، نوع وظیفه و هزینه پردازش؛ برای پژوهش، نه تشخیص.

هیچ مدل پایه‌ای در هوش مصنوعی پاتولوژی در همه وظیفه‌ها بهترین نیست. Neidlinger و همکاران در بنچمارکی مستقل که در Nature Biomedical Engineering منتشر شده، ۱۹ مدل پایه را روی وظیفه‌های سطح اسلاید مقایسه کردند: CONCH اول شد و Virchow2 با فاصله‌ای اندک دوم. در پیش‌بینی بیان ژن، جدول رده‌بندی HEST-Benchmark، به تاریخ ۲۶ شهریور ۱۴۰۵، H-optimus-1 را در صدر نشان می‌دهد و CONCH را پایین‌تر. به این ترتیب انتخاب کنید: نخست مجوز، سپس نیاز وظیفه، و در پایان بودجه پردازش اسلایدهای گیگاپیکسلی. آنگاه با تقسیم داده در سطح بیمار، روی کوهورت‌هایی ارزیابی کنید که مدل در پیش‌آموزش ندیده است.

من از مسیر پایان‌نامه کارشناسی ارشدم، که درباره پیش‌بینی بیان ژن از تصاویر پاتولوژی بود، به این پرسش رسیدم. مقایسه‌های این نوشته نتایج منتشرشده گروه‌های پژوهشی دیگرند، نه اندازه‌گیری‌های من.

مدل پایه (foundation model) در پاتولوژی چیست و چه کمکی می‌کند؟

مدل پایه پاتولوژی یک رمزگذار تصویر است که روی مجموعه‌های بسیار بزرگی از اسلایدهای بافت‌شناسی پیش‌آموزش دیده و سپس در نقش استخراج‌کننده ویژگیِ همه‌منظوره در وظیفه‌های پایین‌دستی گوناگون به کار می‌رود. در پاتولوژی دیجیتال، لام بافت با اسکنر به تصویر کامل اسلاید (whole-slide image یا WSI) تبدیل می‌شود؛ تصویری در مقیاس گیگاپیکسل. به همین دلیل، تحلیل تصاویر هیستوپاتولوژی معمولاً دو مرحله دارد. نخست مدل پایه قطعه‌های کوچک بافتِ رنگ‌آمیزی‌شده با هماتوکسیلین و ائوزین (H&E) را، که تایل (tile) نامیده می‌شوند، به بردار ویژگی (embedding) تبدیل می‌کند؛ سپس مدلی سبک‌تر وظیفه اصلی را از روی همین بردارها می‌آموزد. Neidlinger و همکاران دقیقاً همین روند را شرح می‌دهند: ویژگی‌ها با هر مدل پایه استخراج شدند و سپس «این بردارها برای آموزش یک تجمیع‌گر سطح اسلاید به کار رفتند».

آنچه از رمزگذار به دست می‌آورید:

• برچسب‌گذاری کم‌هزینه‌تر. ویژگی‌های ثابت‌شده (frozen) تایل‌ها، اگر با یک مدل یادگیری چندنمونه‌ای (multiple instance learning یا MIL) همراه شوند، به مدل پایین‌دستی امکان می‌دهند از یک برچسب برای هر اسلاید یا هر بیمار بیاموزد، نه از مرزهایی که باید با دست دور نواحی بافت کشیده شوند. گزارش شده است که ویژگی‌های مدل‌های پیش‌آموزش‌دیده پاتولوژی به نمونه برچسب‌خورده کمتری هم نیاز دارند: به گفته مقاله UNI، این مدل ساختن مدل‌هایی «کارآمد از نظر داده» را ممکن می‌کند.

• ویژگی‌هایی که یک بار محاسبه می‌شوند. بردارها را می‌توان ذخیره کرد و در آزمایش‌های متعدد دوباره به کار گرفت.

• مبنای مقایسه مشترک. گروه‌های مستقل همین رمزگذارهای عمومی را با یکدیگر مقایسه می‌کنند و نتایجشان را منتشر می‌کنند.

آنچه به دست نمی‌آورید: تشخیص، که اصلاً کار این مدل‌ها نیست؛ و مدلی که روی کوهورت شما اعتبارسنجی شده و در برابر اسکنر و رنگ‌آمیزی آزمایشگاه شما پایدار باشد. اعتبارسنجی و پایداری را باید خودتان به دست آورید، و بقیه این راهنما درباره همین است.

مدل‌های پایه پاتولوژی در ۲۰۲۶: UNI، CONCH، Virchow2 و مدل‌های دیگر

مدل‌های صرفاً تصویری و مدل تصویر–متن

بیشتر رمزگذارهای زیر صرفاً تصویری‌اند؛ یعنی فقط از خود تصویر می‌آموزند.

• UNI (آزمایشگاه Mahmood): یک ترنسفورمر بینایی (ViT-L/16) با ۰٫۳ میلیارد پارامتر. مقاله آن در Nature Medicine پیش‌آموزش روی بیش از ۱۰۰ میلیون تصویر از بیش از ۱۰۰٬۰۰۰ اسلاید تشخیصی رنگ‌آمیزی‌شده با H&E را گزارش می‌کند. UNI2-h، مدل بزرگ‌تر همین آزمایشگاه، یک ViT-H با ۶۸۱ میلیون پارامتر است.

• Virchow2 (Paige و Microsoft Research): بنا بر کارت مدل، یک ViT-H/14 با ۶۳۲ میلیون پارامتر که روی ۳٫۱ میلیون تصویر کامل اسلاید از مرکز سرطان Memorial Sloan Kettering آموزش دیده است. مقاله Virchow2 مدل Virchow2G Mini را هم معرفی می‌کند: نسخه‌ای تقطیرشده (distilled) با ۲۲ میلیون پارامتر از Virchow2G، عضو بزرگ‌تر همین خانواده.

• H-optimus-0 و H-optimus-1 (Bioptimus): ترنسفورمرهای بینایی، هر کدام با ۱٫۱ میلیارد پارامتر. طبق کارت H-optimus-0، این مدل روی بیش از ۵۰۰٬۰۰۰ اسلاید H&E آموزش دیده است. H0-mini (Owkin و Bioptimus) یک ViT-B/14 تقطیرشده از H-optimus-0 است و طبق کارتش ۸۵٫۷ میلیون پارامتر دارد.

• Prov-GigaPath: یک رمزگذار تایل به‌همراه یک رمزگذار اسلاید. Xu و همکاران در Nature گزارش می‌کنند که این مدل روی ۱٫۳ میلیارد تایل از ۱۷۱٬۱۸۹ اسلاید کامل پیش‌آموزش دیده است؛ اسلایدهایی از Providence، یک شبکه درمانی در آمریکا.

• Phikon-v2 (Owkin): یک ViT-L که روی مجموعه‌های عمومی اسلاید پیش‌آموزش دیده است؛ نکته‌ای که در بررسی نشت داده، در ادامه همین نوشته، اهمیت پیدا می‌کند.

CONCH (آزمایشگاه Mahmood) مدل تصویر–متنِ این فهرست است. رمزگذار تصویر آن یک ViT-B/16 با ۹۰ میلیون پارامتر است که همراه با یک رمزگذار متن کار می‌کند، و طبق مقاله‌اش در Nature Medicine روی بیش از ۱٫۱۷ میلیون جفت تصویر–زیرنویس آموزش دیده است. همین بخش متنی است که مدل‌های صرفاً تصویری ندارند: کارت CONCH طبقه‌بندی zero-shot و بازیابی تصویر–متن را در شمار کاربردهای مدل آورده است.

نخست مجوز و شرایط دسترسی، سپس دقت

مدلی که اجازه ندارید برای کار موردنظرتان از آن استفاده کنید، هر امتیازی هم که کسب کند، گزینه شما نیست. جدول زیر خلاصه‌ای از کارت‌های مدل در Hugging Face است، به همان صورتی که در ۲۶ شهریور ۱۴۰۵ (۱۷ سپتامبر ۲۰۲۶) در دسترس بودند. دسترسی مشروط (gated) یعنی دانلود مدل تنها پس از ثبت درخواست در Hugging Face و پذیرفتن شرایط آن ممکن است.

از این جدول سه نکته برمی‌آید:

• Apache-2.0 مجوز کاربرد بالینی نیست. کارت Prov-GigaPath تصریح می‌کند که مدل «برای کاربرد بالینی به‌عنوان وسیله پزشکی، ابزار پشتیبان بالینی یا ابزار تشخیصی در نظر گرفته نشده و در دسترس قرار نگرفته است». کارت H-optimus-0 نیز می‌گوید مدل «از سوی هیچ نهاد نظارتی بررسی، گواهی یا تأیید نشده است».

• صریح‌ترین شرایط از آنِ Virchow2 است. کاربر متعهد می‌شود این مدل را برای «تشخیص، علاج، تسکین، درمان یا پیشگیری از بیماری» به کار نگیرد، حتی با برچسب‌های Research Use Only (RUO) یا Investigational Use Only (IUO)، که دسته‌بندی‌های نظارتی محصولات تشخیصی‌اند، نه پژوهش دانشگاهی.

• بیشتر مدل‌های مشروط هویت شما را احراز می‌کنند. کارت‌های UNI، UNI2-h، CONCH، Virchow2، H-optimus-1 و H0-mini شرط کرده‌اند که ایمیل حساب Hugging Face شما با ایمیل سازمانی‌تان یکی باشد تا دسترسی تأیید شود.

شرایط تغییر می‌کند؛ پیش از دانلود، نسخه فعلی کارت و قواعد دانشگاه یا سازمان خود را بخوانید. این جدول فقط برای آشنایی اولیه است، نه مشاوره حقوقی.

بنچمارک‌های مدل پایه پاتولوژی چه می‌گویند و چه کسی آن‌ها را اجرا کرده است؟

هر مدل را مقاله خودش روی وظیفه‌هایی می‌سنجد که نویسندگانش برگزیده‌اند. Neidlinger و همکاران این مشکل را بی‌پرده بیان می‌کنند: وقتی گروه‌هایی که مدل پایه منتشر می‌کنند مدل‌هایشان را «روی وظیفه‌هایی به انتخاب خودشان» ارزیابی می‌کنند، «احتمال سوگیری زیاد است». پس از بنچمارک‌های مستقل شروع کنید و درباره هر ارزیابی بپرسید چه کسی آن را اجرا کرده است.

وظیفه‌های سطح اسلاید: CONCH نخست، Virchow2 نزدیک به آن

Neidlinger و همکاران ۱۹ مدل پایه هیستوپاتولوژی را در وظیفه‌هایی با نظارت ضعیف (weakly supervised) در زمینه نشانگرهای زیستی، ریخت‌شناسی و پیش‌آگهی محک زدند. داده‌های این بنچمارک از ۱۳ کوهورت بیمار، شامل ۶٬۸۱۸ بیمار و ۹٬۵۲۸ اسلاید از سرطان‌های ریه، کولورکتال، معده و پستان، گرد آمده بود. مدل‌های پایین‌دستی روی داده اطلس ژنوم سرطان (TCGA) آموزش دیدند و روی کوهورت‌های خارجی آزموده شدند: مجموعه عمومی CPTAC، که هیچ‌یک از مدل‌های بررسی‌شده روی آن آموزش ندیده بود، و کوهورت‌های اختصاصی که «هرگز بخشی از آموزش هیچ مدل پایه‌ای نبوده‌اند». پیش‌بینی‌ها نیز در سطح بیمار انجام شد.

یافته اصلی چکیده مقاله منتشرشده این است که CONCH «در مقایسه با مدل‌های پایه صرفاً تصویری بالاترین عملکرد کلی را به دست داد و Virchow2 با فاصله‌ای اندک دوم بود». همان جمله قیدی هم دارد که برای پیش‌بینی هدف‌های نادر مهم است: برتری CONCH «در سناریوهای کم‌داده و وظیفه‌های با شیوع پایین کمتر آشکار بود». در متن کامل نتایج نیز، به‌طور میانگین روی ۳۱ وظیفه، CONCH و Virchow2 مشترکاً بالاترین AUROC (سطح زیر منحنی ROC) را با مقدار ۰٫۷۱ داشتند؛ پس اختلاف واقعی میان مدل‌های صدر این رتبه‌بندی اندک است.

این رده‌بندی فقط مدل‌هایی را دربر می‌گیرد که آزموده شدند؛ H-optimus-1 و UNI2-h در میان آن‌ها نبودند.

ترکیب مدل‌ها و تنوع داده

بنا بر بنچمارک منتشرشده، ترکیبی (ensemble) از پیش‌بینی‌های CONCH و Virchow2 در ۵۵٪ وظیفه‌ها از تک‌تک مدل‌ها بهتر عمل کرد. توضیح نویسندگان این است که مدل‌های پایه‌ای که «روی کوهورت‌های متفاوت آموزش دیده‌اند، برای پیش‌بینی برچسبی یکسان ویژگی‌های مکمل می‌آموزند».

یافته‌های همین بنچمارک «حاکی از آن است که برای مدل‌های پایه، تنوع داده از حجم داده مهم‌تر است»، و نویسندگانش صریحاً می‌نویسند «بزرگ‌تر همیشه بهتر نیست». مقاله Virchow2، که سازندگان خود مدل نوشته‌اند، این حکم را تعدیل می‌کند. به گفته این مقاله، داده متنوع و روش‌های ویژه این حوزه «می‌توانند از مدل‌هایی که فقط تعداد پارامترها را افزایش می‌دهند بهتر عمل کنند»، اما «به‌طور میانگین، عملکرد از ترکیب روش‌های ویژه حوزه، مقیاس داده و مقیاس مدل سود می‌برد». در هر حال، تعداد پارامترها و اسلایدهایی که روی کارت مدل آمده، نشان نمی‌دهد مدل روی وظیفه شما چگونه عمل خواهد کرد.

مقایسه UNI، CONCH و Virchow2: چرا جدول‌های رده‌بندی با هم اختلاف دارند؟

ارزیابی‌های دیگر ترتیب دیگری به دست می‌دهند:

• PathBench، بنچمارکی که به‌صورت پیش‌انتشار (preprint) منتشر شده، ۱۵٬۸۸۸ اسلاید از ۸٬۵۴۹ بیمار را از ۱۰ بیمارستان گرد آورده و هر داده‌ای را که در پیش‌آموزش به کار رفته باشد با سخت‌گیری کنار گذاشته است. این پژوهش از میان ۱۹ مدل پایه پاتولوژی که ارزیابی کرده، Virchow2 و H-optimus-1 را «در مجموع مؤثرترین مدل‌ها» می‌داند.

• جدول رده‌بندی HEST-Benchmark در مخزن HEST، رمزگذارها را در پیش‌بینی بیان ژن بر پایه میانگین همبستگی Pearson رتبه‌بندی می‌کند. نگهداری این جدول با آزمایشگاه Mahmood است که UNI و CONCH را نیز ساخته است. در این جدول، به تاریخ ۲۶ شهریور ۱۴۰۵، مدل H-optimus-1 با ۰٫۴۲۲۹ در صدر است؛ Virchow2 به ۰٫۴۰۳۴، CONCH v1 به ۰٫۳۶۹۶ و یک خط مبنای ResNet50 با وزن‌های ImageNet به ۰٫۳۲۵۲ می‌رسند. این جدول مدل‌های تازه‌تری را هم فهرست می‌کند که این راهنما بررسی‌شان نکرده است، از جمله GenBio-PathFM، درست پس از H-optimus-1، و CONCH v1.5؛ پیش از افزودن آن‌ها به فهرست کوتاه خود، کارتشان را بخوانید.

این پژوهش‌ها مدل‌ها، وظیفه‌ها و کوهورت‌های متفاوتی را می‌سنجند و در نتیجه به پرسش‌های متفاوتی پاسخ می‌دهند. مقایسه UNI و CONCH نمونه روشنی است: در وظیفه‌های سطح اسلاید بنچمارک Neidlinger، مدل CONCH در مجموع بالاتر از UNI قرار گرفت، اما در جدول بیان ژن HEST میانگین UNI از CONCH v1 بالاتر است. آنچه از این ارزیابی‌ها به کار می‌آید یک برنده نیست؛ فهرستی کوتاه از دو یا سه رمزگذار است که در چند ارزیابی، از جمله دست‌کم یک ارزیابی مستقل، خوب عمل کرده‌اند و اکنون باید روی وظیفه خود شما آزموده شوند.

انتخاب مدل بر اساس نوع وظیفه

طبقه‌بندی اسلاید و نشانگرهای زیستی

پیش‌بینی در سطح اسلاید معمولاً با نظارت ضعیف انجام می‌شود: یک برچسب برای هر اسلاید یا بیمار، مانند وضعیت یک نشانگر زیستی یا یک پیامد پیش‌آگهی. این همان شرایطی است که Neidlinger و همکاران سنجیده‌اند، پس بنچمارک آن‌ها در میان منابع این نوشته، مستقیم‌ترین شواهد داوری‌شده را برای این نوع کار فراهم می‌کند. PathBench نیز، که به‌صورت پیش‌انتشار منتشر شده، وظیفه‌های تشخیص و پیش‌آگهی را روی تصاویر کامل اسلاید می‌سنجد و Virchow2 و H-optimus-1 را در صدر می‌گذارد.

وقتی داده برچسب‌خورده کم است، دو یافته اهمیت پیدا می‌کند. نخست، برتری CONCH در شرایط کم‌داده و شیوع پایین کم‌رنگ‌تر شد. دوم، وقتی Neidlinger و همکاران مدل‌های پایین‌دستی را روی ۳۰۰، ۱۵۰ و ۷۵ بیمار آموزش دادند، «همه مدل‌ها با کوچک‌شدن داده آموزشی افت عملکرد مشابهی نشان دادند». برای یک نشانگر زیستی نادر، نخست کوهورت را طراحی کنید و بعد سراغ انتخاب رمزگذار بروید.

پیش‌بینی بیان ژن از تصاویر پاتولوژی (H&E): توده‌ای و فضایی

بیان ژن نشان می‌دهد هر ژن در یک نمونه بافت تا چه اندازه فعال است و با سنجش RNA، برای نمونه توالی‌یابی RNA (RNA-Seq)، اندازه‌گیری می‌شود. پرسش این شاخه از پژوهش آن است که چه مقدار از این سیگنال مولکولی را می‌توان از ریخت‌شناسی بافت در تصویر H&E استخراج کرد.

بیان توده‌ای (bulk) یعنی یک پروفایل بیان برای کل نمونه. به گزارش Schmauch و همکاران، مدل HE2RNA را «می‌توان چنان آموزش داد که پروفایل‌های RNA-Seq را به‌طور نظام‌مند، تنها از روی تصاویر کامل اسلاید و بدون حاشیه‌نویسی متخصص، پیش‌بینی کند».

بیان فضایی (spatial) یعنی پیش‌بینی بیان در نقاط مختلفِ درون بافت، که از داده ترنسکریپتومیکس فضایی (spatial transcriptomics) آموخته می‌شود. He و همکاران (ST-Net) از ۳۰٬۶۱۲ اندازه‌گیری بیان ژن با تفکیک فضایی، منطبق بر تصاویر بافت‌شناسی ۲۳ بیمار مبتلا به سرطان پستان، بهره گرفتند و بیش از ۱۰۰ ژن یافتند که بیانشان با وضوح ۱۰۰ میکرومتر قابل پیش‌بینی بود.

HEST-1k، مجموعه‌داده‌ای که مقاله آن در NeurIPS 2024 به‌عنوان مقاله Spotlight پذیرفته شد، ۱٬۲۲۹ پروفایل ترنسکریپتومیکس فضایی را گرد آورده است که هر کدام به یک تصویر کامل اسلاید پیوند خورده است. بخش ارزیابی آن، HEST-Benchmark، شامل ۹ وظیفه است: پیش‌بینی بیان ۵۰ ژن با بیشترین واریانس نرمال‌شده از نواحی ۱۱۲ × ۱۱۲ میکرومتری بافت H&E، با همبستگی Pearson به‌عنوان معیار.

پراکندگی نتایج میان بافت‌ها را جدی بگیرید. در جدول رده‌بندی HEST، مدل H-optimus-1 در ملانوم پوستی (SKCM) به ۰٫۶۵۸۹ می‌رسد، اما در آدنوکارسینوم رکتوم (READ) تنها به ۰٫۲۴۲۱. نویسندگان HEST هم خاطرنشان می‌کنند که عملکرد «در برخی وظیفه‌ها (مثلاً READ و ccRCC) پایین می‌ماند». ccRCC همان کارسینوم سلول شفاف کلیه است. Wang و همکاران ۱۱ روش پیش‌بینی بیان فضایی را در Nature Communications محک زدند. آن‌ها همبستگی Pearson (PCC) و شاخص شباهت ساختاری (SSIM) را روی همه ژن‌ها در دو مجموعه‌داده ترنسکریپتومیکس فضایی خود سنجیدند و دریافتند که این دو معیار «در همه روش‌ها پایین‌اند». امتیاز روی ژن‌های منتخب بالاتر بود؛ نکته‌ای که بخش دام‌های ارزیابی به آن بازمی‌گردد. بیان ژنِ پیش‌بینی‌شده سیگنالی پژوهشی است، نه جایگزینی برای سنجش آزمایشگاهی، و قوت آن به نوع بافت بستگی دارد.

از تایل تا اسلاید: یادگیری چندنمونه‌ای (MIL) و شبکه‌های گرافی

یادگیری چندنمونه‌ای مبتنی بر توجه (ABMIL)

در یادگیری چندنمونه‌ای، هر اسلاید کیسه‌ای از تایل‌ها با یک برچسب است. Ilse، Tomczak و Welling در ICML 2018 روش MIL مبتنی بر توجه (ABMIL) را پیشنهاد کردند: یک «عملگر تجمیعِ ناوردا نسبت به جایگشت» که وزن‌های توجه آن سهم هر تایل را نشان می‌دهد. CLAM (Lu و همکاران، ۲۰۲۱) نیز بر یادگیری مبتنی بر توجه تکیه دارد و «تنها به برچسب سطح اسلاید نیاز دارد».

برای مقایسه رمزگذارها، نوع تجمیع‌گر در بنچمارک Neidlinger اهمیت چندانی نداشت: ABMIL با «اختلاف میانگین AUROC برابر ۰٫۰۱» از تجمیع‌گر مبتنی بر ترنسفورمر عقب ماند و «رتبه‌بندی کلی مدل‌ها عمدتاً بدون تغییر ماند». یک مدل پایین‌دستی ساده از نوع ABMIL راهی معقول و کم‌هزینه برای محک‌زدن فهرست کوتاه رمزگذارهاست.

شبکه‌های گرافی روی بافت

تجمیعِ ناوردا نسبت به جایگشت، به‌خودی‌خود، از موقعیت نسبی تایل‌ها بهره نمی‌گیرد. روش‌های گرافی این اطلاعات مکانی را دوباره وارد مدل می‌کنند. Patch-GCN (Chen و همکاران، MICCAI 2021)، برآمده از مقاله‌ای با عنوان «Whole Slide Images are 2D Point Clouds»، یک شبکه کانولوشنی گرافی است که ویژگی‌های بافت‌شناسیِ تک‌تک تایل‌ها را «به‌صورت سلسله‌مراتبی تجمیع می‌کند تا ساختارهای توپولوژیک محلی و سراسری را مدل کند». بهای این کار انتخاب‌های طراحی بیشتر است، از جمله شیوه ساختن گراف و تجمیع آن، و هر یک باید با همان تقسیم‌بندی داده‌ای اعتبارسنجی شود که برای بقیه اجزا به کار می‌رود.

رمزگذار اسلاید یا بردار تایل‌ها

برخی مدل‌های پایه یک رمزگذار اسلاید هم دارند؛ Prov-GigaPath یکی از آن‌هاست. Neidlinger و همکاران ۴ رمزگذار اسلاید را هم سنجیدند و دریافتند که این رمزگذارها «در پیکربندی‌های MIL هیچ برتری‌ای بر رمزگذارهای تایل نداشتند، مگر در سناریوهای کم‌داده». وقتی کوهورت برچسب‌خورده کوچک است، یک رمزگذار اسلاید را هم بیازمایید.

دام‌های ارزیابی که نتیجه را بهتر از واقع نشان می‌دهند

هر یک از این دام‌ها نتیجه را بهتر از آنچه روی بیماران جدید خواهد بود نشان می‌دهد، و هر یک در پژوهش‌های منتشرشده ثبت شده است. همین اصلِ «نخست بسنج، سپس اعتماد کن» در سامانه‌های مبتنی بر مدل زبانی هم کاربرد دارد؛ در این باره نوشته جلوگیری از توهم هوش مصنوعی در RAG را ببینید.

تقسیم داده در سطح بیمار، نه تایل یا نقطه

مشکل: تایل‌ها، نقطه‌ها (spot) یا برش‌های مجاور بافتِ یک بیمار هم در داده آموزش قرار می‌گیرند و هم در داده آزمون؛ در نتیجه امتیاز تا حدی حافظه مدل از بافت همان بیمار را می‌سنجد.

HEST-Benchmark «برای جلوگیری از نشت داده میان آموزش و آزمون در سطح بیمار» از تقسیم‌بندی به تفکیک بیمار استفاده می‌کند. یعنی اعتبارسنجی متقابل k-fold که k در آن برابر تعداد بیماران است؛ در ccRCC، به دلیل شمار زیاد بیماران، k/2 به کار می‌رود. فایل‌های CSV این تقسیم‌ها همراه بنچمارک منتشر شده است. Wang و همکاران «برش‌های مجاور بافت از یک بیمار» را در یک بخش (fold) نگه داشتند؛ مجموعه‌داده HER2 مثبتِ آن‌ها ۳۶ برش بافت از ۸ بیمار دارد، پس واحد مستقل بیمار است، نه برش.

ردپای مرکز و اسکنر

مشکل: مدل می‌آموزد که اسلاید کجا آماده یا اسکن شده است، و همین نشانه با برچسب همبستگی دارد. Howard و همکاران در داده‌های TCGA مربوط به بیش از ۳٬۰۰۰ بیمار با ۶ زیرگروه سرطان هر دو سوی این مشکل را نشان دادند. هدف‌هایی مانند بقا، الگوهای بیان ژن و جهش‌های محرک میان مراکز ارسال‌کننده نمونه تفاوت چشمگیری داشتند، و خود مرکز نیز از روی تصاویر قابل تشخیص بود. به نوشته آن‌ها، «تشخیص مرکز، با وجود روش‌های رایج نرمال‌سازی رنگ و افزایش داده، همچنان ممکن است». چنین ردپاهای ویژه هر مرکز «می‌توانند به برآوردهای بیش از حد خوش‌بینانه از عملکرد مدل بینجامند». راه‌حل پیشنهادی آن‌ها تضمین می‌کند که نمونه‌های آموزش و اعتبارسنجی یک مدل از یک مرکز نیایند.

مدل‌های پایه این مشکل را از میان برنمی‌دارند. Carloni و همکاران (کارگاه MedAGI 2025 در کنفرانس MICCAI) این مدل‌ها را روی داده‌ای چنداسکنری آزمودند و دریافتند که «همچنان از سوگیری اسکنر رنج می‌برند». پیش‌انتشاری از Filiot و همکاران نیز در مرداد ۱۴۰۵ بازنمایی‌هایی در سطح تایل را توصیف می‌کند که «به تغییرات اسکنر و رنگ‌آمیزی حساس می‌مانند».

آرتیفکت‌ها (artefact) هم نمونه‌ای از همین مشکل‌اند. Neidlinger و همکاران اشاره می‌کنند که «مدل‌هایی مانند UNI، Hibou، Virchow و Kaiko گاهی علامت‌های ماژیک روی لام را برجسته می‌کردند»؛ در آن پژوهش این علامت‌ها طبقه‌بندی را منحرف نکردند، چون «به‌طور یکسان میان کلاس‌های مختلف توزیع شده بودند». بررسی کنید که آرتیفکت‌ها، مراکز و اسکنرها با برچسب‌های شما همبستگی دارند یا نه.

نشت داده از پیش‌آموزش

مشکل: اسلایدهای آزمون، یا اسلایدهایی از همان مراکز، در داده پیش‌آموزش مدل پایه بوده‌اند. Neidlinger و همکاران خاطرنشان می‌کنند که «وقتی مدل‌های پایه روی تصاویری از همان مؤسساتی آزموده می‌شوند که داده آموزششان از آن‌ها آمده است، نگرانی درباره نشت داده پدید می‌آید». آن‌ها ارزیابی را روی کوهورت‌های اختصاصی‌ای انجام دادند که به گفته خودشان هرگز بخشی از آموزش هیچ مدل پایه‌ای نبوده‌اند، و نیز روی CPTAC، که هیچ‌یک از مدل‌های بررسی‌شده در آن بنچمارک روی آن آموزش ندیده بود.

همین بررسی را خودتان انجام دهید. کارت Phikon-v2 مجموعه‌های TCGA، CPTAC و GTEx را در شمار منابع پیش‌آموزش خود آورده است (Phikon-v2 در آن بنچمارک نبود) و کارت H0-mini اسلایدهای TCGA را. برای این دو مدل نمی‌توان فرض کرد که مجموعه آزمونی برگرفته از همین مجموعه‌ها برای مدل ناآشناست.

میانگین روی ژن‌های دست‌چین‌شده

مشکل: همبستگی‌ای که روی ژن‌های منتخب میانگین گرفته شده، با همبستگی روی همه ژن‌ها مقایسه می‌شود. Wang و همکاران روی مجموعه‌داده HER2 مثبتِ خود دریافتند که بیشتر روش‌ها روی ژن‌های پرتغییر (highly variable genes) یا ژن‌های دارای تغییرپذیری فضایی (spatially variable genes) همبستگی یا SSIM بالاتری به دست می‌آورند تا روی همه ژن‌ها. بنابراین امتیازی که روی ۵۰ ژن پرتغییرِ HEST-Benchmark گزارش شده، با میانگینی روی همه ژن‌ها قابل مقایسه نیست. گزارش کنید کدام ژن‌ها را سنجیده‌اید و آن‌ها را چگونه برگزیده‌اید.

پردازش تصاویر کامل اسلاید به چه منابعی نیاز دارد؟

Xu و همکاران خاطرنشان می‌کنند که «یک اسلاید گیگاپیکسلی استاندارد ممکن است از ده‌ها هزار تایل تصویری تشکیل شده باشد»، و هر تایلی که نگه می‌دارید باید از رمزگذار بگذرد. سه کمیت بودجه را تعیین می‌کنند:

• اندازه رمزگذار، از عوامل اصلی هزینه پردازش هر تایل.

• تعداد تایل‌ها، که به مساحت بافت و بزرگ‌نمایی‌ای که در آن تایل‌بندی می‌کنید بستگی دارد.

• اندازه بردار ویژگی، که حجم ذخیره‌سازی و ابعاد ورودی مدل پایین‌دستی را تعیین می‌کند.

اندازه‌های جدول زیر برای رمزگذارهای بالا از کارت مدل‌ها آمده است، مگر آنکه خلاف آن ذکر شده باشد. «حالت الحاقی» یعنی توکن کلاس به میانگین توکن‌های پچ الحاق شود؛ گزینه‌ای که کارت‌های H0-mini و Virchow2 نشان می‌دهند.

حجم ذخیره‌سازی را پیش از هر تصمیمی به‌سادگی می‌توان برآورد کرد: برای بردارهای float32، حجم تقریبی بر حسب بایت حاصل‌ضرب تعداد تایل‌ها در اندازه بردار ویژگی در ۴ است، یعنی bytes ≈ tiles × embedding dimension × 4.

در HEST-Benchmark رمزگذارهای بزرگ‌تر معمولاً امتیاز بالاتری می‌گیرند، اما با بازده نزولی: مقاله HEST گزارش می‌کند که اندازه مدل «همبستگی قوی با میانگین عملکرد دارد، اما بهبود با تعداد پارامترهای قابل‌آموزش به‌صورت لگاریتمی رشد می‌کند». تقطیر راه میانه است. پیش‌انتشار H0-mini، که سازندگان خود مدل نوشته‌اند، «عملکردی تقریباً هم‌تراز با مدل‌های پایه بزرگ، با هزینه استنتاج به‌مراتب کمتر» را گزارش می‌کند، و این مدل در جدول رده‌بندی HEST میانگین ۰٫۳۹۵۸ دارد، در برابر ۰٫۴۱۵۰ برای H-optimus-0 که مدل معلم آن است. هنگام مقایسه مدل‌هایی با اندازه بردار ویژگی متفاوت در نظر داشته باشید که HEST پیش از رگرسیون هر بردار را به ۲۵۶ مؤلفه اصلی کاهش می‌دهد، چون رگرسیون ridge «ممکن است مدل‌هایی را که بردار ویژگی بزرگ‌تری دارند ناعادلانه جریمه کند».

الگویی که بودجه را معقول نگه می‌دارد ساده است: بردارها را یک بار استخراج و ذخیره کنید و مدل‌های پایین‌دستی سبکِ متعددی روی همین بردارهای ذخیره‌شده آموزش دهید. برای اینکه تصوری از مقیاس داشته باشید، آزمایش‌های مقاله HEST روی تنها یک GPU مدل NVIDIA 3090 اجرا شده‌اند. بودجه تأخیر حساب جداگانه‌ای دارد: اگر هر اسلاید جدید باید در زمان استنتاج به بردار تبدیل شود، اندازه رمزگذار و تعداد تایل‌ها افزون بر هزینه، زمان انتظار را هم تعیین می‌کنند.

پیوند این نوشته با پایان‌نامه من

پایان‌نامه کارشناسی ارشد من در دانشگاه صنعتی اصفهان، با عنوان «تحلیل تصاویر پاتولوژی به منظور استخراج داده بیان ژن (زیست‌شناسی مولکولی) از آن‌ها»، در شهریور ۱۴۰۴ به پایان رسید. این پایان‌نامه به این پرسش می‌پرداخت که آیا می‌توان بیان ژن را از تصاویر دیجیتال پاتولوژی پیش‌بینی کرد. سنجش بیان ژن کند و پرهزینه است؛ تصویر کامل اسلاید سریع و کم‌هزینه به دست می‌آید، اما گیگاپیکسلی است. پایان‌نامه زیر محدودیتی سخت بر پردازش و تأخیر انجام شد و رویکردش شبکه‌های عصبی گرافی، مدل‌های پایه تصویر، تکنیک‌های اقتباس‌شده از مدل‌های زبانی بزرگ و مدل‌سازی آماری و احتمالاتی را با هم ترکیب می‌کرد. مقاله‌ای بر پایه آن در حال تدوین است.

همان محدودیت دلیل آن است که در این راهنما هزینه پردازش معیار انتخاب است، نه موضوعی فرعی. این نوشته نمی‌گوید پایان‌نامه از کدام مدل‌های پایه استفاده کرده و هیچ نتیجه‌ای از آن گزارش نمی‌کند: مقایسه‌های بالا نتایج منتشرشده گروه‌های پژوهشی دیگرند، نه اندازه‌گیری‌های من. مطالعه موردی تصویربرداری پزشکی پایان‌نامه را شرح می‌دهد و صفحه پژوهش آن را فهرست کرده است.

چک‌لیست انتخاب مدل پایه برای پژوهش هوش مصنوعی در پاتولوژی

• مجوز و دسترسی. کارت مدل کاربرد مورد نظر شما را مجاز می‌داند و حساب کاربری‌تان شرایط دسترسی را دارد.

• نوع وظیفه. برچسب اسلاید، نشانگر زیستی، پیش‌آگهی، بیان توده‌ای یا بیان فضایی.

• فهرست کوتاه. رمزگذارهایی که در بیش از یک ارزیابی، از جمله دست‌کم یک ارزیابی مستقل، خوب عمل کرده‌اند، نه فقط در مقاله خودشان.

• هم‌پوشانی با داده پیش‌آموزش. منابع پیش‌آموزشِ درج‌شده در هر کارت با کوهورت‌های آزمون شما مقایسه شده است.

• تقسیم داده. دست‌کم در سطح بیمار، در صورت امکان در سطح مرکز، و اگر میسر است با یک کوهورت خارجی.

• عوامل مخدوش‌کننده. همبستگی مرکز، اسکنر، رنگ‌آمیزی و آرتیفکت‌ها با برچسب بررسی شده است.

• معیار و مجموعه ژن‌ها. برای بیان ژن، هم معیار و هم ژن‌های سنجیده‌شده گزارش شده‌اند.

• پردازش. زمان استخراج روی سخت‌افزار خودتان اندازه‌گیری شده، بردارها ذخیره شده‌اند و یک مدل تقطیرشده هم آزموده شده است.

• ترکیب مدل‌ها در آخر. مدل‌ها تنها پس از آنکه هر یک به‌تنهایی سنجیده شد ترکیب می‌شوند.

اگر در حال طراحی یک سامانه بینایی ماشین هستید که باید زیر سقف سخت‌افزاری مشخصی کار کند، صفحه معماری و مشاوره فنی شیوه کار مرا توضیح می‌دهد.

پرسش‌های متداول

بهترین مدل پایه برای هوش مصنوعی در پاتولوژی کدام است؟

هیچ مدلی در همه وظیفه‌ها بهترین نیست. در بنچمارک مستقل Neidlinger و همکاران، که ۱۹ مدل را روی وظیفه‌های سطح اسلاید سنجید، CONCH نخست و Virchow2 با فاصله‌ای اندک دوم شد. PathBench (پیش‌انتشار) Virchow2 و H-optimus-1 را برتر می‌داند و جدول رده‌بندی HEST، به تاریخ ۲۶ شهریور ۱۴۰۵، H-optimus-1 را در پیش‌بینی بیان ژن در صدر نشان می‌دهد. فهرست کوتاه خود را از همین نتایج بسازید و سپس آن را روی وظیفه خودتان بیازمایید.

آیا می‌توان بیان ژن را از تصویر H&E پیش‌بینی کرد؟

تا حدی، و تنها برای برخی ژن‌ها و بافت‌ها. He و همکاران (ST-Net) بیش از ۱۰۰ ژن یافتند که بیانشان از تصاویر بافت‌شناسی سرطان پستان قابل پیش‌بینی بود، و HE2RNA پروفایل‌های RNA-Seq توده‌ای را از تصاویر کامل اسلاید پیش‌بینی کرد. در HEST-Benchmark، همبستگی بهترین رمزگذار از یک نوع سرطان به نوع دیگر تفاوت زیادی دارد. این سیگنالی پژوهشی است، نه جایگزین سنجش مولکولی در مراقبت از بیمار.

آیا استفاده تجاری از UNI، CONCH یا Virchow2 مجاز است؟

بر اساس شرایطی که به‌طور عمومی اعلام کرده‌اند، خیر. کارت‌های این مدل‌ها در Hugging Face مجوز CC-BY-NC-ND 4.0 را درج کرده‌اند، استفاده را به پژوهش دانشگاهی غیرتجاری محدود می‌کنند، استفاده تجاری بدون تأیید قبلی را ممنوع می‌دانند و از نهادهای تجاری می‌خواهند با نویسندگان تماس بگیرند. از دیگر مدل‌های این راهنما، H-optimus-0 و Prov-GigaPath مجوز Apache-2.0 دارند، اما کارت Prov-GigaPath هر گونه استقرار عملیاتی را خارج از دامنه کاربرد مدل می‌داند و کارت H-optimus-0 برای کاربرد در حوزه سلامت انطباق با مقررات و اعتبارسنجی مستقل را لازم می‌شمارد. شرایط تغییر می‌کند، پس نسخه فعلی کارت را بررسی کنید؛ این پاسخ مشاوره حقوقی نیست.

آیا این مدل‌ها می‌توانند جواب پاتولوژی را تفسیر کنند یا سرطان را تشخیص دهند؟

خیر. این‌ها مدل‌هایی پژوهشی‌اند که تایل‌های تصویر را، و در مورد CONCH متن را نیز، به بردار ویژگی تبدیل می‌کنند. شرایط Virchow2 استفاده از آن را برای تشخیص بیماری ممنوع می‌کند، کارت Prov-GigaPath می‌گوید مدل برای کاربرد بالینی در نظر گرفته نشده است، و کارت‌های H-optimus تصریح می‌کنند که هیچ نهاد نظارتی آن‌ها را بررسی یا تأیید نکرده است. برای هر پرسشی درباره جواب پاتولوژی خود، با پاتولوژیست یا پزشک معالجتان گفت‌وگو کنید.

منابع

• Neidlinger و همکاران (۲۰۲۶؛ انتشار آنلاین ۲۰۲۵)، Benchmarking foundation models as feature extractors for weakly supervised computational pathology، Nature Biomedical Engineering، جلد ۱۰، صفحات ۱۱۱۳–۱۱۲۳ (پیش‌انتشار arXiv)

• Chen و همکاران (۲۰۲۴)، Towards a general-purpose foundation model for computational pathology (UNI)، Nature Medicine

• Lu و همکاران (۲۰۲۴)، A visual-language foundation model for computational pathology (CONCH)، Nature Medicine

• Zimmermann و همکاران (۲۰۲۴)، Virchow2: Scaling Self-Supervised Mixed Magnification Models in Pathology، arXiv

• Xu و همکاران (۲۰۲۴)، A whole-slide foundation model for digital pathology from real-world data (Prov-GigaPath)، Nature

• Filiot و همکاران (۲۰۲۵)، Distilling foundation models for robust and efficient models in digital pathology (H0-mini)، پیش‌انتشار arXiv

• کارت‌های مدل در Hugging Face (تاریخ بازدید: ۲۶ شهریور ۱۴۰۵): UNI، UNI2-h، CONCH، Virchow2، H-optimus-0، H-optimus-1، H0-mini، Prov-GigaPath، Phikon-v2

• README مخزن Prov-GigaPath (تاریخ بازدید: ۲۶ شهریور ۱۴۰۵)

• Ma و همکاران (۲۰۲۵)، PathBench: A comprehensive comparison benchmark for pathology foundation models towards precision oncology، پیش‌انتشار arXiv

• Jaume و همکاران (۲۰۲۴)، HEST-1k: A Dataset for Spatial Transcriptomics and Histology Image Analysis، NeurIPS 2024 (Spotlight)

• مخزن HEST و جدول رده‌بندی HEST-Benchmark (تاریخ بازدید: ۲۶ شهریور ۱۴۰۵)

• He و همکاران (۲۰۲۰)، Integrating spatial gene expression and breast tumour morphology via deep learning (ST-Net)، Nature Biomedical Engineering

• Schmauch و همکاران (۲۰۲۰)، A deep learning model to predict RNA-Seq expression of tumours from whole slide images (HE2RNA)، Nature Communications

• Wang و همکاران (۲۰۲۵)، Benchmarking the translational potential of spatial gene expression prediction from histology، Nature Communications

• Howard و همکاران (۲۰۲۱)، The impact of site-specific digital histology signatures on deep learning model accuracy and bias، Nature Communications

• Carloni و همکاران (۲۰۲۵)، Pathology Foundation Models are Scanner Sensitive: Benchmark and Mitigation with Contrastive ScanGen Loss، کارگاه MedAGI 2025 در کنفرانس MICCAI

• Filiot و همکاران (۲۰۲۶)، Robustifying pathology foundation models via fine-tuning، پیش‌انتشار arXiv

• Ilse، Tomczak و Welling، Attention-based Deep Multiple Instance Learning، کنفرانس ICML 2018

• Lu و همکاران (۲۰۲۱)، Data-efficient and weakly supervised computational pathology on whole-slide images (CLAM)، Nature Biomedical Engineering

• Chen و همکاران، Whole Slide Images are 2D Point Clouds: Context-Aware Survival Prediction using Patch-based Graph Convolutional Networks (Patch-GCN)، کنفرانس MICCAI 2021

• تصویربرداری پزشکی — حذف نویز MRI و بیان ژن از پاتولوژی، مطالعه موردی در همین سایت