Foundation-Modelle für die Pathologie auswählen: Stand 2026

Kein Pathologie-Foundation-Modell gewinnt überall: Benchmarks, Lizenzen, Aufgabentyp und Rechenbedarf für UNI, CONCH und Virchow2. Forschung, keine Diagnose.

Das eine beste Foundation-Modell für die Pathologie gibt es nicht. In einem unabhängigen Benchmark, veröffentlicht in Nature Biomedical Engineering, verglichen Neidlinger et al. 19 Foundation-Modelle bei Aufgaben auf Slide-Ebene: CONCH lag vorn, Virchow2 knapp dahinter. Bei der Vorhersage der Genexpression führt im Leaderboard des HEST-Benchmarks (Stand: 17. September 2026) H-optimus-1, während CONCH weiter unten steht. Wählen Sie in dieser Reihenfolge: was die Lizenz erlaubt, was die Aufgabe verlangt und was Ihr Rechenbudget bei Gigapixel-Slides bewältigt. Evaluieren Sie dann mit Splits auf Patientenebene und auf Kohorten, die das Modell im Pretraining nie gesehen hat.

Zu dieser Frage bin ich über meine Masterarbeit gekommen, in der es um die Vorhersage der Genexpression aus Pathologiebildern ging. Die Vergleiche hier sind veröffentlichte Ergebnisse anderer Gruppen, nicht meine Messungen.

Was ist ein Foundation-Modell für die Pathologie?

Ein Foundation-Modell für die Pathologie ist ein Bild-Encoder, der auf sehr großen Sammlungen histologischer Slides vortrainiert wurde und als universeller Feature-Extraktor für viele nachgelagerte Aufgaben wiederverwendet wird. In der digitalen Pathologie macht ein Scanner aus dem Glasobjektträger ein Whole-Slide-Image (WSI) im Gigapixel-Maßstab, deshalb hat die übliche Pipeline zwei Schritte. Das Foundation-Modell wandelt kleine Kacheln (Tiles) von Gewebe, das mit Hämatoxylin und Eosin (H&E) gefärbt ist, in Embedding-Vektoren um, und ein leichteres Modell lernt die eigentliche Aufgabe aus diesen Vektoren. Neidlinger et al. beschreiben genau das: Die Features werden mit jedem Foundation-Modell extrahiert, dann „wurden diese Vektoren verwendet, um einen Aggregator auf Slide-Ebene zu trainieren“.

Was der Encoder Ihnen bringt:

• Günstigere Labels. Kombiniert mit einem Kopf für Multiple Instance Learning (MIL) lassen eingefrorene Kachel-Features ein nachgelagertes Modell aus einem Label pro Slide oder pro Patient lernen, nicht aus handgezeichneten Umrissen von Gewebearealen. Für vortrainierte Pathologie-Features wird außerdem berichtet, dass sie mit weniger gelabelten Beispielen auskommen: Laut dem UNI-Paper ermöglicht UNI „dateneffiziente“ Modelle.

• Features, die Sie einmal berechnen. Embeddings lassen sich cachen und in vielen Experimenten wiederverwenden.

• Gemeinsame Baselines. Unabhängige Gruppen veröffentlichen Vergleiche derselben freigegebenen Encoder.

Was er Ihnen nicht bringt: eine Diagnose, denn dafür sind diese Modelle nicht gedacht. Ebenso wenig ein Modell, das auf Ihrer Kohorte validiert und robust gegenüber Ihrem Scanner und Ihrer Färbung ist. Validierung und Robustheit muss man sich erarbeiten; wie das geht, zeigt der Rest dieses Leitfadens.

Die Modelllandschaft 2026: UNI, CONCH, Virchow2 und weitere

Reine Bild-Encoder und Vision-Language-Encoder

Die meisten der folgenden Encoder sind reine Bildmodelle: Sie lernen ausschließlich aus Bildern.

• UNI (Mahmood Lab): ein Vision Transformer (ViT-L/16) mit 0,3 Mrd. Parametern. Das zugehörige Paper in Nature Medicine berichtet von einem Pretraining auf mehr als 100 Millionen Bildern aus mehr als 100.000 diagnostischen H&E-gefärbten Slides. UNI2-h, ein größeres Modell desselben Labs, ist ein ViT-H mit 681 Mio. Parametern.

• Virchow2 (Paige und Microsoft Research): laut Modellkarte ein ViT-H/14 mit 632 Millionen Parametern, trainiert auf 3,1 Millionen Whole-Slide-Images des Memorial Sloan Kettering Cancer Center. Das Virchow2-Paper beschreibt außerdem Virchow2G Mini, eine auf 22 Millionen Parameter destillierte Fassung des größeren Geschwistermodells Virchow2G.

• H-optimus-0 und H-optimus-1 (Bioptimus): Vision Transformer mit jeweils 1,1 Mrd. Parametern; laut der Karte von H-optimus-0 wurde dieses Modell auf mehr als 500.000 H&E-Slides trainiert. H0-mini (Owkin und Bioptimus) ist ein aus H-optimus-0 destillierter ViT-B/14, angegeben mit 85,7 Mio. Parametern.

• Prov-GigaPath: ein Kachel-Encoder, kombiniert mit einem Slide-Encoder. Xu et al. berichten in Nature, dass es auf 1,3 Milliarden Kacheln aus 171.189 Whole-Slide-Images von Providence vortrainiert wurde, einem US-amerikanischen Gesundheitsnetzwerk.

• Phikon-v2 (Owkin): ein ViT-L, vortrainiert auf öffentlichen Slide-Sammlungen; das ist für die Leakage-Prüfung weiter unten wichtig.

CONCH (Mahmood Lab) ist das Vision-Language-Modell in dieser Liste. Sein Bild-Encoder ist ein ViT-B/16 mit 90 Mio. Parametern, gekoppelt mit einem Text-Encoder, und laut seinem Paper in Nature Medicine wurde es auf mehr als 1,17 Millionen Paaren aus Bild und Bildunterschrift trainiert. Die Textseite ist das, was reinen Bild-Encodern fehlt: Die CONCH-Karte nennt Zero-Shot-Klassifikation und Bild-Text-Retrieval unter seinen Einsatzzwecken.

Zuerst entscheiden Lizenz und Zugangsbedingungen

Ein Modell, das Sie für Ihren Zweck nicht verwenden dürfen, kommt nicht in Frage, ganz gleich, wie es abschneidet. Die Tabelle fasst die Hugging-Face-Modellkarten mit Stand 17. September 2026 zusammen. „Gated“ bedeutet, dass Sie auf Hugging Face Zugang beantragen und die Bedingungen akzeptieren, bevor Sie herunterladen können.

Daraus folgen drei Punkte:

• Apache-2.0 ist keine Lizenz für den klinischen Einsatz. Laut der Karte von Prov-GigaPath ist das Modell „nicht für den klinischen Einsatz als Medizinprodukt, zur klinischen Unterstützung oder als Diagnosewerkzeug bestimmt oder bereitgestellt“. Die Karte von H-optimus-0 hält fest, dass es „von keiner Regulierungsbehörde geprüft, zertifiziert oder zugelassen wurde“.

• Die Bedingungen von Virchow2 sind am deutlichsten. Nutzer verpflichten sich, das Modell nicht zu verwenden, um „Krankheiten zu diagnostizieren, zu heilen, zu lindern, zu behandeln oder ihnen vorzubeugen“, auch nicht unter den Kennzeichnungen Research Use Only (RUO) oder Investigational Use Only (IUO). Das sind regulatorische Kategorien für Diagnostikprodukte, nicht für akademische Forschung.

• Die meisten Gated-Modelle prüfen, wer Sie sind. Die Karten von UNI, UNI2-h, CONCH, Virchow2, H-optimus-1 und H0-mini verlangen, dass die E-Mail-Adresse Ihres Hugging-Face-Kontos mit Ihrer institutionellen E-Mail-Adresse übereinstimmt, bevor der Zugang genehmigt wird.

Bedingungen ändern sich. Lesen Sie deshalb vor dem Download die aktuelle Karte und die Regeln Ihrer Einrichtung. Diese Tabelle dient der Orientierung und ist keine Rechtsberatung.

Benchmarks für Pathologie-Foundation-Modelle: was sie zeigen und wer sie durchgeführt hat

Das eigene Paper eines Modells evaluiert es auf Aufgaben, die seine Autoren ausgewählt haben. Neidlinger et al. benennen das Problem klar: Wenn Gruppen, die Pathologie-Foundation-Modelle veröffentlichen, diese „auf Aufgaben ihrer eigenen Wahl“ evaluieren, „besteht ein hohes Potenzial für Verzerrungen“. Beginnen Sie mit unabhängigen Benchmarks und prüfen Sie bei jeder Evaluation, wer sie durchgeführt hat.

Aufgaben auf Slide-Ebene: CONCH vorn, Virchow2 knapp dahinter

Neidlinger et al. verglichen 19 Foundation-Modelle für die Histopathologie in einem Benchmark mit schwach überwachten Aufgaben zu Biomarkern, Morphologie und Prognose. Ihre Daten stammten aus 13 Patientenkohorten mit 6.818 Patienten und 9.528 Slides von Lungenkrebs, kolorektalem Karzinom, Magen- und Brustkrebs. Die nachgelagerten Modelle wurden auf The Cancer Genome Atlas (TCGA) trainiert und auf externen Kohorten getestet. Dabei handelte es sich um die öffentliche CPTAC-Sammlung, auf der keines der verglichenen Modelle trainiert worden war, und um proprietäre Kohorten, die „nie Teil des Trainings eines Foundation-Modells waren“. Vorhergesagt wurde pro Patient.

Die Kernaussage des veröffentlichten Abstracts: CONCH „erzielte im Vergleich mit reinen Bild-Foundation-Modellen die insgesamt höchste Leistung, mit Virchow2 knapp dahinter auf Platz zwei“. Derselbe Satz enthält die Einschränkung, auf die es bei seltenen Zielgrößen ankommt: Der Vorsprung von CONCH „war in Szenarien mit wenig Daten und bei Aufgaben mit niedriger Prävalenz weniger ausgeprägt“. In den vollständigen Ergebnissen, gemittelt über 31 Aufgaben, teilten sich CONCH und Virchow2 den höchsten mittleren AUROC von 0,71 (Fläche unter der Receiver-Operating-Characteristic-Kurve); der Abstand hinter der Rangfolge in der Kernaussage ist also klein.

Die Rangfolge umfasst nur die getesteten Modelle. H-optimus-1 und UNI2-h waren nicht darunter.

Ensembles und Datenvielfalt

Laut dem veröffentlichten Benchmark übertraf ein Ensemble, das die Vorhersagen von CONCH und Virchow2 kombiniert, die einzelnen Modelle in 55 Prozent der Aufgaben. Die Autoren erklären das damit, dass Foundation-Modelle, die „auf unterschiedlichen Kohorten trainiert wurden, komplementäre Features lernen, um dasselbe Label vorherzusagen“.

Die Ergebnisse des Benchmarks „legen außerdem nahe, dass bei Foundation-Modellen Datenvielfalt schwerer wiegt als Datenmenge“, und die Autoren schreiben: „Größer ist nicht immer besser.“ Das Virchow2-Paper, verfasst von den Entwicklern des Modells, schränkt das ein. Vielfältige Daten und domänenspezifische Methoden „können Modelle übertreffen, die nur die Zahl der Parameter skalieren“. Doch „im Durchschnitt profitiert die Leistung von der Kombination aus domänenspezifischen Methoden, Datenumfang und Modellgröße“. So oder so verraten Ihnen die Parameter- und Slide-Zahlen auf einer Modellkarte nicht, wie ein Modell bei Ihrer Aufgabe abschneiden wird.

UNI vs. CONCH vs. Virchow2: warum sich Leaderboards widersprechen

Andere Evaluationen ergeben andere Reihenfolgen:

• PathBench, ein Preprint, hat 15.888 Slides von 8.549 Patienten aus 10 Krankenhäusern zusammengetragen und jede Verwendung im Pretraining strikt ausgeschlossen. Von den 19 evaluierten Pathologie-Foundation-Modellen bezeichnet es Virchow2 und H-optimus-1 als „insgesamt die effektivsten Modelle“.

• Das Leaderboard des HEST-Benchmarks im HEST-Repository ordnet Encoder bei der Vorhersage der Genexpression nach mittlerer Pearson-Korrelation. Gepflegt wird es vom Mahmood Lab, das auch UNI und CONCH entwickelt. Im HEST-Leaderboard (Stand: 17. September 2026) führt H-optimus-1 mit 0,4229; Virchow2 erreicht 0,4034, CONCH v1 0,3696 und eine ResNet50-Baseline mit ImageNet-Gewichten 0,3252. Das Leaderboard enthält auch neuere Einträge, die dieser Leitfaden nicht vorstellt, etwa GenBio-PathFM knapp hinter H-optimus-1 sowie CONCH v1.5; lesen Sie deren Karten, bevor Sie sie in die engere Wahl nehmen.

Diese Studien testen unterschiedliche Modelle, Aufgaben und Kohorten und beantworten deshalb unterschiedliche Fragen. UNI vs. CONCH zeigt das: Bei den Aufgaben auf Slide-Ebene von Neidlinger et al. lag CONCH insgesamt vor UNI, während UNI im HEST-Leaderboard zur Expression im Mittel vor CONCH v1 liegt. Das nützliche Ergebnis ist kein Sieger, sondern eine engere Auswahl von zwei oder drei Encodern, die in mehreren Evaluationen gut abschneiden, darunter mindestens einer unabhängigen, und die Sie dann an Ihrer eigenen Aufgabe testen.

Das Modell passend zur Aufgabe wählen

Slide-Klassifikation und Biomarker

Vorhersagen auf Slide-Ebene sind meist schwach überwacht: ein Label pro Slide oder Patient, etwa ein Biomarkerstatus oder ein prognostischer Endpunkt. Genau dieses Setting haben Neidlinger et al. gemessen, deshalb ist ihr Benchmark unter den hier zitierten Quellen die begutachtete Evidenz mit dem direktesten Bezug. PathBench, ein Preprint, evaluiert ebenfalls Diagnose- und Prognoseaufgaben auf Whole-Slide-Images und setzt Virchow2 und H-optimus-1 an die Spitze.

Zwei Befunde zählen, wenn gelabelte Daten knapp sind. Der Vorsprung von CONCH schrumpfte bei wenig Daten und niedriger Prävalenz. Und als Neidlinger et al. nachgelagerte Modelle auf 300, 150 und 75 Patienten trainierten, galt: „Alle Modelle zeigen ähnliche Leistungseinbußen bei kleineren Trainingsmengen.“ Bei einem seltenen Biomarker planen Sie zuerst die Kohorte und erst danach den Encoder.

Genexpression aus H&E-Bildern: Bulk und räumlich

Genexpression beschreibt, wie aktiv jedes Gen in einer Gewebeprobe ist, gemessen mit RNA-Assays wie der RNA-Sequenzierung (RNA-Seq). Die Frage dieser Forschungsrichtung lautet, wie viel von diesem molekularen Signal sich aus der Gewebemorphologie in einem H&E-Bild ablesen lässt.

Bulk-Expression bedeutet ein Expressionsprofil pro Probe. Schmauch et al. berichten, dass HE2RNA „so trainiert werden kann, dass es RNA-Seq-Profile systematisch allein aus Whole-Slide-Images vorhersagt, ohne Annotation durch Fachleute“.

Räumliche Expression bedeutet, die Expression an Orten innerhalb des Gewebes vorherzusagen, gelernt aus Spatial Transcriptomics (räumlicher Transkriptomik). He et al. (ST-Net) nutzten 30.612 räumlich aufgelöste Genexpressionsmessungen, abgeglichen mit der Histologie von 23 Patienten mit Brustkrebs, und identifizierten mehr als 100 Gene, deren Expression sich mit einer Auflösung von 100 µm vorhersagen ließ.

HEST-1k, ein Datensatz, dessen Paper auf der NeurIPS 2024 als Spotlight vorgestellt wurde, umfasst 1.229 räumliche Transkriptomprofile, jeweils verknüpft mit einem Whole-Slide-Image. Der zugehörige HEST-Benchmark definiert neun Aufgaben: die Expression der 50 Gene mit der höchsten normalisierten Varianz aus H&E-Regionen von 112 × 112 µm vorherzusagen, bewertet mit der Pearson-Korrelation.

Nehmen Sie die Streuung zwischen Geweben ernst. Im HEST-Leaderboard erreicht H-optimus-1 beim kutanen Melanom (SKCM) 0,6589, beim Adenokarzinom des Rektums (READ) aber 0,2421. Die HEST-Autoren halten fest, dass die Leistung „bei einigen Aufgaben (z. B. READ und ccRCC) niedrig bleibt“; ccRCC ist das klarzellige Nierenzellkarzinom. Wang et al. verglichen in Nature Communications elf Methoden zur Vorhersage räumlicher Expression. Über alle Gene bewertet, waren Pearson-Korrelation (PCC) und strukturelle Ähnlichkeit (SSIM) auf zwei ihrer Datensätze zur räumlichen Transkriptomik „über alle Methoden hinweg niedrig“. Bei ausgewählten Genen lagen die Scores höher; die Evaluationsfallen weiter unten greifen das wieder auf. Vorhergesagte Expression ist ein Forschungssignal, kein Ersatz für einen Assay, und wie aussagekräftig sie ist, hängt vom Gewebe ab.

Von Kacheln zu Slides: MIL und Graphen über dem Gewebe

Aufmerksamkeitsbasiertes Multiple Instance Learning

MIL behandelt einen Slide als Beutel (Bag) von Kacheln mit einem einzigen Label. Ilse, Tomczak und Welling (ICML 2018) schlugen aufmerksamkeitsbasiertes MIL (ABMIL) vor, einen „permutationsinvarianten Aggregationsoperator“, dessen Attention-Gewichte den Beitrag jeder Kachel zeigen. CLAM (Lu et al., 2021) nutzt aufmerksamkeitsbasiertes Lernen und „benötigt nur Labels auf Slide-Ebene“.

Für den Vergleich von Encodern spielte der Aggregator im Benchmark von Neidlinger et al. kaum eine Rolle: ABMIL lag mit einer „durchschnittlichen AUROC-Differenz von 0,01“ hinter einem Transformer-Aggregator, „wobei die Gesamtrangfolge der Modelle weitgehend unverändert blieb“. Ein einfacher ABMIL-Kopf ist ein vernünftiger, günstiger Test für eine engere Auswahl.

Graphen über dem Gewebe

Permutationsinvariantes Pooling nutzt für sich genommen nicht, wo die Kacheln relativ zueinander liegen. Graphmethoden holen diese räumliche Information zurück ins Modell. Patch-GCN (Chen et al., MICCAI 2021), aus einem Paper mit dem Titel „Whole Slide Images are 2D Point Clouds“, ist ein Graph Convolutional Network, das „Histologie-Features auf Instanzebene hierarchisch aggregiert, um lokale und globale topologische Strukturen zu modellieren“. Dafür zahlt man mit mehr Designentscheidungen, etwa wie der Graph aufgebaut und gepoolt wird, und jede davon muss mit denselben Splits validiert werden wie alles andere.

Slide-Encoder oder Kachel-Embeddings

Manche Foundation-Modelle ergänzen einen Slide-Encoder; Prov-GigaPath ist eines davon. Neidlinger et al. bezogen vier Slide-Encoder ein und stellten fest, dass sie „in MIL-Setups keinen Vorteil gegenüber Kachel-Encodern zeigten, außer in Szenarien mit wenig Daten“. Probieren Sie einen Slide-Encoder aus, wenn Ihre gelabelten Kohorten klein sind.

Evaluationsfallen, die Ergebnisse zu gut aussehen lassen

Jede dieser Fallen lässt ein Ergebnis besser aussehen, als es bei neuen Patienten sein wird, und jede ist in veröffentlichten Arbeiten dokumentiert. Dieselbe Gewohnheit, erst zu messen und dann zu vertrauen, gilt auch für Systeme mit Sprachmodellen; siehe Guardrails gegen RAG-Halluzinationen.

Nach Patienten aufteilen, nicht nach Kacheln oder Spots

Der Fehler: Kacheln, Spots oder benachbarte Schnitte desselben Patienten landen sowohl im Trainings- als auch im Testset, sodass der Score zum Teil misst, wie gut sich das Modell an das Gewebe dieses Patienten erinnert.

Der HEST-Benchmark verwendet nach Patienten stratifizierte Splits, „um Datenlecks auf Patientenebene zwischen Training und Test zu vermeiden“. Das bedeutet k-fache Kreuzvalidierung, bei der k die Anzahl der Patienten ist, beziehungsweise k/2 bei ccRCC wegen der großen Zahl an Patienten. Die Splits werden als CSV-Dateien mitgeliefert. Wang et al. hielten „benachbarte Gewebeschnitte desselben Patienten“ im selben Fold; ihr HER2+-Datensatz umfasst 36 Gewebeschnitte von 8 Patienten, die unabhängige Einheit ist also der Patient, nicht der Schnitt.

Signaturen von Zentrum und Scanner

Der Fehler: Das Modell lernt, wo ein Slide präpariert oder gescannt wurde, und das korreliert mit dem Label. In TCGA-Daten von mehr als 3.000 Patienten mit sechs Krebssubtypen fanden Howard et al. beide Teile dieses Fehlers. Zielgrößen wie Überleben, Genexpressionsmuster und Treibermutationen unterschieden sich deutlich zwischen den einsendenden Zentren, und das Zentrum selbst ließ sich an den Bildern erkennen. In ihren Worten: „Die Erkennung des Zentrums bleibt trotz gängiger Methoden zur Farbnormalisierung und Augmentierung möglich.“ Solche Signaturen „können zu überoptimistischen Schätzungen der Modellleistung führen“. Ihre Abhilfe sorgt dafür, dass die Trainings- und Validierungsdaten eines Modells aus unterschiedlichen Zentren stammen.

Foundation-Modelle beseitigen das nicht. Carloni et al. (MedAGI-2025-Workshop auf der MICCAI) testeten sie auf einem Multi-Scanner-Datensatz und stellten fest, dass sie „weiterhin unter Scanner-Bias leiden“. Ein Preprint von Filiot et al. vom Juli 2026 beschreibt Kachelrepräsentationen, die „empfindlich gegenüber Scanner- und Färbungsvariabilität bleiben“.

Artefakte sind ein verwandter Fall. Neidlinger et al. merken an, dass „Modelle wie UNI, Hibou, Virchow und Kaiko gelegentlich Stiftmarkierungen hervorhoben“; dort verzerrten die Stiftmarkierungen die Klassifikation nicht, weil sie „gleichmäßig über die verschiedenen Klassen verteilt waren“. Prüfen Sie, ob Artefakte, Zentren und Scanner mit Ihren Labels korrelieren.

Leakage aus dem Pretraining

Der Fehler: Test-Slides oder Slides aus denselben Einrichtungen waren im Pretraining des Foundation-Modells enthalten. Neidlinger et al. halten fest, dass „Bedenken wegen Datenlecks aufkommen, wenn Foundation-Modelle auf Bildern aus denselben Einrichtungen getestet werden, in denen sie trainiert wurden“. Sie testeten auf proprietären Kohorten, die ihrer Beschreibung nach nie Teil des Trainings eines Foundation-Modells waren, sowie auf CPTAC, auf dem keines der von ihnen verglichenen Modelle trainiert worden war.

Machen Sie dieselbe Prüfung. Die Karte von Phikon-v2 nennt TCGA, CPTAC und GTEx als Pretraining-Quellen (Phikon-v2 war nicht Teil dieses Benchmarks), und die Karte von H0-mini nennt TCGA-Slides. Bei diesen Modellen können Sie nicht davon ausgehen, dass ein Testset aus diesen Sammlungen ungesehen ist.

Mittelwerte über ausgewählte Gene

Der Fehler: Eine über ausgewählte Gene gemittelte Korrelation wird mit einer über alle Gene gemittelten verglichen. In ihrem HER2+-Datensatz stellten Wang et al. fest, dass die meisten Methoden bei hochvariablen oder räumlich variablen Genen höhere Werte (bei Korrelation oder SSIM) erreichten als bei allen Genen. Scores für die 50 Gene mit der höchsten Varianz im HEST-Benchmark sind daher nicht mit einem Mittelwert über alle Gene vergleichbar. Geben Sie an, welche Gene Sie bewertet und wie Sie sie ausgewählt haben.

Wie viel Rechenleistung brauchen Whole-Slide-Images?

Xu et al. merken an, dass „ein üblicher Gigapixel-Slide Zehntausende Bildkacheln umfassen kann“, und jede Kachel, die Sie behalten, läuft durch den Encoder. Drei Größen bestimmen das Budget:

• Encodergröße, ein Haupttreiber der Kosten pro Kachel.

• Anzahl der Kacheln, bestimmt durch die Gewebefläche und die Vergrößerung, bei der Sie kacheln.

• Embedding-Größe, die den Speicherbedarf und die Eingabebreite des nachgelagerten Modells festlegt.

Für die oben genannten Encoder stammen die folgenden Größen aus ihren Modellkarten, sofern nicht anders angegeben. „Verkettet“ bedeutet: das Klassen-Token, verbunden mit dem Mittelwert der Patch-Tokens, eine Option, die die Karten von H0-mini und Virchow2 zeigen.

Den Speicherbedarf können Sie leicht abschätzen, bevor Sie sich festlegen: Für float32-Embeddings gilt bytes ≈ tiles × embedding dimension × 4.

Im HEST-Benchmark schneiden größere Encoder tendenziell besser ab, allerdings mit abnehmendem Zusatznutzen: Das HEST-Paper berichtet, dass die Modellgröße „stark mit der durchschnittlichen Leistung korreliert, die Zugewinne aber logarithmisch mit der Zahl der trainierbaren Parameter wachsen“. Destillation ist der Mittelweg. Das eigene Preprint zu H0-mini berichtet von einer „nahezu vergleichbaren Leistung wie große FMs bei deutlich reduzierten Inferenzkosten“, und im HEST-Leaderboard erreicht H0-mini im Mittel 0,3958 gegenüber 0,4150 für H-optimus-0, sein Lehrermodell. Wenn Sie über Embedding-Größen hinweg vergleichen, beachten Sie, dass HEST jedes Embedding zuerst auf 256 Hauptkomponenten reduziert, weil eine Ridge-Regression „Modelle mit größeren Embedding-Dimensionen unfair benachteiligen könnte“.

Das Muster, das Budgets im Rahmen hält: Embeddings einmal extrahieren, cachen und viele leichte Köpfe auf dem Cache trainieren. Zur Einordnung der Größenordnung: Die Experimente des HEST-Papers „wurden auf einer einzelnen NVIDIA-3090-GPU ausgeführt“. Latenz ist ein eigenes Budget: Muss jeder neue Slide zur Inferenzzeit eingebettet werden, bestimmen Encodergröße und Kachelanzahl die Wartezeit, nicht nur die Rechnung.

Wo sich meine Masterarbeit einordnet

Meine Masterarbeit an der Isfahan University of Technology, abgeschlossen im September 2025, untersuchte, ob sich Genexpression aus digitalen Pathologiebildern vorhersagen lässt. Genexpressions-Assays sind langsam und teuer; Whole-Slide-Images sind schnell und günstig zu gewinnen, haben aber Gigapixel-Größe. Die Arbeit stand unter einer harten Vorgabe für Rechenaufwand und Latenz, und ihr Ansatz kombinierte Graph Neural Networks, Vision-Foundation-Modelle, adaptierte Techniken großer Sprachmodelle sowie statistische und probabilistische Modellierung. Ein darauf basierendes Paper ist in Vorbereitung.

Diese Vorgabe ist der Grund, warum der Rechenaufwand hier ein Auswahlkriterium ist und keine Nebensache. Dieser Leitfaden sagt nicht, welche Foundation-Modelle die Masterarbeit verwendet hat, und berichtet keine Ergebnisse daraus: Die Vergleiche oben sind veröffentlichte Ergebnisse anderer Forschungsgruppen, nicht meine Messungen. Die Fallstudie zur medizinischen Bildgebung beschreibt die Masterarbeit, und die Forschungsseite führt sie auf.

Checkliste: ein Foundation-Modell für die Pathologie auswählen

• Lizenz und Zugang. Die Modellkarte erlaubt Ihren Einsatzzweck, und Ihr Konto erfüllt die Zugangsbedingungen.

• Aufgabentyp. Slide-Label, Biomarker, Prognose, Bulk-Expression oder räumliche Expression.

• Engere Auswahl. Encoder, die in mehr als einer Evaluation gut abschneiden, darunter einer unabhängigen, nicht nur in ihren eigenen Papers.

• Überschneidung mit dem Pretraining. Die Pretraining-Quellen jeder Karte sind mit Ihren Testkohorten abgeglichen.

• Splits. Mindestens auf Patientenebene, wo möglich auf Ebene der Zentren, dazu eine externe Kohorte, wenn Sie eine bekommen.

• Störfaktoren. Zentrum, Scanner, Färbung und Artefakte sind auf Korrelation mit dem Label geprüft.

• Metrik und Genauswahl. Bei Expression sind sowohl die Metrik als auch die bewerteten Gene angegeben.

• Rechenaufwand. Extraktionszeit auf Ihrer Hardware gemessen, Embeddings gecacht, ein destilliertes Modell ausprobiert.

• Ensembles zuletzt. Modelle erst kombiniert, nachdem jedes für sich gemessen wurde.

Wenn Sie ein Computer-Vision-System planen, das eine feste Hardware-Obergrenze einhalten muss, beschreibt die Seite Beratung, wie ich arbeite.

Häufige Fragen

Welches Foundation-Modell für die Pathologie ist das beste?

Keines ist über alle Aufgaben hinweg das beste. Im unabhängigen Benchmark von Neidlinger et al., der 19 Modelle bei Aufgaben auf Slide-Ebene verglich, lag CONCH auf Platz eins und Virchow2 knapp auf Platz zwei; PathBench, ein Preprint, sieht Virchow2 und H-optimus-1 vorn; und das HEST-Leaderboard (Stand: 17. September 2026) setzt H-optimus-1 bei der Genexpression auf Platz eins. Stellen Sie daraus eine engere Auswahl zusammen und testen Sie diese dann an Ihrer eigenen Aufgabe.

Lässt sich Genexpression aus einem H&E-Schnitt vorhersagen?

Teilweise, für manche Gene und Gewebe. He et al. (ST-Net) fanden mehr als 100 Gene, deren Expression sich aus der Histologie von Brustkrebs vorhersagen ließ, und HE2RNA sagte Bulk-RNA-Seq-Profile aus Whole-Slide-Images vorher. Im HEST-Benchmark schwankt die Korrelation des besten Encoders je nach Krebsart stark. Es ist ein Forschungssignal, kein Ersatz für einen molekularen Assay in der Patientenversorgung.

Darf ich UNI, CONCH oder Virchow2 in einem kommerziellen Produkt einsetzen?

Nicht unter ihren öffentlichen Bedingungen. Ihre Hugging-Face-Karten nennen CC-BY-NC-ND 4.0, beschränken die Nutzung auf nichtkommerzielle akademische Forschung, untersagen kommerzielle Nutzung ohne vorherige Genehmigung und bitten kommerzielle Unternehmen, sich an die Autoren zu wenden. Von den übrigen hier behandelten Modellen stehen H-optimus-0 und Prov-GigaPath unter Apache-2.0, doch die Karte von Prov-GigaPath schließt jeden produktiven Einsatz aus ihrem Anwendungsbereich aus, und die Karte von H-optimus-0 verlangt für den Einsatz im Gesundheitswesen die Einhaltung regulatorischer Vorgaben und eine unabhängige Validierung. Bedingungen ändern sich, prüfen Sie also die aktuelle Karte; dies ist keine Rechtsberatung.

Können diese Modelle einen Pathologiebefund lesen oder Krebs diagnostizieren?

Nein. Es sind Forschungsmodelle, die Bildkacheln und im Fall von CONCH auch Text in Feature-Vektoren umwandeln. Die Bedingungen von Virchow2 verbieten, es zur Diagnose von Krankheiten zu verwenden, die Karte von Prov-GigaPath sagt, dass es nicht für den klinischen Einsatz bestimmt ist, und die H-optimus-Karten stellen fest, dass keine Regulierungsbehörde sie geprüft oder zugelassen hat. Mit Fragen zu einem Pathologiebefund wenden Sie sich an Ihre Pathologin oder Ihren Pathologen oder an Ihre Ärztin oder Ihren Arzt.

Quellen

• Neidlinger et al., Benchmarking foundation models as feature extractors for weakly supervised computational pathology, Nature Biomedical Engineering 10, 1113–1123 (2026; online 2025) (arXiv-Preprint)

• Chen et al., Towards a general-purpose foundation model for computational pathology (UNI), Nature Medicine, 2024

• Lu et al., A visual-language foundation model for computational pathology (CONCH), Nature Medicine, 2024

• Zimmermann et al., Virchow2: Scaling Self-Supervised Mixed Magnification Models in Pathology, arXiv, 2024

• Xu et al., A whole-slide foundation model for digital pathology from real-world data (Prov-GigaPath), Nature, 2024

• Filiot et al., Distilling foundation models for robust and efficient models in digital pathology (H0-mini), arXiv-Preprint, 2025

• Hugging-Face-Modellkarten, abgerufen am 17. September 2026: UNI, UNI2-h, CONCH, Virchow2, H-optimus-0, H-optimus-1, H0-mini, Prov-GigaPath, Phikon-v2

• README des Prov-GigaPath-Repositorys, abgerufen am 17. September 2026

• Ma et al., PathBench: A comprehensive comparison benchmark for pathology foundation models towards precision oncology, arXiv-Preprint, 2025

• Jaume et al., HEST-1k: A Dataset for Spatial Transcriptomics and Histology Image Analysis, NeurIPS 2024 (Spotlight)

• HEST-Repository und Leaderboard des HEST-Benchmarks, abgerufen am 17. September 2026

• He et al., Integrating spatial gene expression and breast tumour morphology via deep learning (ST-Net), Nature Biomedical Engineering, 2020

• Schmauch et al., A deep learning model to predict RNA-Seq expression of tumours from whole slide images (HE2RNA), Nature Communications, 2020

• Wang et al., Benchmarking the translational potential of spatial gene expression prediction from histology, Nature Communications, 2025

• Howard et al., The impact of site-specific digital histology signatures on deep learning model accuracy and bias, Nature Communications, 2021

• Carloni et al., Pathology Foundation Models are Scanner Sensitive: Benchmark and Mitigation with Contrastive ScanGen Loss, MedAGI-2025-Workshop auf der MICCAI

• Filiot et al., Robustifying pathology foundation models via fine-tuning, arXiv-Preprint, 2026

• Ilse, Tomczak und Welling, Attention-based Deep Multiple Instance Learning, ICML 2018

• Lu et al., Data-efficient and weakly supervised computational pathology on whole-slide images (CLAM), Nature Biomedical Engineering, 2021

• Chen et al., Whole Slide Images are 2D Point Clouds: Context-Aware Survival Prediction using Patch-based Graph Convolutional Networks (Patch-GCN), MICCAI 2021

• Medizinische Bildgebung – MRT-Entrauschung und Genexpression aus Pathologiebildern, Fallstudie auf dieser Website