当前位置:
X-MOL 学术
›
Med. Image Anal.
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
A robust image segmentation and synthesis pipeline for histopathology
Medical Image Analysis ( IF 10.7 ) Pub Date : 2024-09-11 , DOI: 10.1016/j.media.2024.103344 Muhammad Jehanzaib 1 , Yasin Almalioglu 2 , Kutsev Bengisu Ozyoruk 3 , Drew F K Williamson 4 , Talha Abdullah 1 , Kayhan Basak 5 , Derya Demir 6 , G Evren Keles 7 , Kashif Zafar 8 , Mehmet Turan 9
Medical Image Analysis ( IF 10.7 ) Pub Date : 2024-09-11 , DOI: 10.1016/j.media.2024.103344 Muhammad Jehanzaib 1 , Yasin Almalioglu 2 , Kutsev Bengisu Ozyoruk 3 , Drew F K Williamson 4 , Talha Abdullah 1 , Kayhan Basak 5 , Derya Demir 6 , G Evren Keles 7 , Kashif Zafar 8 , Mehmet Turan 9
Affiliation
Significant diagnostic variability between and within observers persists in pathology, despite the fact that digital slide images provide the ability to measure and quantify features much more precisely compared to conventional methods. Automated and accurate segmentation of cancerous cell and tissue regions can streamline the diagnostic process, providing insights into the cancer progression, and helping experts decide on the most effective treatment. Here, we evaluate the performance of the proposed PathoSeg model, with an architecture comprising of a modified HRNet encoder and a UNet++ decoder integrated with a CBAM block to utilize attention mechanism for an improved segmentation capability. We demonstrate that PathoSeg outperforms the current state-of-the-art (SOTA) networks in both quantitative and qualitative assessment of instance and semantic segmentation. Notably, we leverage the use of synthetic data generated by PathopixGAN, which effectively addresses the data imbalance problem commonly encountered in histopathology datasets, further improving the performance of PathoSeg. It utilizes spatially adaptive normalization within a generative and discriminative mechanism to synthesize diverse histopathological environments dictated through semantic information passed through pixel-level annotated Ground Truth semantic masks.Besides, we contribute to the research community by providing an in-house dataset that includes semantically segmented masks for breast carcinoma tubules (BCT), micro/macrovesicular steatosis of the liver (MSL), and prostate carcinoma glands (PCG). In the first part of the dataset, we have a total of 14 whole slide images from 13 patients’ liver, with fat cell segmented masks, totaling 951 masks of size 512 × 512 pixels. In the second part, it includes 17 whole slide images from 13 patients with prostate carcinoma gland segmentation masks, amounting to 30,000 masks of size 512 × 512 pixels. In the third part, the dataset contains 51 whole slides from 36 patients, with breast carcinoma tubule masks totaling 30,000 masks of size 512 × 512 pixels. To ensure transparency and encourage further research, we will make this dataset publicly available for non-commercial and academic purposes. To facilitate reproducibility and encourage further research, we will also make our code and pre-trained models publicly available at https://github.com/DeepMIALab/PathoSeg .
中文翻译:
用于组织病理学的稳健图像分割和合成流程
尽管与传统方法相比,数字载玻片图像提供了更精确地测量和量化特征的能力,但在病理学中,观察者之间和观察者内部的显着诊断差异仍然存在。对癌细胞和组织区域进行自动和准确的分割可以简化诊断过程,提供对癌症进展的见解,并帮助专家决定最有效的治疗方法。在这里,我们评估了所提出的 PathoSeg 模型的性能,其架构由改进的 HRNet 编码器和与 CBAM 块集成的 UNet++ 解码器组成,以利用注意力机制来提高分割能力。我们证明 PathoSeg 在实例和语义分割的定量和定性评估方面都优于当前最先进的 (SOTA) 网络。值得注意的是,我们利用了 PathopixGAN 生成的合成数据,有效地解决了组织病理学数据集中常见的数据不平衡问题,进一步提高了 PathoSeg 的性能。它在生成和判别机制中利用空间自适应归一化来合成不同的组织病理学环境,这些环境是通过像素级注释的 Ground Truth 语义掩码传递的语义信息来决定的。此外,我们通过提供内部数据集为研究界做出贡献,其中包括乳腺癌小管 (BCT)、肝脏微/大泡脂肪变性 (MSL) 和前列腺癌腺体 (PCG) 的语义分割掩码。在数据集的第一部分,我们共有来自 13 名患者肝脏的 14 张全玻片图像,带有脂肪细胞分割面罩,总共 951 个尺寸为 512 × 512 像素的面罩。 在第二部分中,它包括来自 13 名前列腺癌分割面罩患者的 17 张全玻片图像,共计 30,000 个尺寸为 512 × 512 像素的面罩。在第三部分中,数据集包含来自 36 名患者的 51 张完整幻灯片,乳腺癌小管面罩共有 30,000 个尺寸为 512 × 512 像素的面罩。为了确保透明度并鼓励进一步研究,我们将公开此数据集,用于非商业和学术目的。为了促进可重复性并鼓励进一步研究,我们还将在 https://github.com/DeepMIALab/PathoSeg 上公开提供我们的代码和预训练模型。
更新日期:2024-09-11
中文翻译:
用于组织病理学的稳健图像分割和合成流程
尽管与传统方法相比,数字载玻片图像提供了更精确地测量和量化特征的能力,但在病理学中,观察者之间和观察者内部的显着诊断差异仍然存在。对癌细胞和组织区域进行自动和准确的分割可以简化诊断过程,提供对癌症进展的见解,并帮助专家决定最有效的治疗方法。在这里,我们评估了所提出的 PathoSeg 模型的性能,其架构由改进的 HRNet 编码器和与 CBAM 块集成的 UNet++ 解码器组成,以利用注意力机制来提高分割能力。我们证明 PathoSeg 在实例和语义分割的定量和定性评估方面都优于当前最先进的 (SOTA) 网络。值得注意的是,我们利用了 PathopixGAN 生成的合成数据,有效地解决了组织病理学数据集中常见的数据不平衡问题,进一步提高了 PathoSeg 的性能。它在生成和判别机制中利用空间自适应归一化来合成不同的组织病理学环境,这些环境是通过像素级注释的 Ground Truth 语义掩码传递的语义信息来决定的。此外,我们通过提供内部数据集为研究界做出贡献,其中包括乳腺癌小管 (BCT)、肝脏微/大泡脂肪变性 (MSL) 和前列腺癌腺体 (PCG) 的语义分割掩码。在数据集的第一部分,我们共有来自 13 名患者肝脏的 14 张全玻片图像,带有脂肪细胞分割面罩,总共 951 个尺寸为 512 × 512 像素的面罩。 在第二部分中,它包括来自 13 名前列腺癌分割面罩患者的 17 张全玻片图像,共计 30,000 个尺寸为 512 × 512 像素的面罩。在第三部分中,数据集包含来自 36 名患者的 51 张完整幻灯片,乳腺癌小管面罩共有 30,000 个尺寸为 512 × 512 像素的面罩。为了确保透明度并鼓励进一步研究,我们将公开此数据集,用于非商业和学术目的。为了促进可重复性并鼓励进一步研究,我们还将在 https://github.com/DeepMIALab/PathoSeg 上公开提供我们的代码和预训练模型。