当前位置:
X-MOL 学术
›
ISPRS J. Photogramm. Remote Sens.
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
B3-CDG: A pseudo-sample diffusion generator for bi-temporal building binary change detection
ISPRS Journal of Photogrammetry and Remote Sensing ( IF 10.6 ) Pub Date : 2024-11-14 , DOI: 10.1016/j.isprsjprs.2024.10.021 Peng Chen, Peixian Li, Bing Wang, Sihai Zhao, Yongliang Zhang, Tao Zhang, Xingcheng Ding
ISPRS Journal of Photogrammetry and Remote Sensing ( IF 10.6 ) Pub Date : 2024-11-14 , DOI: 10.1016/j.isprsjprs.2024.10.021 Peng Chen, Peixian Li, Bing Wang, Sihai Zhao, Yongliang Zhang, Tao Zhang, Xingcheng Ding
Building change detection (CD) plays a crucial role in urban planning, land resource management, and disaster monitoring. Currently, deep learning has become a key approach in building CD, but challenges persist. Obtaining large-scale, accurately registered bi-temporal images is difficult, and annotation is time-consuming. Therefore, we propose B3 -CDG, a bi-temporal building binary CD pseudo-sample generator based on the principle of latent diffusion. This generator treats building change processes as local semantic states transformations. It utilizes textual instructions and mask prompts to generate specific class changes in designated regions of single-temporal images, creating different temporal images with clear semantic transitions. B3 -CDG is driven by large-scale pretrained models and utilizes external adapters to guide the model in learning remote sensing image distributions. To generate seamless building boundaries, B3 -CDG adopts a simple and effective approach—dilation masks—to compel the model to learn boundary details. In addition, B3 -CDG incorporates diffusion guidance and data augmentation to enhance image realism. In the generation experiments, B3 -CDG achieved the best performance with the lowest FID (26.40) and the highest IS (4.60) compared to previous baseline methods (such as Inpaint and IAug). This method effectively addresses challenges such as boundary continuity, shadow generation, and vegetation occlusion while ensuring that the generated building roof structures and colors are realistic and diverse. In the application experiments, B3 -CDG improved the IOU of the validation model (SFFNet) by 6.34 % and 7.10 % on the LEVIR and WHUCD datasets, respectively. When the real data is extremely limited (using only 5 % of the original data), the improvement further reaches 33.68 % and 32.40 %. Moreover, B3 -CDG can enhance the baseline performance of advanced CD models, such as SNUNet and ChangeFormer. Ablation studies further confirm the effectiveness of the B3 -CDG design. This study introduces a novel research paradigm for building CD, potentially advancing the field. Source code and datasets will be available at https://github.com/ABCnutter/B3-CDG .
中文翻译:
B3-CDG: 用于双时相建筑二进制变化检测的伪样本扩散发生器
建筑物变化检测 (CD) 在城市规划、土地资源管理和灾害监测中起着至关重要的作用。目前,深度学习已成为构建 CD 的关键方法,但挑战仍然存在。获得大规模、准确配准的双时相图像很困难,而且注释也很耗时。因此,我们提出了B3-CDG,一种基于潜在扩散原理的双时相建筑二进制CD伪样本生成器。此生成器将构建更改过程视为局部语义状态转换。它利用文本指令和掩码提示在单时态图像的指定区域生成特定的类变化,创建具有清晰语义转换的不同时态图像。B3-CDG 由大规模预训练模型驱动,并利用外部适配器来指导模型学习遥感图像分布。为了生成无缝的建筑边界,B3-CDG 采用了一种简单有效的方法——膨胀掩码——来迫使模型学习边界细节。此外,B3-CDG 还结合了扩散引导和数据增强功能,以增强图像真实感。在生成实验中,与以前的基线方法(如 Inpaint 和 IAug)相比,B3-CDG 以最低的 FID (26.40) 和最高的 IS (4.60) 实现了最佳性能。这种方法有效地解决了边界连续性、阴影生成和植被遮挡等挑战,同时确保生成的建筑物屋顶结构和颜色真实且多样化。在应用实验中,B3-CDG 在 LEVIR 和 WHUCD 数据集上将验证模型 (SFFNet) 的 IOU 分别提高了 6.34% 和 7.10%。 当真实数据极其有限(仅使用原始数据的 5%)时,改进进一步达到 33.68% 和 32.40%。此外,B3-CDG 可以提高高级 CD 模型(如 SNUNet 和 ChangeFormer)的基线性能。消融研究进一步证实了 B3-CDG 设计的有效性。本研究引入了一种构建 CD 的新研究范式,有可能推动该领域的发展。源代码和数据集将在 https://github.com/ABCnutter/B3-CDG 上提供。
更新日期:2024-11-14
中文翻译:
B3-CDG: 用于双时相建筑二进制变化检测的伪样本扩散发生器
建筑物变化检测 (CD) 在城市规划、土地资源管理和灾害监测中起着至关重要的作用。目前,深度学习已成为构建 CD 的关键方法,但挑战仍然存在。获得大规模、准确配准的双时相图像很困难,而且注释也很耗时。因此,我们提出了B3-CDG,一种基于潜在扩散原理的双时相建筑二进制CD伪样本生成器。此生成器将构建更改过程视为局部语义状态转换。它利用文本指令和掩码提示在单时态图像的指定区域生成特定的类变化,创建具有清晰语义转换的不同时态图像。B3-CDG 由大规模预训练模型驱动,并利用外部适配器来指导模型学习遥感图像分布。为了生成无缝的建筑边界,B3-CDG 采用了一种简单有效的方法——膨胀掩码——来迫使模型学习边界细节。此外,B3-CDG 还结合了扩散引导和数据增强功能,以增强图像真实感。在生成实验中,与以前的基线方法(如 Inpaint 和 IAug)相比,B3-CDG 以最低的 FID (26.40) 和最高的 IS (4.60) 实现了最佳性能。这种方法有效地解决了边界连续性、阴影生成和植被遮挡等挑战,同时确保生成的建筑物屋顶结构和颜色真实且多样化。在应用实验中,B3-CDG 在 LEVIR 和 WHUCD 数据集上将验证模型 (SFFNet) 的 IOU 分别提高了 6.34% 和 7.10%。 当真实数据极其有限(仅使用原始数据的 5%)时,改进进一步达到 33.68% 和 32.40%。此外,B3-CDG 可以提高高级 CD 模型(如 SNUNet 和 ChangeFormer)的基线性能。消融研究进一步证实了 B3-CDG 设计的有效性。本研究引入了一种构建 CD 的新研究范式,有可能推动该领域的发展。源代码和数据集将在 https://github.com/ABCnutter/B3-CDG 上提供。