当前位置:
X-MOL 学术
›
Inform. Fusion
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Hyperspectral and multispectral image fusion: When model-driven meet data-driven strategies
Information Fusion ( IF 14.7 ) Pub Date : 2024-11-19 , DOI: 10.1016/j.inffus.2024.102803 Hao-Fang Yan, Yong-Qiang Zhao, Jonathan Cheung-Wai Chan, Seong G. Kong, Nashwa EI-Bendary, Mohamed Reda
Information Fusion ( IF 14.7 ) Pub Date : 2024-11-19 , DOI: 10.1016/j.inffus.2024.102803 Hao-Fang Yan, Yong-Qiang Zhao, Jonathan Cheung-Wai Chan, Seong G. Kong, Nashwa EI-Bendary, Mohamed Reda
Hyperspectral image (HSI) and Multispectral Image (MSI) fusion aims at combining a high-resolution MSI (HR MSI) with a low-resolution HSI (LR HSI), resulting in a fused image that contains the spatial resolution of the former and the spectral resolution of the latter. This approach offers a cost-effective alternative to directly acquiring high-resolution HSIs (HR HSIs). In this survey, we offer an extensive literature review tailored for students and professionals seeking deeper insights into the subject matter. We delve into existing HSI-MSI fusion methods and revealed a spectrum of approaches, ranging from model-driven techniques (extended CS and MRA, Bayesian, matrix factorization, and tensor representation) to data-driven methods (CNN, GAN, and Transformer) and model-data-driven approaches (model-guided networks and semi-supervised or unsupervised methods). This exploration aims to optimize fusion strategies for various applications. This paper not only provides a comprehensive overview of HSI-MSI fusion strategies, but also summarizes and contrasts their unique characteristics, benefits, and limitations. Additionally, it reviews image quality evaluation indices (both full-reference and no-reference) and widely used datasets. Furthermore, using hybrid data, large-view-field satellite data and real satellite data pairs, the reduced-resolution and full-resolution experimental comparison analysis of various algorithms from three strategies are carried out. Finally, the paper identifies unresolved challenges and outlines potential future research directions in this evolving field.
中文翻译:
高光谱和多光谱图像融合:当模型驱动与数据驱动策略相遇时
高光谱图像 (HSI) 和多光谱图像 (MSI) 融合旨在将高分辨率 MSI (HR MSI) 与低分辨率 HSI (LR HSI) 相结合,从而产生包含前者空间分辨率和后者光谱分辨率的融合图像。这种方法为直接获取高分辨率 HSI (HR HSI) 提供了一种经济高效的替代方案。在这项调查中,我们为寻求对主题有更深入见解的学生和专业人士提供了广泛的文献综述。我们深入研究了现有的 HSI-MSI 融合方法,并揭示了一系列方法,从模型驱动技术(扩展 CS 和 MRA、贝叶斯、矩阵分解和张量表示)到数据驱动方法(CNN、GAN 和 Transformer)和模型数据驱动方法(模型引导网络和半监督或无监督方法)。这项探索旨在优化各种应用的融合策略。本文不仅全面概述了 HSI-MSI 融合策略,还总结和对比了它们的独特特征、优势和局限性。此外,它还审查了图像质量评估指数(完整参考和无参考)和广泛使用的数据集。此外,利用混合数据、大视场卫星数据和真实卫星数据对,对 3 种策略的各种算法进行了降分和全分辨实验对比分析。最后,本文确定了尚未解决的挑战,并概述了这一不断发展的领域未来的潜在研究方向。
更新日期:2024-11-19
中文翻译:
高光谱和多光谱图像融合:当模型驱动与数据驱动策略相遇时
高光谱图像 (HSI) 和多光谱图像 (MSI) 融合旨在将高分辨率 MSI (HR MSI) 与低分辨率 HSI (LR HSI) 相结合,从而产生包含前者空间分辨率和后者光谱分辨率的融合图像。这种方法为直接获取高分辨率 HSI (HR HSI) 提供了一种经济高效的替代方案。在这项调查中,我们为寻求对主题有更深入见解的学生和专业人士提供了广泛的文献综述。我们深入研究了现有的 HSI-MSI 融合方法,并揭示了一系列方法,从模型驱动技术(扩展 CS 和 MRA、贝叶斯、矩阵分解和张量表示)到数据驱动方法(CNN、GAN 和 Transformer)和模型数据驱动方法(模型引导网络和半监督或无监督方法)。这项探索旨在优化各种应用的融合策略。本文不仅全面概述了 HSI-MSI 融合策略,还总结和对比了它们的独特特征、优势和局限性。此外,它还审查了图像质量评估指数(完整参考和无参考)和广泛使用的数据集。此外,利用混合数据、大视场卫星数据和真实卫星数据对,对 3 种策略的各种算法进行了降分和全分辨实验对比分析。最后,本文确定了尚未解决的挑战,并概述了这一不断发展的领域未来的潜在研究方向。