当前位置:
X-MOL 学术
›
IEEE Trans. Image Process.
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
MLFA: Toward Realistic Test Time Adaptive Object Detection by Multi-Level Feature Alignment
IEEE Transactions on Image Processing ( IF 10.8 ) Pub Date : 2024-10-09 , DOI: 10.1109/tip.2024.3473532 Yabo Liu, Jinghua Wang, Chao Huang, Yiling Wu, Yong Xu, Xiaochun Cao
IEEE Transactions on Image Processing ( IF 10.8 ) Pub Date : 2024-10-09 , DOI: 10.1109/tip.2024.3473532 Yabo Liu, Jinghua Wang, Chao Huang, Yiling Wu, Yong Xu, Xiaochun Cao
Object detection methods have achieved remarkable performances when the training and testing data satisfy the assumption of i.i.d. However, the training and testing data may be collected from different domains, and the gap between the domains can significantly degrade the detectors. Test Time Adaptive Object Detection (TTA-OD) is a novel online approach that aims to adapt detectors quickly and make predictions during the testing procedure. TTA-OD is more realistic than the existing unsupervised domain adaptation and source-free unsupervised domain adaptation approaches. For example, self-driving cars need to improve their perception of new environments in the TTA-OD paradigm during driving. To address this, we propose a multi-level feature alignment (MLFA) method for TTA-OD, which is able to adapt the model online based on the steaming target domain data. For a more straightforward adaptation, we select informative foreground and background features from image feature maps and capture their distributions using probabilistic models. Our approach includes: i) global-level feature alignment to align all informative feature distributions, thereby encouraging detectors to extract domain-invariant features, and ii) cluster-level feature alignment to match feature distributions for each category cluster across different domains. Through the multi-level alignment, we can prompt detectors to extract domain-invariant features, as well as align the category-specific components of image features from distinct domains. We conduct extensive experiments to verify the effectiveness of our proposed method. Our code is accessible at https://github.com/yaboliudotug/MLFA
.
中文翻译:
MLFA: 通过多级特征对齐实现真实测试时间自适应目标检测
当训练和测试数据满足 i.i.d 的假设时,目标检测方法取得了显着的性能。但是,训练和测试数据可能从不同的域收集,并且域之间的差距会显著降低检测器的性能。测试时间自适应目标检测 (TTA-OD) 是一种新颖的在线方法,旨在快速调整探测器并在测试过程中进行预测。TTA-OD 比现有的无监督域自适应和无源无监督域自适应方法更真实。例如,自动驾驶汽车在驾驶过程中需要提高它们在 TTA-OD 范式中对新环境的感知。为了解决这个问题,我们提出了一种用于 TTA-OD 的多级特征对齐 (MLFA) 方法,该方法能够根据蒸汽目标域数据在线调整模型。为了更直接的适应,我们从图像特征图中选择信息丰富的前景和背景特征,并使用概率模型捕获它们的分布。我们的方法包括:i) 全局级特征对齐,以对齐所有信息性特征分布,从而鼓励检测器提取域不变特征,以及 ii) 集群级特征对齐,以匹配不同域中每个类别集群的特征分布。通过多级对齐,我们可以提示检测器提取域不变特征,以及从不同域对齐图像特征的类别特定分量。我们进行了广泛的实验以验证我们提出的方法的有效性。我们的代码可在 https://github.com/yaboliudotug/MLFA 上访问。
更新日期:2024-10-09
中文翻译:
MLFA: 通过多级特征对齐实现真实测试时间自适应目标检测
当训练和测试数据满足 i.i.d 的假设时,目标检测方法取得了显着的性能。但是,训练和测试数据可能从不同的域收集,并且域之间的差距会显著降低检测器的性能。测试时间自适应目标检测 (TTA-OD) 是一种新颖的在线方法,旨在快速调整探测器并在测试过程中进行预测。TTA-OD 比现有的无监督域自适应和无源无监督域自适应方法更真实。例如,自动驾驶汽车在驾驶过程中需要提高它们在 TTA-OD 范式中对新环境的感知。为了解决这个问题,我们提出了一种用于 TTA-OD 的多级特征对齐 (MLFA) 方法,该方法能够根据蒸汽目标域数据在线调整模型。为了更直接的适应,我们从图像特征图中选择信息丰富的前景和背景特征,并使用概率模型捕获它们的分布。我们的方法包括:i) 全局级特征对齐,以对齐所有信息性特征分布,从而鼓励检测器提取域不变特征,以及 ii) 集群级特征对齐,以匹配不同域中每个类别集群的特征分布。通过多级对齐,我们可以提示检测器提取域不变特征,以及从不同域对齐图像特征的类别特定分量。我们进行了广泛的实验以验证我们提出的方法的有效性。我们的代码可在 https://github.com/yaboliudotug/MLFA 上访问。