实际的目标检测应用程序可能会对具有自然分布变化的图像输入失去有效性。这个问题导致研究界更加关注探测器在分布外（OOD）输入下的鲁棒性。现有的工作构建数据集来对特定应用场景（例如自动驾驶）的检测器 OOD 鲁棒性进行基准测试。然而，这些数据集缺乏通用性，并且很难对基于常见任务（例如 COCO）的通用检测器进行基准测试。为了进行更全面的稳健性评估，我们引入了 COCO-O(ut-of-distribution)，这是一个基于 COCO 的测试数据集，具有 6 种自然分布变化。COCO-O 与训练数据有很大的分布差距，导致 Faster R-CNN 检测器的相对性能显着下降 55.7%。我们利用 COCO-O 在 100 多个现代物体检测器上进行实验，以调查它们的改进是否可信或只是过度拟合 COCO 测试集。不幸的是，早期的大多数经典检测器都没有表现出很强的 OOD 泛化能力。我们进一步研究了检测器架构设计、增强和预训练技术的最新突破的鲁棒性效果。一些实证结果显示：1）与检测头部或颈部相比，脊柱是鲁棒性最重要的部分；2）端到端的检测变压器设计并没有带来任何增强，甚至可能降低鲁棒性；3）大规模基础模型在鲁棒目标检测方面取得了巨大飞跃。我们希望我们的 COCO-O 能够为目标检测的鲁棒性研究提供丰富的测试平台。



"点击查看英文标题和摘要"