12047
当前位置: 首页   >  课题组新闻   >  【2023.11】实验室张洪博老师指导研究生林王凯撰写论文在顶刊《IEEE Transactions on Image Processing》录用!
【2023.11】实验室张洪博老师指导研究生林王凯撰写论文在顶刊《IEEE Transactions on Image Processing》录用!
发布时间:2023-11-01

 实验室张洪博老师指导研究生林王凯撰写的论文Point-Based Learnable Query Generator for Human–Object Interaction Detection,在顶刊《IEEE Transactions on Image Processing》发表。张老师为通讯作者。

  该文指出,基于Transformer和交互点的检测方法在人体-物体交互(HOI)检测中展示了良好的性能和潜力。然而,由于两者在结构和属性上的差异,直接将这两种类型的模型进行融合并不可行。近年来,基于Transformer的方法将解码器分为两个分支:用于人体-物体配对检测的实例解码器和用于交互识别的分类解码器。虽然Transformer中的注意力机制增强了定位和分类之间的联系,但该文集中于通过增加实例和动作特征之间的内在关联来进一步提高HOI检测性能。

  为了解决这些挑战,该文提出了一种新型的基于Transformer的HOI检测框架。在该方法中,解码器包含三个部分:可学习查询生成器、实例解码器和交互分类器。可学习查询生成器旨在构建有效的查询,以引导实例解码器和交互分类器学习更准确的实例和交互特征。然后,这些特征被应用于更新查询生成器以进行下一层学习。特别地,受到基于交互点的HOI和物体检测方法的启发,该文引入了先验边界框、关键点检测和空间关系特征来构建新的可学习查询生成器。

  最后,该文在HICO-DET和V-COCO数据集上验证了所提方法。实验结果表明,所提方法相比于现有的最先进方法表现出了更好的性能。