当前位置:
X-MOL 学术
›
IEEE Trans. Inform. Forensics Secur.
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning
IEEE Transactions on Information Forensics and Security ( IF 6.3 ) Pub Date : 2024-09-16 , DOI: 10.1109/tifs.2024.3461958 Yaning Zhang, Zitong Yu, Tianyi Wang, Xiaobin Huang, Linlin Shen, Zan Gao, Jianfeng Ren
IEEE Transactions on Information Forensics and Security ( IF 6.3 ) Pub Date : 2024-09-16 , DOI: 10.1109/tifs.2024.3461958 Yaning Zhang, Zitong Yu, Tianyi Wang, Xiaobin Huang, Linlin Shen, Zan Gao, Jianfeng Ren
The rapid advancement of photorealistic generators has reached a critical juncture where the discrepancy between authentic and manipulated images is increasingly indistinguishable. Thus, benchmarking and advancing techniques detecting digital manipulation become an urgent issue. Although there have been a number of publicly available face forgery datasets, the forgery faces are mostly generated using GAN-based synthesis technology, which does not involve the most recent technologies like diffusion. The diversity and quality of images generated by diffusion models have been significantly improved and thus a much more challenging face forgery dataset shall be used to evaluate SOTA forgery detection literature. In this paper, we propose a large-scale, diverse, and fine-grained high-fidelity dataset, namely GenFace, to facilitate the advancement of deepfake detection, which contains a large number of forgery faces generated by advanced generators such as the diffusion-based model and more detailed labels about the manipulation approaches and adopted generators. In addition to evaluating SOTA approaches on our benchmark, we design an innovative Cross Appearance-Edge Learning (CAEL) detector to capture multi-grained appearance and edge global representations, and detect discriminative and general forgery traces. Moreover, we devise an Appearance-Edge Cross-Attention (AECA) module to explore the various integrations across two domains. Extensive experiment results and visualizations show that our detection model outperforms the state of the arts on different settings like cross-generator, cross-forgery, and cross-dataset evaluations. Code and datasets will be available at https://github.com/Jenine-321/GenFace
.
中文翻译:
GenFace:大规模细粒度人脸伪造基准和交叉外观边缘学习
真实感生成器的快速发展已经达到了一个关键时刻,真实图像和经过处理的图像之间的差异越来越难以区分。因此,检测数字操纵的基准和先进技术成为一个紧迫的问题。虽然已经有很多公开的人脸伪造数据集,但伪造的人脸大多是使用基于 GAN 的合成技术生成的,不涉及扩散等最新技术。扩散模型生成的图像的多样性和质量得到了显着提高,因此应使用更具挑战性的人脸伪造数据集来评估 SOTA 伪造检测文献。在本文中,我们提出了一个大规模、多样化、细粒度的高保真数据集,即 GenFace,以促进 Deepfake 检测的进步,其中包含由高级生成器(例如扩散生成器)生成的大量伪造人脸。基于模型和有关操作方法和采用的生成器的更详细标签。除了在我们的基准上评估 SOTA 方法之外,我们还设计了一种创新的交叉外观边缘学习 (CAEL) 检测器来捕获多粒度外观和边缘全局表示,并检测有区别的和一般的伪造痕迹。此外,我们设计了一个外观边缘交叉注意(AECA)模块来探索跨两个领域的各种集成。大量的实验结果和可视化结果表明,我们的检测模型在跨生成器、交叉伪造和跨数据集评估等不同设置上均优于现有技术。代码和数据集将在 https://github.com/Jenine-321/GenFace 提供。
更新日期:2024-09-16
中文翻译:
GenFace:大规模细粒度人脸伪造基准和交叉外观边缘学习
真实感生成器的快速发展已经达到了一个关键时刻,真实图像和经过处理的图像之间的差异越来越难以区分。因此,检测数字操纵的基准和先进技术成为一个紧迫的问题。虽然已经有很多公开的人脸伪造数据集,但伪造的人脸大多是使用基于 GAN 的合成技术生成的,不涉及扩散等最新技术。扩散模型生成的图像的多样性和质量得到了显着提高,因此应使用更具挑战性的人脸伪造数据集来评估 SOTA 伪造检测文献。在本文中,我们提出了一个大规模、多样化、细粒度的高保真数据集,即 GenFace,以促进 Deepfake 检测的进步,其中包含由高级生成器(例如扩散生成器)生成的大量伪造人脸。基于模型和有关操作方法和采用的生成器的更详细标签。除了在我们的基准上评估 SOTA 方法之外,我们还设计了一种创新的交叉外观边缘学习 (CAEL) 检测器来捕获多粒度外观和边缘全局表示,并检测有区别的和一般的伪造痕迹。此外,我们设计了一个外观边缘交叉注意(AECA)模块来探索跨两个领域的各种集成。大量的实验结果和可视化结果表明,我们的检测模型在跨生成器、交叉伪造和跨数据集评估等不同设置上均优于现有技术。代码和数据集将在 https://github.com/Jenine-321/GenFace 提供。