Portrait customization (PC) has recently garnered significant attention due to its potential applications. However, existing PC methods lack precise identity (ID) preservation and face control. To address these tissues, we propose Diff-PC, a diffusion-based framework for zero-shot PC, which generates realistic portraits with high ID fidelity, specified facial attributes, and diverse backgrounds. Specifically, our approach employs the 3D face predictor to reconstruct the 3D-aware facial priors encompassing the reference ID, target expressions, and poses. To capture fine-grained face details, we design ID-Encoder that fuses local and global face features. Subsequently, we devise ID-Ctrl using the 3D face to guide the alignment of ID features. We further introduce ID-Injector to enhance ID fidelity and facial controllability. Finally, training on our collected ID-centric dataset improves face similarity and text-to-image (T2I) alignment. Extensive experiments demonstrate that Diff-PC surpasses state-of-the-art methods in ID preservation, face control, and T2I consistency. Notably, the face similarity improves by about +3% on all datasets. Furthermore, our method is compatible with multi-style foundation models.

中文翻译：

---

Diff-PC：身份保留和 3D 感知可控扩散，用于零镜头人像定制


肖像定制 （PC） 由于其潜在的应用最近引起了广泛关注。但是，现有的 PC 方法缺乏精确的身份 （ID） 保存和人脸控制。为了解决这些组织问题，我们提出了 Diff-PC，这是一种基于扩散的零镜头 PC 框架，它可以生成具有高 ID 保真度、指定面部属性和不同背景的逼真肖像。具体来说，我们的方法采用 3D 面部预测器来重建 3D 感知的面部先验，包括参考 ID、目标表情和姿势。为了捕获精细的人脸细节，我们设计了融合局部和全局人脸特征的 ID-Encoder。随后，我们使用 3D 面设计了 ID-Ctrl 来指导 ID 特征的对齐。我们进一步引入了 ID-Injector 以增强 ID 保真度和面部可控性。最后，在我们收集的以 ID 为中心的数据集上进行训练可以提高人脸相似度和文本到图像 （T2I） 对齐。大量实验表明，Diff-PC 在 ID 保留、面部控制和 T2I 一致性方面超越了最先进的方法。值得注意的是，所有数据集的人脸相似度提高了约 +3%。此外，我们的方法与多样式基础模型兼容。