超构透镜阵列助力智能深度感知

视觉误差可以分为两类。一种是二维看起来像三维，另一种是三维看起来像二维。最著名的例子是魔法楼梯，也被称为不可能的楼梯，指的是一个楼梯循环，总能找到更高或更低的楼梯。电影《盗梦空间》就巧妙化用了这一几何悖论，通过从特定角度拍摄螺旋楼梯，可以在现实生活中实现类似魔法楼梯的视觉错误。这种不可能的视觉效果欺骗了人们，因为采集的信息是二维照片。与立体视觉相比，信息获取过程中缺少一个维度的信息。人类根据场景的二维信息在大脑中进行三维填充和重构，因此会得到一种不真实的三维感知。我们日常生活中有很多种视错觉。例如，地面上的涂鸦从观察者的角度呈现出在环境之上或之下的深度感。这些视错觉有时会给人带来美妙的艺术享受。但是对于像自动驾驶这样涉及真实深度信息的任务，这样的错误会给我们的日常生活带来严重的麻烦和安全问题。错误或缺乏深度感知会导致意想不到的问题。在当今机器视觉自动化时代，能够准确感应深度的光学系统是安全作业的基石。

近日，香港城市大学电机工程系蔡定平教授课题组在Advanced Materials 期刊上发表文章，展示了智能且紧凑的深度感应超构元件，适用于所有光照水平的不同场景。这种智能超构元件满足了小型化、轻量化、全亮度、低功耗、小尺寸和低纹理物体的需求。所提出的超构透镜阵列在1.2 × 1.2 mm²的区域内有3600个消色差超构透镜。在神经网络和深度学习的支持下，光场成像采集模式和主动结构光模式的深度传感实验演示清楚地显示了在 21.0 至 50.5 cm 工作范围内的准确深度映射。超构透镜阵列既可以作为多目相机来收集光场信息，也可以与外设光源一起作为有源光学器件来投射结构光。超构透镜阵列可以同时作为明亮条件下的光场成像系统和黑暗条件下的结构光投影系统的核心功能部件，以实现系统的高度集成化。

图1. 消色差超构透镜阵列深度传感系统的示意图。深度映射和成像的两种模式：一是超构透镜阵列在有光情况下的光场深度和成像系统的模式；二为无光情况下，超构透镜阵列用于生成结构光阵列。图片来源：Adv. Mater.

图2. 消色差超透镜阵列的SEM图像。a)消色差超透镜阵列。b)一个消色差超透镜边缘的SEM放大图片。c)30º倾斜消色差超透镜边缘的纳米天线的放大 SEM 图像。图片来源：Adv. Mater.

两种方式的深度信息在深度学习的帮助下可以快速且准确地提取与分析。光场成像系统与结构光投影系统就像是“眼睛”与“拐杖”，相辅相成地共同构建可靠的不依赖光照条件的环境感测系统。该超构透镜阵列深度感测系统是基于超构光学与人工智能的强强联合给出的一份紧凑且智能的方案。这种具有光学深度映射和成像系统的新型超构元件可以广泛应用于自动驾驶、工业检测、机器视觉、人机交互、增强现实、虚拟现实、生物识别、自动控制系统以及其他复杂而脆弱的环境中的精密设备的传感模块。

图3. 在光照环境中使用我们的超构透镜阵列光场系统进行深度映射和成像的结果。a) 在适当的照明或强烈的阳光环境条件下，使用消色差超透镜阵列进行光场成像的示意图。六个阶梯对象分别位于 22、24、27、31、38 和 46 厘米。LP：H是水平线性偏振器。LP：V 是垂直线性偏振器。λ/4 是四分之一波片。BS是分束器，PBS是偏振分束器。b) 捕获光场图像的渲染结果。c) 光场系统得到的二维深度图。d) 用于光场系统的神经网络（LFN）架构的神经网络示意图。每种颜色代表不同的张量操作。红色长方体（池化层）和金色长方体（反卷积层）下方的数字分别是池化和反卷积后分辨率的比例因子。其他数字为相应运算后的输出通道数。e) 三维深度结果图。f)通过光场测量的距离与真实值的对应关系图。图片来源：Adv. Mater.

图4. 微光或暗环境下的超构器件结构光深度映射与成像系统。a) 结构光通过 3600个消色差超透镜投射的示意图以及由同一台相机收集的深度映射和成像数据。六个楼梯的深度分别位于 22、24、27、31、38和46 厘米。LP：H是水平线性偏振器。LP：V是垂直线性偏振器。λ/4 是四分之一波片。BS是分束器，PBS是偏振分束器。b) 捕获的结构光图像。c) 二维深度结果图。d) 所提出的神经网络结构光网络(SLN)的示意图。每种颜色代表不同的张量操作。红色和蓝色虚线表示跳过连接。红色长方体（池化层）和金色长方体（反卷积层）下方的数字分别是池化和反卷积后分辨率的比例因子。其他数字为相应操作后的输出通道数。e) 三维深度结果图。F )深度测量结果与真实值的对应关系。图片来源：Adv. Mater.

论文第一作者为香港城市大学助理教授陈沐谷和博士生刘小源，论文通讯作者为香港城市大学讲座教授蔡定平。香港城市大学电机工程系为论文第一完成单位。该研究得到中国香港特别行政区大学教育资助委员会/研究资助委员会（项目编号AoE/P-502/20和GRF项目15303521）、深圳市科技创新委员会（SGDX2019081623281169），广东省科学技术厅（2020B1515120073）和香港城市大学（9380131）资助。

原文（扫描或长按二维码，识别后直达原文页面，或点此查看原文）：

A Meta-device for Intelligent Depth Perception

Mu Ku Chen, Xiaoyuan Liu, Yongfeng Wu, Jingcheng Zhang, Jiaqi Yuan, Zhengnan Zhang, Din Ping Tsai

Adv. Mater., 2022, DOI: 10.1002/adma.202107465

蔡定平教授简介

蔡定平教授，现任香港城市大学讲座教授。多年来致力于纳米光子学及光电物理领域前沿的理论与实验工作，积累了丰富的研究成果。在Science, Nature Nanotechnology, Nature Communications, Light: Science & Applications, Advanced Materials, Nano Energy, Nano Letters等国际期刊发表论文共339篇(SCI Citation > 18,801 次, SCI H-index 64; Google Scholar Citation > 24,536 次, Google Scholar Hindex 75)、专书（或专书节章）及会议论文共65 篇、技术报告及其它论文共38篇、国内外（美国、加拿大、日本及德国）专利共45项（68个）。先后当选中国光学学会(COS)、美国物理学会(APS)、国际电子电机工程师学会(IEEE)、光学学会(Optica)、国际光电工程学会(SPIE)、电磁科学院(EMA)、美国科学促进会(AAAS)、日本应用物理学会(JSAP) 、和亚太人工智能学会(AAIA)的会士(Fellow)。也先后当选亚太材料科学院(APAM)院士、俄罗斯国际工程学院(IAE)院士和美国国家发明家科学院(NAI)院士。曾荣获四十多项荣誉与奖励，包括：2020年度和2018年度中国光学十大进展、2020年和2019年全球高被引科学家(Web of Science Group/ Clarivate Analytics)、2018年国际光电工程学会(SPIE)墨子奖，以及多届国际学术会议最佳论文奖。迄今在国际会议做316余次特邀报告，担任12个国际期刊的编辑委员或编辑，多项国际知名期刊的文章审稿人。

蔡定平教授课题组招收博士后研究员与博士研究生，招收物理、光学（超构表面光学为主，近场光学、纳米光学、量子光学、微纳光学、集成光学、光学工程、光电子学等）、光电、材料、信息工程等相关专业背景的人员。

1. 具有微纳制备包括光刻、电子束曝光、等离子体刻蚀等经验的人员优先录取；

2. 具有扎实物理基础，对光电元器件设计与制备有浓厚兴趣并且有一定的研究经验的人员优先录取；

3. 能够熟练各种材料的表征手段，能熟练的搭建光路和进行光学测量的学生。

4. 熟练Matlab、电磁模拟软体CST、COMSOL等。

蔡教授努力为学生提供最好的实验平台和舒适的科研环境。希望莘莘学子以及广大的有志青年加入到蔡教授的团队，在研究期间修学储能。广阔天地、大有可为，有兴趣的研究人员与学生可以发送个人简历到邮箱：dptsai@cityu.edu.hk，相关详细的问题可以通过邮件讨论。