230 mg的微型光电复眼相机

经过数百万年的进化，节肢动物进化出先进且复杂的视觉系统，为开发紧凑型的微型相机提供了灵感。通常，昆虫复眼（CE）由许多紧密排列且呈半球形分布的小眼组成，每个小眼作为一个独立的感光单元，相互配合，从而实现猎物识别和敌人防御。昆虫CE具有小尺寸、无失真成像、宽视场（FOV）和灵敏的运动跟踪能力。受昆虫复眼的启发，开发在尺寸和功能上可与昆虫媲美的微型光电CE相机成为研究热点。然而，昆虫CE成像依赖感光细胞，而人造CE相机要想获得类似的成像能力，必须将复杂的3D复眼镜头与光电探测器集成。实现这一目标的主要挑战是当光电系统的特征尺寸减小到微尺度时，如何克服三维分布小眼的非平面成像和商用微型CCD/CMOS探测器的平面检测之间的不匹配问题。

针对这个难题，吉林大学张永来教授（点击查看介绍）团队报道了一种光电集成微型复眼（μ-CE）相机的范例，通过飞秒激光双光子聚合（FL-TPP）制造具有对数轮廓小眼的曲面人工CE。与存在散焦问题的具有球形小眼的μ-CE相比，所制备的对数轮廓小眼的μ-CE因为小眼的景深和聚焦范围都显著增加，可以有效避免散焦问题从而实现与商用微型CMOS探测器的直接集成。图1展示了这种光电μ-CE相机的设计思路和制造过程。通过这种方式，所获得的μ-CEs可以很好地与商业CMOS探测器（OV9734，Omnivision）集成，形成光电μ-CEs相机。重要的是，μ-CE的特征尺寸仅为~400 μm，类似于天然蚊子的CE；制备的μ-CEs相机（包括CMOS芯片）的总重量仅为230 mg。制备的μ-CE相机具有小尺寸、重量轻、便携性和多小眼全向成像能力，在机器人视觉、医疗内窥镜、微型导航、移动目标跟踪和许多其他微视觉领域的前沿应用中具有巨大的潜力。

图1. 光电μ-CE相机的设计和制造。(a)蜻蜓复眼的照片和结构示意图。(b)光电集成中散焦问题的示意图；(c, d)具有球形小眼(c)和对数小眼(d)的CEs的仿真聚焦光场。(e)使用FL-TPP制造蚊眼尺寸μ-CE的示意图。(f)μ-CE相机光电集成示意图。

对数CE的使用使得曲面CE与商用平面CMOS探测器的集成成为可能。为了提高成像质量，一个尺寸约为400 μm的19眼CE被设计制作为光学元件，并与作为电学元件的CMOS光敏芯片（Omnivision 9734, 2.5 × 1.7 mm）集成。制备的复眼镜头可以覆盖超过80,000个像素，可以保证合理的成像分辨率。制备的光电μ-CE相机可以直接捕获不同类型目标物体的图像。如图2所示，每个小眼都可以形成包括明场/暗场“F”和各种昆虫在内的清晰图像。

图2. 不同目标的照片（上）和光电μ-CE相机采集的图像（下）。

作为μ-CE相机，小眼的配合可以实现对运动目标的灵敏轨迹监控。众所周知，昆虫CE视觉对移动物体非常敏感。当目标移动时，不同位置的小眼会产生闪烁效果。通过这种方式，昆虫可以实时感知捕食者或猎物的移动轨迹和速度，并立即做出有效的反馈。受昆虫CE的启发，光电μ-CE相机有望实现类似的功能。如图3所示，在校准了μ-CE相机的物像关系后，μ-CE相机可用于记录活体甲虫的运动轨迹。

图3.（a）使用μ-CE相机监测甲虫运动的实验装置示意图。(b)自由爬行甲虫在不同时刻的延时摄影。(c)μ-CE相机在不同时间拍摄的甲虫图像。（d）μ-CE相机的子眼成像清晰度统计。（e）重构的甲虫在不同时刻的空间位置和运动轨迹。

此外，μ-CE相机可以基于多目视觉原理对运动目标轨迹进行实时3D重构。作为概念验证，通过将μ-CE相机与微流控芯片集成，提出了一种先进、微型和便携式的片上相机系统，该系统进一步用于监控活体微生物草履虫的实时运动轨迹。3D重构原理和片上相机及其核心部件（μ-CE相机）的照片如图4所示。在真实案例观察中，与藻类共生的绿色活草履虫作为动态目标；它被困在μ-CE相机下方的微流控芯片的腔室中。作为代表性演示，μ-CE 相机记录了草履虫运动视频，并以每秒 24 帧的速率进行实时轨迹重建。μ-CE相机展现了微观运动目标的3D轨迹实时重建的能力，在微观立体成像、微观流场测量和微观动态目标实时跟踪监测方面非常有前景。

图4.（a）基于μ-CE相机的微观3D重建基本原理示意图。(b, c) μ-CE相机拍摄的图像（上）和3D重建结果(下)。（d）与微流控芯片集成的片上相机系统。（e）重建的草履虫3D 轨迹。(f)μ-CE相机拍摄的草履虫图像（顶部）和不同时刻重建的空间位置（底部）。

总之，开发具有集成光电系统的微型μ-CE相机非常重要，这使得从昆虫的角度看世界成为可能。昆虫级光电μ-CE相机为将成熟的平面成像传感器与复杂的微光学元件集成提供了一条实用的途径。

以上相关成果发表在Nature Communications 上。论文的第一作者为吉林大学博士生胡志勇，通讯作者为吉林大学张永来教授。

原文（扫描或长按二维码，识别后直达原文页面，或点此查看原文）：

Miniature optoelectronic compound eye camera

Zhi-Yong Hu, Yong-Lai Zhang, Chong Pan, Jian-Yu Dou, Zhen-Ze Li, Zhen-Nan Tian, Jiang-Wei Mao, Qi-Dai Chen & Hong-Bo Sun 

Nat. Commun., 2022, 13, 5634, DOI: 10.1038/s41467-022-33072-8

导师介绍

张永来

https://www.x-mol.com/university/faculty/69089