近日，人工智能学院课题组导师周广东教授为第一作者以《多模态光电忆阻器阵列全硬件实现的神经形态视觉系统》(英文：Full hardware implementation of neuromorphic visual system based on multimodal optoelectronic resistive memory arrays for versatile image processing) 在《Nature》子刊《Nature communications》上发表论文。
图1. 论文标题页
西南大学人工智能学院周广东教授团队，长期从事后摩尔时代的神经形态器件、理论、工艺、算法等基础研究，在阻变功能薄膜-多功能光电器件与集成-光电阻变理论-外围电路-人工智能算法等多个方面具有丰富的经验，团队具有从实验、计算理论、算法和应用相互结合的研究特色。同时，周广东教授入选西南大学含弘研究员，重庆市英才等，为智能传动和控制技术国家地方联合工程研究中心独立研究PI，类脑计算与智能控制·重庆市重点实验室·智能信息器件与类脑芯片方向的学术带头人。近5年，主研/主持国家自然基金委重点项目(258万)、西南大学人才引进项目(300万)，重点项目子课题(100万)，博士后创新人才支持计划(60万)，智能器件测试系统-横向课题(125万)以及省级自然科学基金等十余项。在Nature Communications, Advanced Science, Advanced Electronic Materials, Applied Physics Letters等多个相关领域国际知名期刊上发表学术论文50余篇，其中ESI前1%高被引论文5篇，ESI 前0.1%高被引热点论文1篇，引用3500多次。
类脑计算（Brain-inspired Computing）又被称为神经形态计算（Neuromorphic Computing），是借鉴生物神经系统信息处理模式和结构的计算理论、体系结构、芯片设计以及应用模型与算法的总称。类脑计算，不同于传统冯诺依曼存算分离的特性，这种计算将存储与计算融合，打破了“内存墙”瓶颈，在算力、功耗、延迟敏感的边缘计算等方面有巨大价值和潜力。
类脑感知通过模拟脑神经感知过程，实现对外界环境信息计算和认知过程，因此传感器内计算的方式是下一代“感存算”一体化新型计算范式。在传统机器视觉系统中，主要以传统存算分离的冯诺依曼架构为主，图像传感和图像处理硬件分离连接，其中图像数据感知主要发生在模拟域内，随后利用模拟数字转换器(Analog-digital converters, ADCs)将模拟量的传感数据转化为数字量，最后传输至存储器与处理器。海量传感数据的来回搬运与频繁转换，不仅产生了大量的冗余数据，而且能耗高、延迟高、通讯宽带受限、能效低下。在此背景下团队提出了多模态光电忆阻器阵列全硬件实现的神经形态视觉系统的研究。
团队利用5,6-羟基吲哚和聚甘油-3对丝素的二级结构进行了改性，合成了一种具有多功能光电聚合物薄膜，随后利用该薄膜制备了忆阻器阵列，逼真模拟了人类视网膜和视觉皮层细胞处理信息的功能，实现了多种图像处理功能。
图2. 多模态多功能神经形态视觉视觉系统架
图2是团队提出的一种神经形态视觉芯片和系统的新型计算架构，由人工视网膜系统和人工视皮层系统两部分组成，分别由两块相同的忆阻器交叉阵列系统执行。在人工视网膜系统上，不需要复杂的数据转换，直接可以原位完成光电传感和处理，即可以原位完成图像传感、背景去噪、对比度增强等预处理功能，极大减少冗余数据和有效降低延迟；在人工视觉皮层系统上，主要利用忆阻器的存算一体化完成高级的图像处理，如图像识别等功能。
图3. 多模态多功能光电忆阻的正负光电电导特性
图3是研制的丝素蛋白质忆阻器的独特的正负光电导特性。人类视网膜主要由“3核”“2突触”层组成，外层主要由光感受器细胞（视杆细胞和视锥细胞）组成，中层主要由双极细胞组成，外层主要由视神经节细胞组成，其中双极细胞包含强光型和撤光型两种细胞，可以对传入的图像进行预处理（增强或减弱）。
研制的该性丝素蛋白忆阻器能够快速感知光（模拟光感受器细胞），其独有的正负光电导效应可以逼真模拟双极细胞功能（原位图像增强和去噪），交叉阵列的高度并行传感和输出可以模拟视神经节细胞功能。图3展示了研制的丝素蛋白忆阻器的全光控的长时程突触增强（LTP）和长时程突触抑制（LTD）、正/负光下的短时程突触可塑性（STP）及光强渐进可调的电导特性，这种光电特性突破了现行的光电器件及机理，使得类脑程度更好。
图4是该论文的硬件系统和算法部署。在人工视网膜系统部分，我们利用读取电压的不变特性作为卷积核，更具光电忆阻器的光电导G，读取电压V，光电流I的物理乘积，实现了在光电忆阻器阵列的卷积计算，同时利用器件的独特正负光电导特性，可硬件实现图像背景去噪、对比度增强，提升了卷积计算过程中的特征提取质量和效率，极大降低了视觉皮层系统的计算压力。此外，由于器件独特的负光电导效应，在光电忆阻阵列硬件上，不需要电脉冲来刷新，全光电学“零功耗”实现阵列感知信息的擦除和更新，有效降低了芯片与系统的感知和计算功耗。利用忆阻器天然的存算一体功能可以高度处理并行前端视网膜系统的预处理图像信息，最后完成图像的高层次处理，如图像识别和认知等功能。
图4. 多模态人工视觉系统算法硬件部署及应用
研发的神经形态视觉芯片与计算系统，在未来人工智能自动驾驶、机器人、复杂环境智能导航、柔性智能可穿戴电子系统等方面有重要应用价值。
人工智能学院课题组导师周广东教授为第一作者，段书凯教授为末位通讯。南方科技大学周菲迟教授和李杰博士、西南大学宋群梁与王丽丹教授、西安交通大学孙柏教授、蚕桑纺织与生物质科学学院/家蚕基因组国家重点实验室程岚副教授、西南大学资源环境工程学院任芝君博士，西南大学材料学院王文花/胥高博博士、香港大学机械工程系陈小蝶博士是本论文的作者。本研究受到了国家自然科学基金联合基金重点项目(No. U20A20227), 西南大学含弘研究员人才项目(No. SWU020019), 重庆市自然科学基金联合基金重点项目(2023NSCQ-LZX0142)等资助。
文章链接：https://doi.org/10.1038/s41467-023-43944-2