北大黄铁军团队 | 专题综述：视觉信息的神经解码

微信：点击阅读微信原文

神经编码是理解大脑如何处理来自外部环境刺激的重要课题。神经解码旨在解读出隐藏于不同神经信号中的信息。视觉神经解码技术可以帮助推动脑机接口等工程应用的发展，并帮助研究人员实现对大脑更全面的理解。北京大学黄铁军教授团队综述梳理了视觉神经解码的研究进展，介绍了不同采集设备记录的各种神经信号模态，特别是新出现的双光子钙成像信号数据，并总结了不同神经解码方法的优缺点。此外，作者还收集整理了公开研究资源，包括公共神经数据和软件工具包，以方便研究人员进行神经解码研究。全文发表于Machine Intelligence Research(MIR)2022年第五期专题“类脑机器学习”中。

全文导读

在日常生活中，来自外部环境的各类感知信息都会通过不同模态传输至大脑，经过大脑处理后产生一系列应对行为。在这些感知模态当中，视觉毫无疑问是引发大脑与外部环境交互的最主要因素。人类近70%的感知信息来源于视觉，占比远超听觉系统、触觉系统及其他感官系统之和。视觉感知、处理及视觉信息转换均需借助视觉系统完成，进而构建大脑对视觉环境的表征，视觉系统是中枢神经系统的一部分。其由眼睛、视网膜、神经纤维构成，可将视觉信息传递至丘脑、上丘以及部分大脑皮层中。

当前，研究者们能够通过不同的神经信号采集方法、如脉冲信号、脑电信号、功能性磁共振成像信号等，从视觉系统不同部位（如视网膜、外侧膝状体、初级视觉皮层等）的大脑活动中收集神经信号。由于神经采集设备的差异，不同记录方法在广度、规模及准确性上也存在着差异。

神经编码是理解大脑如何处理来自外部环境刺激的重要课题。神经解码旨在解读出隐藏于不同神经信号中的信息。

对于视觉而言，神经编码的主要目标是理解神经元如何对自然视觉信息进行感知和响应。然而，视觉信息的神经解码旨在尽可能多地恢复来自神经响应的原始刺激，如下图所示。这对于发展人工视觉至关重要，相关技术可应用于脑机接口以及虚拟现实设备当中。

 两种视觉神经解码过程

近几十年，许多研究关注视觉通路中的各种神经解码机制问题。根据不同的解码目标，可大致将这些机制划分为三大类：1 视觉刺激分类，即特定刺激被划分至最佳匹配图像组；2 视觉刺激识别，即视觉刺激被识别为特定的物体种类；3 视觉刺激重建，引起神经响应的视觉刺激被重建。

考虑到线性方法具有可解释性、计算效率高的特点，大部分早期神经解码方法依赖于线性解码这种范式。虽然线性解码方法能够从神经响应中解码出空间均匀分布的白噪音刺激以及自然场景刺激的大致结构，但难以重构自然图像中的视觉细节信息。  

最新的神经解码方法运用非线性方法对复杂视觉刺激进行精确重构。例如，一些研究者将最优贝叶斯方法用于白噪音视觉刺激解码中，但这种方法对于包含大量神经元数量的神经元群解码泛化能力有限。对于自然场景图像的解码，一些研究者使用关键的先验信息进行贝叶斯推断，这种方法的缺点是进行贝叶斯近似的计算成本较高。一些研究者尝试将线性方法和非线性方法结合，通过钙成像数据重构自然刺激的粗略结构。此外，许多研究者已经开始将深度学习方法成功应用于视觉神经解码，这些研究成果为人工视觉领域带来巨大的推动。

视觉神经解码是一个重要研究课题，视觉神经解码技术可以帮助推动脑机接口等工程应用的发展，并帮助研究人员实现对大脑形成更全面的理解。考虑到视觉神经解码相关技术的快速发展，对该领域进行全面和最新研究进展的综述是研究界所亟需的。

本篇综述梳理了视觉神经解码的研究进展，介绍了各种神经信号模态，特别是新出现的钙成像信号数据。本文总结了不同神经解码方法的优缺点。此外，作者还收集整理了公开研究资源，包括公共神经数据和软件工具包，以方便研究人员进行神经解码研究。最后，本文对该研究领域中的挑战和未来方向进行了展望。本文旨在对视觉系统中的神经解码进行综述，以启发神经科学和交叉学科研究人员了解神经解码的最新进展和现阶段面临的问题。这将推动相关研究领域尤其是人工智能和类脑视觉系统的发展。

点击此处，阅读全文