当前位置:
X-MOL 学术
›
IEEE Commun. Surv. Tutor.
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
A Human-Centric Metaverse Enabled by Brain-Computer Interface: A Survey
IEEE Communications Surveys & Tutorials ( IF 34.4 ) Pub Date : 2024-04-10 , DOI: 10.1109/comst.2024.3387124 Howe Yuan Zhu 1 , Nguyen Quang Hieu 2 , Dinh Thai Hoang 2 , Diep N. Nguyen 2 , Chin-Teng Lin 3
IEEE Communications Surveys & Tutorials ( IF 34.4 ) Pub Date : 2024-04-10 , DOI: 10.1109/comst.2024.3387124 Howe Yuan Zhu 1 , Nguyen Quang Hieu 2 , Dinh Thai Hoang 2 , Diep N. Nguyen 2 , Chin-Teng Lin 3
Affiliation
The growing interest in the Metaverse has generated momentum for members of academia and industry to innovate toward realizing the Metaverse world. The Metaverse is a unique, continuous, and shared virtual world where humans embody a digital form within an online platform. Through a digital avatar, Metaverse users should have a perceptual presence within the environment and can interact and control the virtual world around them. Thus, a human-centric design is a crucial element of the Metaverse. The human users are not only the central entity but also the source of multi-sensory data that can be used to enrich the Metaverse ecosystem. In this survey, we study the potential applications of Brain-Computer Interface (BCI) technologies that can enhance the experience of Metaverse users. By directly communicating with the human brain, the most complex organ in the human body, BCI technologies hold the potential for the most intuitive human-machine system operating at the speed of thought. BCI technologies can enable various innovative applications for the Metaverse through this neural pathway, such as user cognitive state monitoring, digital avatar control, virtual interactions, and imagined speech communications. This survey first outlines the fundamental background of the Metaverse and BCI technologies. We then discuss the current challenges of the Metaverse that can potentially be addressed by BCI, such as motion sickness when users experience virtual environments or the negative emotional states of users in immersive virtual applications. After that, we propose and discuss a new research direction called Human Digital Twin, in which digital twins can create an intelligent and interactable avatar from the user’s brain signals. We also present the challenges and potential solutions in synchronizing and communicating between virtual and physical entities in the Metaverse. Finally, we highlight the challenges, open issues, and future research directions for BCI-enabled Metaverse systems.
中文翻译:
由脑机接口实现的以人为中心的元宇宙:一项调查
人们对元宇宙的兴趣日益浓厚,为学术界和工业界的成员提供了动力,为实现元宇宙世界而进行创新。元宇宙是一个独特的、连续的、共享的虚拟世界,人类在在线平台上以数字形式体现。通过数字化身,Metaverse 用户应该在环境中具有感知存在,并且可以交互和控制周围的虚拟世界。因此,以人为本的设计是元宇宙的关键要素。人类用户不仅是中心实体,也是丰富元界生态系统的多感官数据的来源。在这项调查中,我们研究了脑机接口(BCI)技术的潜在应用,这些技术可以增强元界用户的体验。通过直接与人脑(人体最复杂的器官)进行通信,BCI 技术拥有以思维速度运行的最直观的人机系统的潜力。 BCI技术可以通过这种神经通路为元宇宙提供各种创新应用,例如用户认知状态监控、数字化身控制、虚拟交互、想象语音通信等。本次调查首先概述了元宇宙和BCI技术的基本背景。然后,我们讨论了 BCI 可能解决的 Metaverse 当前的挑战,例如用户体验虚拟环境时的晕动病或用户在沉浸式虚拟应用程序中的负面情绪状态。之后,我们提出并讨论了一个名为“人类数字孪生”的新研究方向,其中数字孪生可以根据用户的大脑信号创建智能且可交互的化身。 我们还提出了元宇宙中虚拟实体和物理实体之间同步和通信的挑战和潜在解决方案。最后,我们强调了支持 BCI 的 Metaverse 系统面临的挑战、悬而未决的问题和未来的研究方向。
更新日期:2024-04-10
中文翻译:
由脑机接口实现的以人为中心的元宇宙:一项调查
人们对元宇宙的兴趣日益浓厚,为学术界和工业界的成员提供了动力,为实现元宇宙世界而进行创新。元宇宙是一个独特的、连续的、共享的虚拟世界,人类在在线平台上以数字形式体现。通过数字化身,Metaverse 用户应该在环境中具有感知存在,并且可以交互和控制周围的虚拟世界。因此,以人为本的设计是元宇宙的关键要素。人类用户不仅是中心实体,也是丰富元界生态系统的多感官数据的来源。在这项调查中,我们研究了脑机接口(BCI)技术的潜在应用,这些技术可以增强元界用户的体验。通过直接与人脑(人体最复杂的器官)进行通信,BCI 技术拥有以思维速度运行的最直观的人机系统的潜力。 BCI技术可以通过这种神经通路为元宇宙提供各种创新应用,例如用户认知状态监控、数字化身控制、虚拟交互、想象语音通信等。本次调查首先概述了元宇宙和BCI技术的基本背景。然后,我们讨论了 BCI 可能解决的 Metaverse 当前的挑战,例如用户体验虚拟环境时的晕动病或用户在沉浸式虚拟应用程序中的负面情绪状态。之后,我们提出并讨论了一个名为“人类数字孪生”的新研究方向,其中数字孪生可以根据用户的大脑信号创建智能且可交互的化身。 我们还提出了元宇宙中虚拟实体和物理实体之间同步和通信的挑战和潜在解决方案。最后,我们强调了支持 BCI 的 Metaverse 系统面临的挑战、悬而未决的问题和未来的研究方向。