当前位置：
X-MOL 学术
›
Adv. Intell. Syst.
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Robotic Manipulator-Assisted Omnidirectional Augmented Reality for Endoluminal Intervention Telepresence
Advanced Intelligent Systems ( IF 6.8 ) Pub Date : 2023-11-08 , DOI: 10.1002/aisy.202300373
Zecai Lin 1 , Zheng Xu 1 , Huanghua Liu 1 , Xuyang Wang 1 , Xiaojie Ai 1 , Cheng Zhou 1 , Bidan Huang 2 , Weidong Chen 1 , Guang-Zhong Yang 3 , Anzhu Gao 1
Advanced Intelligent Systems ( IF 6.8 ) Pub Date : 2023-11-08 , DOI: 10.1002/aisy.202300373
Zecai Lin 1 , Zheng Xu 1 , Huanghua Liu 1 , Xuyang Wang 1 , Xiaojie Ai 1 , Cheng Zhou 1 , Bidan Huang 2 , Weidong Chen 1 , Guang-Zhong Yang 3 , Anzhu Gao 1
Affiliation
|
Robotic telemedicine can provide timely treatment to critical patients in geographically remote locations. However, owing to the lack of depth information, occlusion of instrument, and view direction limitations, visual feedback from the patient to the clinician is typically unintuitive, which affects surgical safety. Herein, an omnidirectional augmented reality (AR)-assisted robotic telepresence for interventional medicine is developed. A monocular camera is used as an AR device with a manipulator, where virtual key anatomies and instruments are superimposed on video images using multiobject hand–eye calibration, iterative closest point, and images superposition algorithms. The view direction of the camera can be changed via the manipulator, which allows the key anatomies and instruments to be viewed from different directions. Structure-from-motion and multi-view stereo algorithms are used to reconstruct the scene on the patient's side, thus providing a virtual reality (VR) interactive interface for the manipulator's safe teleoperation. Two different phantom experiments are conducted to validate the effectiveness of the proposed method. Finally, an ex vivo experiment involving a porcine lumen is performed, in which the operator can view the interventional flexible robot. The proposed method integrates omnidirectional AR and VR with robotic telepresence, which can provide intuitive visual feedback to clinicians.
中文翻译：
机器人操纵器辅助全向增强现实腔内干预远程呈现
机器人远程医疗可以为地理位置偏远的危重患者提供及时的治疗。然而，由于缺乏深度信息、仪器遮挡和视野方向限制，患者向临床医生的视觉反馈通常不直观，这影响了手术安全。在此，开发了一种用于介入医学的全向增强现实（AR）辅助机器人远程呈现。单目相机被用作带有操纵器的 AR 设备，其中使用多目标手眼校准、迭代最近点和图像叠加算法将虚拟关键解剖结构和仪器叠加在视频图像上。可以通过操纵器改变相机的视角方向，从而可以从不同方向查看关键解剖结构和仪器。采用运动结构和多视角立体算法来重建患者一侧的场景，从而为机械手的安全远程操作提供虚拟现实（VR）交互界面。进行了两个不同的模型实验来验证所提出方法的有效性。最后，进行了涉及猪腔的离体实验，操作员可以在其中观察介入柔性机器人。该方法将全向 AR 和 VR 与机器人远程呈现相结合，可以为临床医生提供直观的视觉反馈。
更新日期：2023-11-08
中文翻译：
机器人操纵器辅助全向增强现实腔内干预远程呈现
机器人远程医疗可以为地理位置偏远的危重患者提供及时的治疗。然而，由于缺乏深度信息、仪器遮挡和视野方向限制，患者向临床医生的视觉反馈通常不直观，这影响了手术安全。在此，开发了一种用于介入医学的全向增强现实（AR）辅助机器人远程呈现。单目相机被用作带有操纵器的 AR 设备，其中使用多目标手眼校准、迭代最近点和图像叠加算法将虚拟关键解剖结构和仪器叠加在视频图像上。可以通过操纵器改变相机的视角方向，从而可以从不同方向查看关键解剖结构和仪器。采用运动结构和多视角立体算法来重建患者一侧的场景，从而为机械手的安全远程操作提供虚拟现实（VR）交互界面。进行了两个不同的模型实验来验证所提出方法的有效性。最后，进行了涉及猪腔的离体实验，操作员可以在其中观察介入柔性机器人。该方法将全向 AR 和 VR 与机器人远程呈现相结合，可以为临床医生提供直观的视觉反馈。
京公网安备 11010802027423号