In recent years, single modality-based gait recognition has been extensively explored in the analysis of medical images or other sensory data, and it is recognized that each of the established approaches has different strengths and weaknesses. As an important motor symptom, gait disturbance is usually used for diagnosis and evaluation of diseases; moreover, the use of multimodality analysis of the patient's walking pattern compensates for the one-sidedness of single modality gait recognition methods that only learn gait changes in a single measurement dimension. The fusion of multiple measurement resources has demonstrated promising performance in the identification of gait patterns associated with individual diseases. In this article, as a useful tool, we propose a novel hybrid model to learn the gait differences between three neurodegenerative diseases, between patients with different severity levels of Parkinson's disease, and between healthy individuals and patients, by fusing and aggregating data from multiple sensors. A spatial feature extractor (SFE) is applied to generating representative features of images or signals. In order to capture temporal information from the two modality data, a new correlative memory neural network (CorrMNN) architecture is designed for extracting temporal features. Afterward, we embed a multiswitch discriminator to associate the observations with individual state estimations. Compared with several state-of-the-art techniques, our proposed framework shows more accurate classification results.

中文翻译：

---

神经退行性疾病的多峰步态识别。

近年来，基于单模态的步态识别已在医学图像或其他感官数据的分析中得到了广泛探索，并且公认的是，每种已建立的方法都具有不同的优点和缺点。作为重要的运动症状，步态障碍通常用于疾病的诊断和评估。此外，对患者步行模式的多模态分析的使用弥补了仅学习单个测量维度上步态变化的单模态步态识别方法的单一性。多种测量资源的融合已证明在识别与个别疾病相关的步态模式方面有希望的表现。在本文中，作为有用的工具，我们提出了一种新颖的混合模型，通过融合和汇总来自多个传感器的数据来了解三种神经退行性疾病之间，帕金森氏病严重程度不同的患者之间以及健康个体与患者之间的步态差异。空间特征提取器（SFE）用于生成图像或信号的代表性特征。为了从两个模态数据中捕获时间信息，设计了一种新的相关记忆神经网络（CorrMNN）体系结构来提取时间特征。之后，我们嵌入了一个多开关鉴别器，将观察值与各个状态估计相关联。与几种最新技术相比，我们提出的框架显示了更准确的分类结果。通过融合和汇总来自多个传感器的数据，在帕金森氏病严重程度不同的患者之间，以及在健康个体与患者之间。空间特征提取器（SFE）用于生成图像或信号的代表性特征。为了从两个模态数据中捕获时间信息，设计了一种新的相关记忆神经网络（CorrMNN）体系结构来提取时间特征。之后，我们嵌入了一个多开关鉴别器，将观察值与各个状态估计相关联。与几种最新技术相比，我们提出的框架显示了更准确的分类结果。通过融合和汇总来自多个传感器的数据，在帕金森氏病严重程度不同的患者之间，以及在健康个体与患者之间。空间特征提取器（SFE）用于生成图像或信号的代表性特征。为了从两个模态数据中捕获时间信息，设计了一种新的相关记忆神经网络（CorrMNN）体系结构来提取时间特征。之后，我们嵌入了一个多开关鉴别器，将观察值与各个状态估计相关联。与几种最新技术相比，我们提出的框架显示出更准确的分类结果。空间特征提取器（SFE）用于生成图像或信号的代表性特征。为了从两个模态数据中捕获时间信息，设计了一种新的相关记忆神经网络（CorrMNN）体系结构来提取时间特征。之后，我们嵌入了一个多开关鉴别器，将观察值与各个状态估计相关联。与几种最新技术相比，我们提出的框架显示了更准确的分类结果。空间特征提取器（SFE）用于生成图像或信号的代表性特征。为了从两个模态数据中捕获时间信息，设计了一种新的相关记忆神经网络（CorrMNN）体系结构来提取时间特征。之后，我们嵌入了一个多开关鉴别器，将观察值与各个状态估计相关联。与几种最新技术相比，我们提出的框架显示了更准确的分类结果。我们嵌入了一个多开关鉴别器，将观察结果与各个状态估计相关联。与几种最新技术相比，我们提出的框架显示了更准确的分类结果。我们嵌入了一个多开关鉴别器，将观察结果与各个状态估计相关联。与几种最新技术相比，我们提出的框架显示了更准确的分类结果。