一种多模态人体动作识别方法技术
本发明专利技术涉及一种多模态人体动作识别方法，属于人体动作识别领域。通过ResNet152网络提取视频空间特征，Bi LSTM网络提取时间依赖特征，并进行特征编码。随后，利用改进的串联交叉注意力网络进行特征融合，其中交叉注意力模块采用随机脉冲滤波卷积矩阵进行初始化，将CNN的归纳偏差引入其中，提高模型数据有效性，使其更容易在小规模数据集上拟合。最终，融合特征通过全连接层和Softmax函数进行动作类别预测。本发明专利技术有效提升了多模态人体动作识别在小规模数据集上的性能，并增强了其普适性和通用性，适用ued官网体育于人机交互、监控视频、手势识别等多种场景。
1、人体动作识别是当前的研究热点。人体动作识别是对输入的视频或3d动作数据进行分析处理，以判断不同动作分别属于哪种类别。人体动作识别技术在人机交互场景、监控视频、手势识别、康复训练、机器人和行为理解等各种行业都有着实际的运用价值。近年来随着多模态概念研究的兴起，多模态动作识别逐渐成为研究热点。多模态动作识别旨在利用多模态输入来更好地识别人类活动。在多模态动作识别中，根据可见性数据模态大致可分为两类，即视觉模态和非视觉模态。rgb、骨架、深度、红外序列、点云和事件流在视觉上直观地表现了人的动作，可视为视觉模态。一般来说，视觉模式对人体动作识别非常有效。其中，rgb视频数据是人体动作识别最常见的数据类型，已广泛应用于监控系统中。骨架数据编码了人体关节的运动轨迹。当执行的动作不涉及物体或场景背景时，骨架数据对于人体动作识别来说简洁高效。
2、本专利技术考虑了rgb和骨骼模态的融合。rgb数据和骨骼序列可以大幅提升细粒度活动分析的准确性和效率。rgb数据捕获了活动场景的外观
2.根据权利要求1所述的一种多模态人体动作识别方法，其特征在于：所述步骤一中，卷积神经网络为ResNet152网络。
3.根据权利要求1所述的一种多模态人体动作识别方法，其特征在于：所述步骤四中，初始化策略包括将查询Q和键K初始化为随机脉冲滤波卷积矩ued官网体育阵。
4.根据权利要求1所述的一种多模态人体动作识别方法，其特征在于：所述步骤五中，串联交叉注意力网络包括：
5.根据权利要求4所述的一种多模态人体动作识别方法，其特征在于：所述第一交叉注意力模块和第二交叉注意力模块采用交叉初始化
2.根据权利要求1所述的一种多模态人体动作识别方法，其特征在于：所述步骤一中，卷积神经网络为resnet152网络。
3.根据权利要求1所述的一种多模态人体动作识别方法，其特征在于：所述步骤四中，初始化策略包括将查询q和键k初始化为随机脉冲滤波卷积矩阵。
