人体动作识别方法、人体动作识别系统及设备

　　2.根据权利要求1所述的人体动作识别方法，其特征在于，获取动作类别的具体步骤包括：

　　3.根据权利要求2所述的人体动作识别方法，其特征在于，利用所述人体关节点序列构建人体关节点图的具体步骤包括：

　　将构建的人体关节点图记为g＝(v，e)，其中v表示图的顶点集合，v＝{vtit＝1，…，t，i＝1，…，n}，t表示骨骼序列的数量，n表示一张图片检测的关节点数目；vti表示第t张图片第i个关节点，e表示图的边，由两部分组成，分别是一帧图像内关节点的连接状态e1以及不同帧之间关节点的连接状态ed，e1是一帧图像的不同关节点之间的物理连接状态，ed是不同帧之间同一个关节点的连接，为了方便后续捕捉时序特征而定义的一个虚拟物理连接；在实现过程中，利用一个n×n的邻接矩阵a来表示同一帧内关节点的连接状态，如果关节点i和关节点j存在物理连接则aij为1，否则为0。

　　4.根据权利要求2所述的人体动作识别方法，其特征在于，生成第二向量的具体步骤包括：

　　在每一个图卷积层中，执行两个不同维度的操作，一个是在空间维度上执行图卷积操作，一个是在时间维度上执行普通卷积操作；

　　5.根据权利要求4所述的人体动作识别方法，其特征在于，在空间维度上执行图卷积操作的具体步骤包括：

　　在空间维度上，对于每一帧人体关节点图执行图卷积操作以捕获不同关节点之间的联系，具体实现如下式所示：

　　上式中i表示单位矩阵，a是邻接矩阵，d是度矩阵，dii＝∑i(aij+iij)，xin是输入，是一个n×u的张量；w是图卷积层的权重参数，用于对特征进行变换。

　　6.根据权利要求4所述的人体动作识别方法，其特征在于，在时间维度上执行普通卷积操作的具体步骤包括：

　　在时间维度上，针对相邻帧之间的同一个关节点执行通用卷积操作以捕捉每一个关节点随着时间发生的变化。

　　7.根据权利要求1所述的人体动作识别方法，其特征在于，获取第一向量的具体步骤包括：

　　从视频帧中选取若干图片，将所述若干图片分别输入在imagenet上预训练的resnet-50残差网络，将最后一个全连接层的输出作为图片的特征，获得若干初始向ued运动科技量，对所述若干初始向量取平均值，得到第一向量。

　　视频帧获取模块，用于获取包含人体动作行为的视频，对视频帧进行重采样和预处理；

　　人体关节点序列提取模块，用于基于人体骨骼信息获得视频帧对应人体关节点序列；

　　动作类别获取模块，将所述图像特征与所述人体关节点序列输入深度神经网络，获取动作类别。

　　9.一种人体动作识别设备，其特征在于，所述人体动作识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人体动作识别程序，所述人体动作识别程序被所述处理器执行时实现如权利要求1至7中任一项所述的人体动作识别方法的步骤。

　　10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人体动作识别程序，所述人体动作识别程序被处理器执行时实现如权利要求1至7中任一项所述的人体动作识别方法的步骤。

　　本发明提供了一种人体动作识别方法、人体动作识别系统、设备，所述人体动作识别方法，包括：获取包含人体动作行为的视频，对视频帧进行重采样和预处理；提取视频帧的图像特征；基于人体骨骼信息获得视频帧对应人体关节点序列；将所述图像特征与所述人体关节点序列输入图卷积神经网络，获取动作类别。通过将包含有环境信息的图像特征和人体关节点序列构建模型，对环境变化鲁棒且能充分利用环境信息进行人体动作识别，准确率ued运动科技高。