动作识别方法及系统与流程

　　1、动作识别，能够用于识别用户的动作种类，从而判断用户行为是否安全或是否符合要求，这在安全生产领域和病人老人看护等领域具有重要意义。

　　2、目前主流的动作分析技术主要通过视频分析技术进行。但是，受限于用户隐私等原因，在很多场景中无法使用摄像头采集用户图像进行分析。

　　3、近年来，随着可穿戴设备得到了快速的发展，动作识别的一种替换的方式是通过穿戴式识别进行识别。例如，公开号cn114779939a的中国专利申请公开了一种智能手表及通过智能手表进行手势识别的方法，该方法通过穿戴式的智能手表来识别用户手势。又例如，公开号cn106919958b的中国专利申请公开了一种基于智能手表的人体手指细微动作识别方，该方法也是通过穿戴式的智能手表来识别用户手势。

　　4、但是，穿戴式设备通常成本较高且电池续航时间较短。并且，受到成本和电池等因素限制，用户携带的传感器的数量和种类也受到限制，这也限制了动作识别算法可以达到的精度。

　　1、本技术的至少一个实施例提供了一种动作识别方法及系统，能够降低动作识别的成本，提高动作识别的准确性。

　　3、在用户执行不同动作种类情况下，获取所述用户佩戴的多个传感器采集的传感器数据；基于所述多个传感器采集的传感器数据，生成第一训练集；基于所述多个传感器中的部分传感器采集的传感器数据，生成第二训练集；

　　4、利用所述第一训练集训练一个教师模型，利用所述第二训练集训练一个学生模型，并在训练过程中利用所述教师模型指导所述学生模型的训练；

　　5、基于所述部分传感器采集到的待识别传感器数据，生成待识别数据并输入至训练得到的所述学生模型，获得所述学生模型输出的动作分类识别结果。

　　6、可选的，以上方法中，基于所述多个传感器采集的传感器数据，生成第一训练集；基于所述多个传感器中的部分传感器采集的传感器数据，生成第二训练集，包括：

　　7、针对每个动作种类，将用户在执行该动作种类情况下每个传感器采集的传感器数据序列，转换为该传感器对应的图像数据；将全部传感器对应的图像数据进行拼接，得到第一图像数据，并为所述第一图像数据打上该动作种类的标签，得到该动作种类对应的第一训练数据；将所述部分传感器对应的图像数据进行拼接，得到第二图像数据，并为所述第二图像数据打上该动作种类的标签，得到该动作种类对应的第二训练数据；

　　8、获得由不同的动作种类对应的第一训练数据组成的第一训练集，以及，获得由不同的动作种类对应的第二训练数据组成的第二训练集，其中，所述第二训练集为第一训练集的子集。

　　9、可选的，以上方法中，所述教师模型和学生模型均为卷积神经网络模型；所述卷积神经网络模型包括全连接层和多个卷积层；除作为输入层的首个卷积层外，所述教师模型和学生模型的各个层结构相同。

　　10、可选的，以上方法中，在训练过程中利用所述教师模型指导所述学生模型的训练，包括：

　　11、将同一动作种类对应的第一训练数据和第二训练数据，分别输入至所述教师模型和学生模型，获得所述教师模型的卷积层和全连接层得到的特征值以及所述教师模型的动作分类误差，以及，获得所述学生模型的卷积层和全连接层得到的特征值以及所述学生模型的动作分类误差；

　　12、根据所述教师模型和学生模型的各个卷积层得到的特征值，计算得到卷积层特征误差；

　　13、根据所述教师模型和学生模型的全连接层得到的特征值，计算得到模型输出误差；

　　14、根据所述教师模型的动作分类误差、学生模型的动作分类误差、所述卷积层特征误差和模型输出误差，计算得到综合误差；

　　16、可选的，以上方法中，所述学生模型输出的动作分类识别结果包括各个动作种类及其对应的置信度；所述方法还包括：

　　18、可选的，以上方法中，所述学生模型输出的动作分类识别结果包括各个动作种类及其对应的置信度；所述方法还包括：

　　20、根据预先获得的位置信息与动作种类的对应关系，确定所述第一位置信息对应的第一动作种类；

　　21、更新各个动作种类的置信度，其中，将所述动作分类识别结果中不属于所述第一动作种类的动作种类的置信度置0，以及，计算所述动作分类识别结果中属于所述第一动作种类的各个动作种类的置信度的和值，并分别计算所述动作分类识别结果中属于所述第一动作种类的各个动作种类的置信度与所述和值的商，作为各个动作种类更新后的置信度；

　　22、根据更新后的置信度，将最大置信度对应的剩余动作种类，作为所述待识别数据对应的动作种类。

　　26、根据本技术的另一方面，至少一个实施例提供了一种动作识别系统，包括：

　　27、采集模块，用于在用户执行不同动作种类情况下，获取所述用户佩戴的多个传感器采集的传感器数据；基于所述多个传感器采集的传感器数据，生成第一训练集；基于所述多个传感器中的部分传感器采集的传感器数据，生成第二训练集；

　　28、训练模块，用于利用所述第一训练集训练一个教师模型，利用所述第二训练集训练一个学生模型，并在训练过程中利用所述教师模型指导所述学生模型的训练；

　　29、识别模块，用于基于所述部分传感器采集到的待识别传感器数据，生成待识别数据并输入至训练得到的所述学生模型，获得所述学生模型输出的动作分类识别结果。

　　31、针对每个动作种类，将用户在执行该动作种类情况下每个传感器采集的传感器数据序列，转换为该传感器对应的图像数据；将全部传感器对应的图像数据进行拼接，得到第一图像数据，并为所述第一图像数据打上该动作种类的标签，得到该动作种类对应的第一训练数据；将所述部分传感器对应的图像数据进行拼接，得到第二图像数据，并为所述第二图像数据打上该动作种类的标签，得到该动作种类对应的第二训练数据；

　　32、获得由不同的动作种类对应的第一训练数据组成的第一训练集，以及，获得由不同的动作种类对应的第二训练数据组成的ued体育第二训练集，其中，所述第二训练集为第一训练集的子集。

　　33、可选的，所述教师模型和学生模型均为卷积神经网络模型；所述卷积神经网络模型包括全连接层和多个卷积层；除作为输入层的首个卷积层外，所述教师模型和学生模型的各个层结构相同。

　　35、将同一动作种类对应的第一训练数据和第二训练数据，分别输入至所述教师模型和学生模型，获得所述教师模型的卷积层和全连接层得到的特征值以及所述教师模型的动作分类误差，以及，获得所述学生模型的卷积层和全连接层得到的特征值以及所述学生模型的动作分类误差；

　　36、根据所述教师模型和学生模型的各个卷积层得到的特征值，计算得到卷积层特征误差；

　　37、根据所述教师模型和学生模型的全连接层得到的特征值，计算得到模型输出误差；

　　38、根据所述教师模型的动作分类误差、学生模型的动作分类误差、所述卷积层特征误差和模型输出误差，计算得到综合误差；

　　40、可选的，所述学生模型输出的动作分类识别结果包括各个动作种类及其对应的置信度；所述识别模块，还用于：将最大置信度对应的动作种类，作为所述待识别数据对应的动作种类。

　　41、可选的，所述学生模型输出的动作分类识别结果包括各个动作种类及其对应的置信度；所述系统还包括：

　　42、过滤模块，用于：获取所述部分传感器采集所述待识别传感器数据时的第一位置信息；根据预先获得的位置信息与动作种类的对应关系，确定所述第一位置信息对应的第一动作种类；更新各个动作种类的置信度，其中，将所述动作分类识别结果中不属于所述第一动作种类的动作种类的置信度置0，以及，计算所述动作分类识别结果中属于所述第一动作种类的各个动作种类的置信度的和值，并分别计算所述动作分类识别结果中属于所述第一动作种类的各个动作种类的置信度与所述和值的商，作为各个动作种类更新后的置信度；根据更新后的置信度，将最大置信度对应的剩余动作种类，作为所述待识别数据对应的动作种类。

　　44、显示模块，用于显示所述待识别数据对应的动作种类；或者，显示各个动作种类及其对应的置信度。

　　45、根据本技术的另一方面，至少一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时，实现如上所述的方法的步骤。

　　46、与现有技术相比，本技术实施例提供的动作识别方法及系统，由教师模型指导学生模型的训练，通过教师模型的知识传递，并通过设计特定的误差函数来更新模型，从而提高了学生模型对动作种类的识别精度，并减少了识别阶段用户需要佩戴的传感器的种类和数量，降低了方案的实施成本。另外，本技术实施例还利用位置信息对识别结果进行过滤，进一步提高了识别结果的准确性。