人体动作识别方法及装置与流程

　　导航：X技术最新专利计算;推算;计数设备的制造及其应用技术

　　本专利针对传统视频监控依赖性强、成本高的问题，提出基于热释电红外传感器的双自由度定位方法。通过径向-环形与中心角-扇形掩膜划分空间，结合极坐标转换、粒子滤波器优化定位精度，最终利用双层随机森林融合位置与速度数据实现动作识别，无需视频监控即可完成室内人体跟踪与动作分类。

　　世界人口迅速老龄化，提高老年人的生活质量显得尤为重要，并且有巨大的社会效益。对老年人的日常行为进行监控可以为老年人提供及时的帮助。目前用于日常动作识别的主要有两种方法：基于视觉系统和基于可穿戴传感器。但是基于视觉系统的动作识别存在着以下缺点：由于其内在的数据关联问题和需要处理大量的数据，通过视频识别人体活动是非常具有挑战性的；视觉数据通常易受环境因素的影响，例如不良的光照条件和遮挡；使用照相机很可能会涉及到隐私问题。与基于视觉的动作识别系统相比，基于可穿戴式传感器的系统没有数据关联问题，并且需要处理的数据较少，但是如果需要穿戴过多的传感器，这对用户来说是非常繁琐的。热释电红外传感器作为安全系统的一部分已经在很多地方有应用，包括家庭，银行，图书馆等。热释电红外传感器价格便宜，可以方便地安装在任何的室内环境并且不需要被佩戴或携带。热释电红外传感器作为一种被动的红外传感器，其性能不受照明变化的影响。然而，对于单个热释电红外传感器，其输出是原始正弦状信号，只能用于检测人体动作是否发生，无法判断人体的动作类型。

　　有鉴于此，本发明实施例的目的在于提供一种人体动作识别方法，以改善上述的问题。

　　本发明提供了一种人体动作识别方法，包括：将每个数据帧中的人体目标的距离信息和角度信息计算出人体目标位置的初始值；对所述计算出的人体目标位置的初始值进行处理，确定每个数据帧中人体目标位置的确定值；根据两个连续数据帧中的人体目标位置的确定值计算获得人体目标的移动速度；根据所述人体目标位置的确定值和所述人体目标的移动速度，构建随机森林，计算识别得出人体目标的动作类型。

　　本发明实施例还提供一种人体动作识别装置，所述装置包括：位置计算单元，用于根据每个数据帧中的人体目标的距离信息和角度信息计算出人体目标位置的初始值；位置确定单元，用于对所述人体目标位置的初始值进行处理，确定每个数据帧中人体目标位置的确定值；速度计算单元，用于根据两个连续数据帧中的人体目标位置的确定值计算获得人体目标的移动速度；动作识别单元，用于根据所述人体目标位置的确定值和所述人体目标的移动速度，构建随机森林，计算识别得出人体目标的动作类型。

　　本发明提供的一种人体动作识别方法及装置，所述方法通过将每个数据帧中的人体目标的距离信息和角度信息计算出人体目标位置的初始值；对所述计算出的人体目标位置的初始值进行处理，确定每个数据帧中人体目标位置的确定值；根据两个连续数据帧中的人体目标位置的确定值计算获得人体目标的移动速度；根据所述人体目标位置的确定值和所述人体目标的移动速度，构建随机森林，计算识别得出人体目标的动作类型。人体动作识别方法增加了识别的精确度，无需通过视频监控等方式即可实现对室内人体目标的位置跟踪和动作类型识别，可广泛地应用于室内人体跟踪和日常动作识别领域中，很好的应用前景。

　　为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

　　为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

　　图标：100-人体动作识别系统；101-存储器；102-存储控制器；103-处理器；104-外设接口；105-通信单元；106-热释电红外传感器；1061-第一类热释电红外传感器；1062-第二类热释电红外传感器；200-人体动作识别装置；210-解码单元；211-距离获取单元；212-角度获取单元；220-位置计算单元；230-位置确定单元；231-权重计算子单元；232-权重归一化子单元；240-速度计算单元；250-动作识别单元；251-第一随机森林子单元；252-第二随机森林子单元。

　　下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

　　应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

　　在本发明的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

　　在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。

　　在本发明的描述中，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。术语“包括ued体育”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

　　下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

　　于本发明实施例所提供的人体动作识别方法及装置可以应用于如图1所述的人体动作识别系统100中，请参阅图1，人体动作识别系统100包括人体动作识别装置200、存储器101、存储控制器102、处理器103、外设接口104、通信单元105和热释电红外传感器106(pir)。

　　所述存储器101、存储控制器102、处理器103、外设接口104、通信单元105各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述人体动作识别装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述人体动作识别系统100的操作系统(operatingsystem，os)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所人体动作识别装置200包括的软件功能模块或计算机程序。

　　处理器103可能是一种集成电路芯片，具有信号的处理能力。上述的处理器103可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器103等。

　　所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104，处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

　　通信单元105可以通过有线或者无线的方式与其他通讯终端建立通信连接，实现数据的交互。

　　热释电红外传感器106用于通过于所述通信单元105连接，热释电红外传感器106用于采集人体目标的数据信息，并将采集到的数据信息传输至处理器103。

　　于本发明中，热释电红外传感器106包括第一类热释电红外传感器1061和第二类热释电红外传感器1062。

　　请参阅图2，本实施例提供了一种本发明较佳实施例提供的人体动作识别装置200的功能模块示意图。人体动作识别装置200包括：解码单元210、位置计算单元220、位置确定单元230、速度计算单元240和动作识别单元250。

　　解码单元210用于解析热释电红外传感器106传输的检测信号以生成人体目标的位置信息。于本发明实施例中，请参阅图3，所述解码单元210包括距离获取单元211和角度获取单元212，其中，距离获取单元211对应用于解码第一类热释电红外传感器单元(图未示)的检测信号获取人体目标的距离信息。

　　在本实例中，热释电红外传感器106的采样频率为15赫兹。在进一步处理之前，数据流将被分割成数据帧。每个数据帧为30个采样点，约为2秒。两个连续数据帧之间有15个采样点是重叠的，如图8所示。在每个数据帧中，窗口的大小为15个采样点，因此，在每个数据帧中将存在最多16个定位结果。

　　于本实施例中，热释电红外传感器106包括第一类热释电红外传感器单元和第二类热释传感器单元(图未示)；第一类热释电红外传感器单元采用圆形掩膜以实现径向-环形的视场调制。如图4所示，第一类热释电红外传感器单元包括多个(例如，5个)第一类热释电红外传感器1061组成的第一类热释电红外传感器阵列，将5个第一类热释电红外传感器1061分别配备不同半径的圆形(或环形)掩膜并进行复用，可以将检测区域划分为半径不同的5个圆环区域，如图5所示。距离获取单元211根据第一类热释电红外传感器单元的输出的检测信号，可解码得出人体目标所处的环形区域的半径，即是本实施例中的人体目标所处位置的距离信息r。

　　于本实施例中，所述人体动作识别系统100可以包括多个采样单元，每个采样单元包括多个热释电红外传感器106。

　　其对应的编码表如表1所示。编码规则采用优先编码，即传感器1的优先级最高，传感器5的优先级最低。

　　表1中，x表示0或1。例如，当所述第一类热释电红外传感器单元传输的检测信号为(0，0，0，0，1)时，距离获取单元211解码得出人体目标的位置处于编号为5的第一类热释电红外传感器1061的环形检测区域，即是r＝3.5m。

　　同理，角度获取单元212对应用于解码第二类热释电红外传感器单元的检测信号生成人体目标的角度信息。

　　于本实施例中，所述第二类热释电红外传感器单元采用不同弧度的扇形掩膜以实现中心角-扇形的视场调制。第二类热释电红外传感器单元包括多个(例如，4个)第二类热释电红外传感器1062，将4个第二类热释电红外传感器1062分别配备相同半径不同角度的扇形掩膜并进行复用，可以将检测区域划分为角度不同的8个扇形区域，每个扇区的角度为45°。如图6所示。角度获取单元212根据第二类热释电红外传感器单元的输出的检测信号，可解码得出人体目标所处的扇形区域的角度。即是本实施例中的人体目标所处位置的角度信息θ。

　　其对应的编码表如表2所示，编码采用优先编码的方式，任何两个相邻的扇区只有一位传感器的输出有所不同。

　　位置计算单元220用于根据解码单元210解码得出的人体目标的距离信息和角度信息，计算得出人体目标位置的初始值。

　　计算出人体目标位置的初始值，其中，(x，y)表示人体目标位置的初始值，r表示在掩膜掩蔽下第一类热释电红外传感器单元复用，被改造为环形全椎体视场的半径，也就是人体目标的位置信息。θ表示第二类热释电红外传感器单元复用被改造为扇形的视场的对应角度，也就是人体目标的角度信息。

　　本发明采用上述的双自由度调制模型，可实现任意粒度的视场调制，将检测区域划分为任意大小的胞元。从而确定人体目标位置的初始值(x，y)。

　　位置确定单元230用于利用粒子滤波器，对所述人体目标位置的初始值进行滤波处理，确定每个数据帧中人体目标的估计位置。

　　具体地，位置确定单元230包括权重计算子单元231和权重归一化子单元232，请参阅图7。

　　其中，权重计算子单元231用于进行第l个样本的权重计算，所采用的计算公式如下所示：

　　其中，表示第l个样本的权重，表示在第t个时刻有l个定位结果的数据帧，l＝1，...，n；zt-1表示人体目标的前一个位置；若当前位置的概率是服从二维高斯分布，σ表示观测模型的方差。如果则将被丢弃，其中γ是验证的阈值。

　　将相同数据帧内l个有效的人体目标位置的权重归一化。从而根据归一化计算后的权重值，根据公式：

　　速度计算单元240用于根据两个连续数据帧中的人体目标位置计算获得人体目标的移动速度。

　　具体地，可以根据两个连续数据帧中的人体目标的前后两个位置的确定值，计算出两个连续数据帧中人体目标位置之间的距离，从而根据计算得出的距离值以及两个连续数据帧之间的间隔时间计算获得人体目标的移动速度。

　　其中，vt表示人体目标在第t个数据帧中的移动速度；(xt，yt)和(xt-1，yt-1)表示两个连续数据帧中的人体目标位置的确定值；t表示两个数据帧之间的时间间隔。

　　动作识别单元250用于根据所述人体目标位置的确定值和所述人体目标的移动速度，构建随机森林，计算识别得出人体目标的动作类型。

　　动作识别单元250包括第一随机森林子单元251和第二随机森林子单元252。请参阅图8，具体地，第一随机森林子单元251用于将人体目标位置的确定值和移动速度{xt，yt，vt}作为输入，构造第一层随机森林，初步识别该数据帧中的人体目标的动作类型。具体包括：

　　(1)训练多棵cart(classificationandregressiontree)，对于每棵树，其使用的训练集是从总的训练集中有放回采样出来的；在训练每棵树的节点时，使用的特征是从所有特征中按照一定比例随机无放回抽取的子特征。选择信息增益最大的特征作为节点，其采用的计算公式如下所示：

　　其中，x代表被选取的其中一个特征，y代表动作类别，h(x)代表x的信息熵，h(xy)代表给定y的情况下x的条件熵，ι(x；y)代表给定y的情况下x的信息增益。

　　(2)训练出多棵cart后，计算子特征向量x所代表的数据帧被判为动作类别c的后验概率，所采用的计算公式如下所示：

　　其中vj(x)代表子特征向量x属于决策树tj(j＝1,2,,…,t)的叶子节点，p(cνj(x))代表子特征向量x属于动作类别c(1,2,…,n)的后验概率，其归一化后的后验概率为

　　计算特征向量被判为某个动作类别的平均后验概率。其中，gc(x)值最大的动作类别即为第一层随机森林的判断结果。

　　第一层随机森林识别的动作类型有5种：走、坐、躺、站，以及过度类型(走-站，坐-躺)。

　　第二随机森林子单元252用于建立第二层随机森林，识别人体目标的动作类型。具体地，根据人体目标位置的确定值、速度和相同动作的持续时间作为输入，构造第二层随机森林。

　　具体地，将特征向量{xt，yt，vt，dt}作为第二层随机森林的输入，，构造第二层随机森林，根据第一层随机森林初步判断的动作类型，以及初步判断动作类型的持续时间，通过第二层随机森林进行判断。将第二层随机森林的输出作为最终的动作类型判定结果。

　　其中，xt，yt表示人体目标在t时刻的人体目标位置，vt表示人体目标在t时刻的移动速度，dt表示相同动作的持续时间。

　　请参照图9，图9为本发明较佳实施例提供的一种人体动作识别方法的流程图。所述方法包括：

　　其中，检测信号为数字信号，人体目标的位置信息可以通过视角区域的距离信息即距离视角中心点的半径及角度确定。于本发明实施例中，所述步骤s101可以由解码单元210执行。具体地，步骤s101包括子步骤s1011～s1012。请参阅图10。

　　子步骤s1011：解码第一类热释电红外传感器单元的检测信号以获取人体目标的距离信息。

　　于本实施例中，第一类热释电红外传感器单元将5个第一类热释电红外传感器1061分别配备不同半径的圆形掩膜并进行复用以实现径向-环形的视场调制，将检测区域划分为半径不同的5个圆环区域，第一类热释电红外传感器1061检测人体目标所处圆环区域的位置以生成检测信号。解码所述检测信号，可以得到人体目标所处于圆环区域的半径，即是人体目标所处位置的距离信息。

　　子步骤s1012：解码第二类热释电红外传感器单元的检测信号以获取人体目标的角度信息。

　　于本实施例中，第二类热释电红外传感器单元将4个第一类热释电红外传感器1062分别配备不同角度的扇形掩膜并进行复用以实现中心角-扇形的视场调制，将检测区域划分为角度不同的8个扇形区域，第二类热释电红外传感器1062检测人体目标所处扇形区域的位置以生成检测信号。解码所述检测信号，可以得到人体目标所处于扇形区域的角度，即是人体目标所处位置的角度信息。

　　在本实例中，热释电红外传感器106的采样频率为15赫兹。在进一步处理之前，数据流将被分割成数据帧。每个数据帧为30个采样点，约为2秒。两个连续数据帧之间有15个采样点是重叠的，在每个数据帧中，窗口的大小为15个采样点，因此，在每个数据帧中将存在最多16个定位结果。

　　步骤s102：根据人体目标的距离信息和角度信息，计算出人体目标位置的初始值。

　　将解码得到的每一帧数据中的人体目标的距离信息和角度信息带入极坐标系中，根据公式：

　　计算出人体目标位置的初始值，其中，(x，y)表示人体目标位置的初始值，r表示在掩膜掩蔽下热释电红外传感器106复用，被改造为环形全椎体视场的半径，即是人体目标的位置信息。θ表示热释电红外传感器106复用被改造为扇形的视场的对应角度，即是人体目标的角度信息。

　　步骤s103：对所述人体目标位置的初始值进行处理，获取每个数据帧中人体目标位置的确定值。

　　利用粒子滤波器，对计算得出的人体目标位置初始值进行滤波处理从而确定每个数据帧中人体目标位置的确定值。需要注意的是，还可以选用卡尔曼滤波器等其余的算法，本发明对此不做限定。具体地，步骤s103包括子步骤s1031～s1032。请参阅图11。

　　公式中，表示在第t时刻有l个定位结果的数据帧，l＝1，...，n；zt-1表示人体目标的前一个位置；若当前位置的的概率是服从高斯分布，σ表示观测模型的方差，如果则将被丢弃，其中γ是验证的阈值。

　　将相同数据帧内l个有效的人体目标位置的权重归一化。从而根据归一化计算后的权重值，根据公式：

　　步骤s104：根据两个连续数据帧中的人体目标位置的确定值计算获得人体目标的移动速度。

　　根据两个连续数据帧中的人体目标的前后两个位置，计算出两个连续数据帧中人体目标位置之间的距离，从而根据计算得出的距离值以及两个连续数据帧之间的间隔时间计算获得人体目标的移动速度。

　　其中，vt表示人体目标在第t个数据帧中的移动速度；(xt，yt)和(xt-1，yt-1)表示两个连续数据帧中的人体目标位置的确定值；t表示两个数据帧之间的时间间隔。

　　根据所述人体目标位置和所述人体目标的移动速度，构建随机森林，计算识别得出人体目标的动作类型。

　　步骤s105可以由动作识别单元250执行。步骤s105包括子步骤s1051～s1052。请参阅图12。

　　将人体目标位置的确定值和移动速度{xt，yt，vt}作为输入，构造第一层随机森林，初步识别该数据帧中的人体目标的动作类型。根据动作类型的识别结果计算相同动作的持续时间。

　　将特征向量{xt，yt，vt，dt}作为第二层随机森林的输入，构造第二层随机森林，将第二层随机森林的输出作为最终的动作类型判定结果。

　　其中，xt，yt表示人体目标在t时刻的估计位置，vt表示人体目标在t时刻的移动速度，dt表示相同动作的持续时间。

　　综上所述，本发明提供了一种人体动作识别方法及装置，应用于人体动作识别系统。其中，所述方法包括：将每个数据帧中的人体目标的距离信息和角度信息代入极坐标系中计算出人体目标位置的初始值；对计算出的人体目标位置的初始值进行滤波处理，确定每个数据帧中人体目标位置的确定值；根据两个连续数据帧中的人体目标位置的确定值计算获得人体目标的移动速度；根据所述人体目标位置和所述人体目标的移动速度，构建随机森林，计算识别得出人体目标的动作类型。所述方法通过距离信息和角度信息采用双自由度的划分调制，通过使用粒子滤波器和数据融合的方式提高人体目标定位的准确度随机森林并将识别结果作为最终的动作分类结果，从而提高动作识别的准确率，无需通过视频监控等方式即可实现对室内人体目标的位置跟踪和动作类型识别，可广泛地应用于室内人体跟踪和日常动作识别领域中，很好的应用前景。

　　以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。