一种基于摄像头的体感识别系统和方法
【专利摘要】本发明公开了一种基于摄像头的体感识别系统，包括摄像头，所述基于摄像头的体感识别系统还包括识别模块，所述识别模块用于识别摄像头摄取的体感动作的类别。本发明的技术方案能有效解决体感系统如何更有效的与android和IOS平台融合的问题。
[0001] 本发明涉及一种体感识别系统和方法，具体涉及一种基于摄像头的体感识别系统 和方法。
[0003] (1)应用于游戏的AIWI手机体感识别技术：应用于游戏的AIWI手机体感识别技 术是基于加速传感器（感应重力）、距离感应器及三轴陀螺仪等硬件设备去感应手机在物 理空间上的运动，包括运动速度、加速度、轨迹ued体育等物理量，来模拟手机持有者的大幅度运动， 并基于这些数据设计一些运动类游戏。
[0004] (2)应用于微软的Kinect及Xbox设备的体感识别技术：应用于微软公司的 kinect及Xbox360等设备的体感识别技术，是通过设备自带的摄像头来采集输入数据，并 通过分析输入的图像数据，来进行体感识别活动。
[0006] (1)应用于游戏的AIWI手机体感识别技术，由于是基于对手机运动轨迹的识别， 故其无法把手机的运动和人体体感动作的变化分离，比如模拟弹钢琴；其识别的准确度不 高，细微的运动无法识别。
[0007] (2)应用于微软公司的kinect及Xbox360等设备的体感识别技术，缺点是成本过 高，且携带不够灵活，且计算量过大不适合移植于移动端的平台。
[0010] 本发明第一方面提供一种基于摄像头的体感识别系统：包括摄像头，所述基于摄 像头的体感识别系统还包括识别模块，所述识别模块用于识别摄像头摄取的体感动作的类 别。
[0011]基于摄像头的体感识别系统还包括用于显示识别模块传来的识别结果的显示模 块。
[0012] 识别模块包括感兴趣区域设定单元、体感识别单元，感兴趣区域设定单元经过体 感识别单元接至显示模块。
[0013] 识别模块还包括结果合成单元，感兴趣区域设定单元经过体感识别单元、合成单 元接至显示模块。
[0014] 本发明的另一方面提供一种基于摄像头的体感识别方法，包括以下步骤：
[0016] B、摄像头摄取体感动作原始图像，并将体感动作原始图像传给识别模块；
[0017] C、识别模块将体感动作原始图像与体感动作库文件进行匹配,得出识别结果，并 将识别结果显示在显示模块。
[0019]摄像头摄取体感动作原始图像，并将摄取的体感动作原始图像传递给感兴趣区域 设定单元。
[0021] C1、感兴趣区域设定单元将体感动作原始图像位于感兴趣区域内的部分裁剪，并 将裁剪的图像传递给体感识别单元；
[0022] C2、体感识别单元将从感兴趣区域设定单元接收到的图像进行皮肤色度检测和局 部特征点提取；
[0023] C3、体感识别单元将提取到的局部特征点通过描述子转化为特征向量；
[0024] C4、体感识别单元将所述特征向量与体感动作库文件内的各个体感动作的特征向 量进行匹配，得出识别结果；
[0025] C5、体感识别单元将所述识别结果所在的感兴趣区域的位置和大小反馈至感兴趣 区域设定单元；
[0029] C41、体感识别单元将所述特征向量与体感动作库文件内各个体感动作的特征向 量进行肤色角度个数距离的计算，计算式子如下
[0031]其中，η为体感动作库中的某个体感动作所具有的特征数，Ci及fCi分别为这次采 集到的图像所具有的第i个特征的肤色角度个数及该标准体感动作第i个特征所具有的肤 色角度个数，如果diSangldtal小于给定的阈值，阈值大于 3,小于15，则认为其可能与该体感 动作吻合，并将该吻合的体感动作进行记录；
[0032] C42、体感识别单元将特征向量与步骤C41筛选出的标准体感动作的特征向量进 行距离计算，公式如下：
[0034]其中n为体f动作库中的该体感动作所具有的特征数，m则为其肤色角度个数， au 及f&ij则分别为这次采集到的图像所具有的及标准体感动作的第i个特征下第j个肤色角 度的值。如果di San心小于给定的阈值，阈值大于3,小于15，则认为其可能与该体感动作吻 合，并将该吻合的体感动作进行记录；
[0035] C43、体感识别单元将特征向量与前两部筛选出的标准体感动作的特征向量进行 非肤色角度的匹配，其计算距离的公式如下：
[0037]其中n为体感动作库中该体感动作所具有的特征数，m则为其非肤色角度个数， η%及fnau.分别为图像所具有的及标准体感动作的第i个特征下第j个非肤色角度的值。 当所有的非肤色角度的距离都计算完毕后，选取其中距离最短的标准体感动作，将其设置 为这次的匹配结果并将其传送给结果合成单元。步骤 C6包含以下几个步骤：
[0039] C62、结果合成单元将接收到的识别结果所在的感兴趣区域在体感动作原始图像 上标示出，并在体感动作原始图像中识别结果所在的感兴趣区域上标注出识别结果的代 码；
[0040] C63、结果合成单元将体感动作原始图像发送至移动设备的显示屏进行显示。所述 感兴趣区域的设置方法为：第一次设置感兴趣区域时，默认感兴趣区域覆盖整个采集到的 图像，之后每次设置时，会根据体感识别单元反馈的所述识别结果所在的感兴趣区域的位 置和大小进行调整。
[0042] A、通过肤色检测后，体感特征识别模块会将接收到的图像进行蒙版处理；
[0043] B、以源图像的中心为圆心做n个同心圆，n即为特征数，n大于3,小于7,最大的 冋心圆半径为圆心到源图像边界的距尚rm, η个同心圆的半径依次为，a，r2,......，rn，且 满足.Vije ρ,η]η-ΓΗ?=Γ-ΓΗΡ此时在以ri为半径的圆上，等距的寻找360个点，标记为 Ρι.Ρ2……，p36Q，其值为该点所在位置的像素的灰度值，同时设置数列f\, f2,......, f36Q来表 示这360个点的特征，其中
1. 一种基于摄像头的体感识别系统，包括摄像头，其特征在于：所述基于摄像头的体 感识别系统还包括识别模块，所述识别模块用于识别摄像头摄取的体感动作的类别。
2. 根据权利要求1所述的一种基于摄像头的体感识别系统，其特征在于，所述基于摄 像头的体感识别系统还包括用于显示识别模块传来的识别结果的显示模块。
3. 根据权利要求2所述的一种基于摄像头的体感识别系统，其特征在于，所述识别模 块包括感兴趣区域设定单元、体感识别单元，感兴趣区域设定单元经过体感识别单元接至 显示模块。
4. 根据权利要求3所述的一种基于摄像头的体感识别系统，其特征在于，所述识别模 块还包括结果合成单元，感兴趣区域设定单元经过体感识别单元、合成单元接至显示模块。
5. -种基于摄像头的体感识别方法，包括以下步骤： A、 启动摄像头；B、 摄像头摄取体感动作原始图像，并将体感动作原始图像传给识别模块；C、 识别模块将体感动作原始图像与体感动作库文件进行匹配，得出识别结果，并将识 别结果显示在显示模块。
6. 根据权利要求5所述的一种基于摄像头的体感识别方法，所述步骤B为： 摄像头摄取体感动作原始图像，并将摄取的体感动作原始图像传递给感兴趣区域设定 单元。
7. 根据权利要求6所述的一种基于摄像头的体感识别方法，步骤C包含以下几个步 骤： C1、感兴趣区域设定单元将体感动作原始图像位于感兴趣区域内的部分裁剪，并将裁 剪的图像传递给体感识别单元；C2、体感识别单元将从感兴趣区域设定单元接收到的图像进行皮肤色度检测和局部特 征点提取；C3、体感识别单元将提取到的局部特征点通过描述子转化为特征向量；C4、体感识别单元将所述特征向量与体感动作库文件内的各个体感动作的特征向量进 行匹配，得出识别结果；C5、体感识别单元将所述识别结果所在的感兴趣区域的位置和大小反馈至感兴趣区域 设定单元；C6、体感识别单元将识别结果发送至显示模块进行显示。
8. 根据权利要求7所述的一种基于摄像头的体感识别方法，其中步骤C4中得出的识别 结果为某个体感动作。
9. 根据权利要求7所述的一种基于摄像头的体感识别方法，步骤C4包含以下几个步 骤： C41、体感识别单元将所述特征向量与体感动作库文件内各个体感动作的特征向量进 行肤色角度个数距离的计算，计算式子如下diSangleNum - Σ i e [1；n] [ Cj~fCj [其中，n为体感动作库中的某个体感动作所具有的特征数，Ci及fCi分别为这次采集到 的图像所具有的第i个特征的肤色角度个数及该标准体感动作第i个特征所具有的肤色角 度个数，如果disangldtal小于给定的阈值，阈值大于3,小于15,则认为其可能与该体感动作吻合，并将该吻合的体感动作进行记录；C42、体感识别单元将特征向量与步骤C41筛选出的标准体感动作的特征向量进行距 离计算，公式如下：disangle - Σ i e [ι,η] Σ j e [1；m] [ a^-fa^ [其中n为体感动作库中的该体感动作所具有的特征数，m则为其肤色角度个数，aij及 fay则分别为这次采集到的图像所具有的及标准体感动作的第i个特征下第j个肤色角度 的值。如果dismgle小于给定的阈值，阈值大于3,小于15,则认为其可能与该体感动作吻合， 并将该吻合的体感动作进行记录；C43、体感识别单元将特征向量与前两部筛选出的标准体感动作的特征向量进行非肤 色角度的匹配，其计算距离的公式如下：
其中η为体感动作库中该体感动作所具有的特征数，m则为其非肤色角度个数，naij及 fn%分别为图像所具有的及标准体感动作的第i个特征下第j个非肤色角度的值。当所 有的非肤色角度的距离都计算完毕后，选取其中距离最短的标准体感动作，将其设置为这 次的匹配结果并将其传送给结果合成单元。
10. 根据权利要求7所述的一种基于摄像头的体感识别方法，步骤C6包含以下几个步 骤： C61、体感识别单元将识别结果发送至结果合成单元；C62、结果合成单元将接收到的识别结果所在的感兴趣区域在体感动作原始图像上标 示出，并在体感动作原始图像中识别结果所在的感兴趣区域上标注出识别结果的代码；C63、结果合成单元将体感动作原始图像发送至移动设备的显示屏进行显示。
11. 根据权利要求7所述的一种基于摄像头的体感识别方法，其特征在于，所述感兴趣 区域的设置方法为：第一次设置感兴趣区域时，默认感兴趣区域覆盖整个采集到的图像，之 后每次设置时，会根据体感识别单元反馈的所述识别结果所在的感兴趣区域的位置和大小 进行调整。
12. 根据权利要求7所述的一种基于摄像头的体感识别方法，其特征在于，所述局部特 征点提取的方法为： A、 通过肤色检测后，体感特征识别模块会将接收到的图像进行蒙版处理；B、 以源图像的中心为圆心做η个同心圆，η即为特征数，η大于3,小于7,最大的同心圆半径为圆心到源图像边界的距离rm，η个同心圆的半径依次为，ri，r2,……，r n，且满 足Vi,j G n-m=rj-rH。此时在以A为半径的圆上，等距的寻找360个点，标记为Pi, P2,......，P36(l，其值为该点所在位置的像素的灰度值，同时设置数列f\，f 2,......，f36(l来表示这360个点的特征，其中
对于任意点Px，若其fx值为1，表示该点X为从背景到身体的过渡点，若fx值为2,表示 该点X为从身体到背景的过渡点；C、 将360个点中对应的f值为1的点整理为一个序列lp 12,……，lml，其中叫为f值 为1的点的个数，该序列中元素的值为其所对应的点在P序列中的编号，将360个点中对应的f值为2的点整理为一个序列D、 设置数列 angle angle2,......, anglem，，其中纖_% = i e [1, m],其中 anglei即为第i个肤色角度，m即为肤色角度的个数，同理设置数列angh^imgler.….angles，其中angle，1广1丨-i e [2, m]，其中ued体育ang!e丨即为第i个非肤色角度。然后将angl e序列和angle序列合起来作为第一个特征值，同理，依次在半径为r2，r3,……，rn的圆上做相同的操作，即 可得到第二个、第三个一直到第η个特征值；Ε、最后将这η个特征值合起来作为该次采集到的图像的体感动作特征值，即局部特征 点。
13.根据权利要求7所述的一种基于摄像头的体感识别方法，其特征在于，所述皮肤色 度检测的方法为： Α、将图像首先通过如下公式从rgb格式转化为YCbCr格式，Y = (0· 299*R+0. 587*G+0. 114*B)Cb = ((Β-Υ)*0· 564+128)Cr = ((R-y) *0· 713+128)，其中R，G，B分别表示像素的红，绿，蓝三个色度的值，对某一 个像素点，如果它属于集合{化〇3,0)丨〇3￡[129,78]，〇￡[134，172]}，则认为它是皮 肤像素点；B、 将图像的皮肤像素点提取完后，对图像进行降噪处理；C、 对于任意点（X，Y)，根据以下公式判断该点是否为皮肤：t(x，y) = (Not t(x_l，Y)AND Not t(X+l，y))OR(Not t(x，y_l)AND(x，y+l))。
针对传统体感游戏设备成本高、功耗大等问题，提出一种基于单目摄像头的墙面体感游戏设备。通过低端嵌入式平台搭载轻量化神经网络模型，实现低成本、低功耗的手势识别与交互反馈，支持多区域手势操作，提升设...
针对现有手势识别设备成本高、处理复杂的问题，提出一种结合红外测距传感器与摄像头的浮空手势识别装置。通过红外测距获取距离信息，配合摄像头二维图像数据，中央处理器融合处理实现低成本的三维手势识别，...
从事计算机控制等方面的教学工作，科研方向为智能算法在地质灾害预报等领域的交叉应用研究。
研究领域及方向： 1. 供应链复杂系统建模、仿线. 供应链数字化与智能决策； 3. 基于人工智能算法、机器学习的生产调度优化； 4. 物联网与大数据分析在供应链管控中的应用。
主要研究方向：云计算安全，物联网安全，人工智能安全，网络攻击检测，支付欺诈检测，公钥密码，隐私计算等。
