基于动态贝叶斯网络的手势识别

作者:侯亭亭;肖秦琨;杨永侠 刊名:国外电子测量技术 上传者:吴娟

【摘要】研究了动态手势的识别技术,实现人机交互。采用HSV空间的肤色模型实现手势定位,光流场算法进行手势追踪,具有较好的快速性、准确性和鲁棒性。提出应用链码描述手势运动矢量,双手相对位置标量以及双手与脸的相对位置标量,将多条链码作为动态手势的特征进行提取。建立了一个动态手势识别的动态贝叶斯网络模型,将一部分手势链码作为训练样本,通过对DBNs的推理学习实现手势识别。实验构建动态手势识别系统,可应用于多媒体、智能电器或幻灯片控制之中。

全文阅读

1引言生活中,人们通过自然语言和肢体语言可以清晰表达自己的意图,自然语言会因为地域的不同受很大的影响,肢体语言是全世界通用的语言,受地域的影响比较少,其中,手势可以最自然、简单并且直观地实现人与外界一切的沟通[1]。随着计算机技术的快速发展,人们更加希望计算机可以清晰识别自己表达的意思,作出相应的操作,利用手势进行人机交互成为研究的热点。手势识别技术已由最初的基于硬件设备输入发展为基于视觉的识别技术,其通过采集手势的视觉信息,从图像中提取手势,进行识别,实现与计算机的人机交互[2]。目前,国内外已取得的研究成果[3]包括:Lee、Kim的文献中,其方法实现了识别率为93.14%,美国密歇根州的CybernetSystems技术研发公司成功开发的一套名为GestureStorm的软件系统;吴江琴、高文通过研究ANN-HMM混合方法,成功开发出由18个传感器构成的Cyber-Glover型号数据手套的中国手语识别系统,它采用基于视觉的技术实现单手或双手完成的动态手势识别。2基于DBNs的手势识别技术2.1手势定义它定义了10个动态手势,其具有一定的控制性含义,其分别具有的含义如图1所示,其中黑点表示手势起点,有向矢量代表手势运动轨迹。它使用单目USB摄像头拍摄了100个avi格式的视频库,拍摄速度为30帧/s,像素为640480,其中每个含义的手势拍摄了10个视频。图1动态手势及其含义2.2基于肤色模型的手势定位视频中,首先对手势的双手区域进行检测。手和脸部的肤色是其最明显的特征,可以较容易从周围的环境中提度较快、效率较高。相关研究表明,不同人的肤色相差主要是饱和度与亮度的不同,而在色度上的差异并不大。在计算机视觉中,HSV色彩空间采用色调H、饱和度S和亮度V3个维度来表示颜色,可以成功将3个变量分别开来。它首先将视频的每帧图像由RGB空间转换到HSV空间[4],进而设定一个与肤色相近的H阈值区间,再对图像的像素点H值进行判断,如果输入像素在其区间内,则被认为是肤色像素。他根据式(1)[5]实现由RGB空间转化为HSV空间。选择一个肤色区域,同样根据式(1)将其转化为HSV空间,根据其绘制出肤色的H分量分布图,得到肤色的H阈值,最终它设置肤色的H的阈值区间为:0.01H0.1,使用该阈值实现肤色定位。V=max(R,G,B)S=1-min(R,G,B)/VH=,GB2-,G<B,=arccos-1[(R-G)+(R-B)]2(R-G)2槡+(R-B)(G-B{}烅烄烆烅烄烆)(1)2.3基于光流法的手势跟踪它在图像中定位出肤色位置之后,发现会有许多小面积的肤色区域出现,通过设置肤色区域面积的阈值进行去除小面积的肤色区域,获得准确的双手和脸的肤色区域,分别计算3个区域的重心,分别用M1,M2,M3表示,即用3个重心来近似表示双手和脸的位置,如图2所示。图2肤色区域重心对运动的手势进行跟踪,进而描述手势,一般实现方法有基于Meanshift算法[6]、基于卡尔曼滤波模型算法、基于光流法等。它使用光流法,不仅可以定位手势和追踪手势,同时可以定量计算出手势运动矢量。光流是指空间运动物体在观测成像面上的像素运动的瞬时速度。设I(x,y,t)是图像序列中成像点(x,y)在时刻t的亮度,如果u(x,y)和v(x,y)是该点光流的x和y分量,假如间隔时间足够小,图像有恒定亮度,即运动物体的图像有相同的灰度,得到光流场约束方程:Ixu+Iyv+It=0(2)目前计算光流失量的方法[7]主要有HS算法、Lucas-Kanade算法和金字塔算法,其中LK算法相较于HS算法

参考文献

引证文献

问答

我要提问