手势识别论文开题报告

手势是指在人的意识支配下,人手作出的各类动作,如手指弯曲、伸展和手在空间的运动等,可以是收稿日期: 2000 - 05 - 15基金项目: 行业基金项目(院编96311)作者简介: 曾芬芳(1940 - ) ,女,湖南益阳人,华东船舶工业学院教授。执行某项任务,也可以是与人的交流,以表达某种含义或意图。基于手势识别的三维交互输入技术,常用的有基于数据手套的和基于视觉(如摄象机) 的手势识别。人手有20 多个关节,其手势十分复杂,在VR(Virtual Reality) 中的交互过程,需分析手势的形成并识别其含义。如用户以自然方式抓取环境中的物体,同时还可以对用户产生相关的感知反馈,如对具有力反馈的手套,就能使人感知到抓取的物体的重量,对有触觉反馈的手套,能感知到用户所碰到的物体的质感,如毛毯有多粗糙等。所以计算机要能对人手运动的灵活、复杂的手势进行识别是一项艰难而又十分有意义的任务。手势的分类早在40 年代,心理学家Quek[7 ] . ,Pavlovic[8 ]等人从人机接口的角度对手势进行研究,按其功能分为:手的运动无意识的手运动有意识的手运动(手势交流手势表动作表符号(手语)引用手语(如表示数字)情态手势执行任务(如抓握锤) 手势不但由骨胳肌肉驱动,而且还受人的信念、意识的驱使,它涉及到人的思维活动的高级行为。人机交互的研究目的之一是使机器对人类用户更方便,从用户产生手势到系统“感知”手势的过程[9 ]如图1 所示。图1 系统“感知”手势的过程Fig. 1 Process of sensing gesture by the system手的运动,是手势的表现形式。用户的操作意图是用户要完成任务的内容, 即用户心理活动(概念手势) G ,经过运动控制(变换) ,用手势运动H 表达。由经感受设备(变换Thi) 将手的运动H 变换为系统的输入信息I ,所以从G到I的映射过程为:Tgh : G → H , 即H > Tgh ( G)Thi : H → I , 即I > Thi ( H)Tgi : G → I , 即I > Thi ( Tgh ( G) ) > Tgi ( G)其中, Tgh 为人体运动控制传送函数; Thi为输入设备传送函数。手势识别的任务就是从系统输入I 推断、确定用户意图G ,显然是以上映射的逆过程。即G = T- 1gi ( I) ( 1 )H = T- 1hi ( I) ( 2 )G = T- 1gh ( H) ( 3 )其中, T- 1gi , T- 1hi , T- 1gh 是Tgi , Thi , Tgh 的逆变换。所以手势识别可以采用H = T- 1hi ( I) 时输入信息I ,得到手的运动H ,再由G = T- 1gh ( H) 手势的表示推断用户手势的概念意图,也可直接从G = T- 1gi ( I) 求得概念手势G。手势识别分为静态手势和动态手势的识别,目前的研究大都是在线静态手势识别,如Lee 研究的就是静态孤立手势[10 ] 。动态手势识别难度大,一般采用关键帧方法,记录每个手势的始和终状态及手势的运动轨迹,然后用内插算法重建帧,但仍需给予限制,如Davis研究的动态手势识别就规定开始时手必须朝上等。 手势的语法信息是通过手的构形、手的运动变化来传递。为了给用户提供必要的视觉反馈信息, 使其在交互过程中看到自己的手(图2 是用3DSMAX 绘制) ,同时也为了分析交互过程中手和虚拟对象之间的相互作用关系,必须建立手几何模型和运动学模型。 人手是一个多肢节系统, 由27 块骨骼组成, 可看成由4 个相邻手指、一个大拇指和手掌组成, 每个手指由指段和关节组成。因此手是一种由关节相连的结构, 随着关节运动, 手的形状在不断变化。这种变化可以通过指段和关节的状态空间位置的变化来描述[11 ] 。每一个手指( Ⅱ - Ⅴ) 具有四个自由度,其中手指的基部(MP) 有两个自由度,弯曲和旋转,手指的中间关节处(PIP)和末端关节处(DIP) 分别各有一个自由度,主要是弯曲运动。大拇指除了与其他四个手指一样具有四个自由度外, 还有一个外展运动,所以大拇指具有五个自由度(拇指和手掌之间的一节也可不考虑) 。外加手掌的前后左右运动二个自由度。所以手运动总共具有23 个自由度,即状态空间为23 维。从上述的分析可知,除大拇指外每个手指都具有四个自由度,从而可以建立一条链,以协调手指的机构及运动。整个手可以以手掌为基础链接五个手指( Ⅰ - Ⅴ) ,在指段MP 上链接指段PIP ,再链接指段DIP ,每条链可以获取四个参数。从而五个手指以手掌为根节点构成一个树型结构,树中的每一个节点代表一个关节,关节通过指段具有相互关联的运动特性。212 手势的输入手势的输入是实现手势交互的前提。它要求能够有效地跟踪手的运动, 又要方便用户手的运动, 既要求准确确定手的位置、方位、手指弯曲角度,又要求对手的运动限制很少。就目前而言, 手势的输入有基于数据手套的和基于视觉(摄象机) 等两种方式。21211 基于数据手套的手势输入基于数据手套的手势输入[12 ] ,是根据戴在手上的具有位置跟踪器的数据手套利用光纤直接测量手指弯曲和手的位置来实现手势输入的。本文使用5DT 公司生产的不带位置跟踪器的5th Glove 右手数据手套,每个手指中间关节有一个传感器用于测量手指的平均屈伸度,在手腕部位还有一个2 轴倾斜传感器测量手的转动(绕Z 轴旋转) 和倾斜(绕X 轴旋转) 两个角度,以探测手的上下摆动和旋转。该手套共带有七个传感器,因此同一时刻只能读出七个角度值。5th Glove 还提供命令、报告数据、连续数据、模拟鼠标等工作方式,可定义一指、二指和三指( Z 轴) 等手势来控制虚拟手的飞行、视点、运动速度等。5th Glove 数据手套通过串行接口与微机连接在一起,以传送手运动信号,从而控制手动作。它能将用户手的姿势(手势) 转化为计算机可读的数据, 因而使手去抓取或推动虚拟物体。人手在运动过程中会碰撞物体,所以在系统中,虚拟手的交互操作除了实现抓取和释放物体等功能外, 还需实现了碰撞的检测。21212 基于视觉的手势输入基于视觉的手势输入是采用摄象机捕获手势图象,再利用计算机视觉技术对捕获的图象进行分析,提取手势图象特征,从而实现手势的输入。这种方法使用户手的运动受限制较少,同时用户还可以直接看到手的图象。基于视觉的输入所输入的原始数据是手的图象,采用重建三维模型来构建手势图象,调节模型参数如手指弯曲角度的夹角等,以合成手的三维图形。根据手生成的图形和已获得的手图象匹配,所得到的模型参数就构成了手势。1995 年,Lee J intae 和Kunii Tosiyasv l. 研究用立体图像数据自动分析三维手势[4 ] 。它用摄像机拍摄手的运动图像,使用轮廓提取边界特征进行识别的方法,成功地提取27 个交互作用手参数,实现了三维手势的重构。其实早在1981 年, Kroeger 采用两个摄象机实现了一个获取手势的系统,它通过用户的手在与鼠标垫一般大小的“镜象盒”的3D 空间中来完成交互。两个镜子被放在大约与前平面成45 度角的位置上,两个镜子代替单个镜子产生了一个虚拟视点,加上两垂直平面上的两个摄象机共三个视点相交成直角,以提供给用户一个确定的工作空间,在这个空间内允许用户与计算机交互。

手势识别作为三维输入的实质是识别出用户通过手势运动表达自己的意图。显然这是一个模式识别问题,但又不完全相同。目前手势识别的图象分类算法很多,如Martin 采用句法模式识别方法[13 ] ,Sun 采用模板匹配和查表的方法[14 ] ,Quek 使用贝叶斯分类器,Su 等人采用组合神经网络[15 ] ,Huang 等人采用Hopfield 神经网络法,Boehm 等人使用SOM 法[16 ] ,Kin 采用模糊神经网络识别手势。从模式识别的角度来看,不论是使用数据手套,还是摄像机来输入手势,不论手势的表示方法如何,不论采用什么样的特征提取,都可以采用同样方法来识别手势。本文介绍传统几何学识别法和通过数据手套输入手势的神经网络识别法。

领域自适应： 多用于文本分类，属于直推式迁移学习，直推式迁移学习定义：给定一个源域和相应的学习任务，一个目标域和相应的学习任务，直推式学习旨在利用源域和目标域中相同的知识来提高目标域中的目标预测函数。 《基于深度学习的体态与手势感知计算关键技术研究》 基于深度学习的肌电手势识别： 并不需要任何附加信息或手工设计的特征提取器，基于高密度肌电信号（HD-sEMG），使用二维阵列电极采集的肌电信号，使得肌肉活动产生的电势场在时间和空间上的变化可被多个紧密分布在皮肤表面的电极同时记录下来。HD-sEMG中的肌电信号描绘了位于电极覆盖区域内的肌肉活动的时空分布，同时HD-sEMG的瞬时值呈现了在特定时间点肌肉活动所涉及的生理过程的相对全局的测量。瞬时HD-sEMG内部可区分出不同手势模式，可以将采集到的HD-Semg描绘出电势在空间的分布，其对应的热度图即为肌电图像，肌电图像中的像素数（分辨率）由其采集设备中的电极阵列决定，即电极的数量及其电极间距离（例如，具有16行8列的电极网格可W采集8*16像素的肌电图像）。主要是将原始肌电信号值从（-1，1）映射到（0，255），即，其中x是原始肌电信号，I是肌电图像。构建一个8层CNN结构，网络的前两个卷积层用于提取公共的底层图片特征，作者发现瞬时肌电图像在不同的空间位置上表现出不同的视觉特征。在不同手势中，肌电图像在中部偏下以及顶部的条状区域上亮度较强，提出在3，4层加入局部连接结构（受人脸识别前沿工作的启发），因为局部连接层在不同空间位置上的卷积模板的权重不共享，可以更好的提取图片上不同位置的特征。并依据单个窗口内每帧识别出的手势标签中所占比例最高的标签，因为上述实验仅适用于肌电幅值较大的数据进行训练和测试可以获得较高的手势识别准确率，因此需要对肌电信号采用全波整流和低通滤波（全波整流和低通滤波是被广泛采用的肌电信号幅值估计方法），以获取更好的肌电信号。基于深度领域自适应的肌电手势识别： 当训练集和测试集的肌电信号来自不同的采集会话的情况。因为电极位移，肌肉疲劳，电极和皮肤之间的阻抗变化等因素的干扰，肌电信号与采集会话高度相关，已经训练好的手势分类器直接被应用在新的会话时通常准确率较低。因为肌电信号的分布在不同的会话之间变化很大，所以来自不同会话的基于瞬时肌电信号的手势识别可以相应地表示为多源领域自适应问题。 当标定数据未标记时，该论文采用自适应批量归一化（AdaBN, Adaptive Batch Normalization）对手势分类器进行适配。假设用于区分不同手势的知识存储在每个层的权重中，AdaBN不需要适配数据的手势标签，而是随着无标签的适配数据的增加，逐步更新少量的网络参数。给定输入U，BN将其转换为V，其中第i个输入特征的转换公式为： l在训练阶段，每个BN层对于每个源域的均值统计量和方差统计量是独立计算的。因为训练阶段的BN对每个数据批次独立计算统计量，所以只需要确保每个数据批次中的样本来自同一个会话。 l识别阶段，对于给定的未标记数据A，AdaBN执行正向传播算法，更新参数。 该方法准确率：单幅，150毫秒窗口，而另一种算法特征集（150毫秒窗口）和线性判断：。 随机选择未标记的测试集的子集（，，1%，5%，10%）进行深度领域自适应，之后再评测整个测试集上的手势识别的准确率。最后观测到大约5%的适配数据后准确率达到巅峰，适配数据20000帧，在CSL-HDEMG的2048赫兹的采样率下大约10秒。 并且适配算法并不需要观测到所有种类的手势，从27种选择5个和13个进行适配，最终结果分别是（），（）另一种方法是肌电地势（sEMG topography），定义为肌电信号在时间上的二维平均强度图，其中每个像素是某个通道的肌电信号在特定时间窗口内的均方根，用于手势识别。 《Revealing Critical Channels and Frequency Bands for Emotion Recognition from EEG with Deep Belief Network》 在基于脑电信号的情感识别任务中，多通道脑电信号存在不相关的脑电信号，这不仅会引起噪声，还会降低系统对情感识别能力。该论文提出一种新的深度信念网（DBN）来检查用于情感识别的关键EEG信道和频段。 主要从行为和生理反应进行情感分析，因为EEG与表情手势相比，具有较高的准确性和客观评价性。该论文采用ESI神经扫描系统，从62通道电极帽以采样率为1000Hz记录脑电信号。每个实验有15个测试，每个测试包括15s提示，45s测试及反馈，5s休息。盖论文一共评价了30个实验。 先下采样原始脑电数据到200Hz，之后使用到50Hz的带通滤波器滤除噪声和伪影，之后采用之前提出的微分熵（differential entropy）特征[1][2]，对于固定长度的脑电信号，微分熵相当于一定频段内的对数能量谱。此前已经证明微分熵在低频和高频能量之间具有识别EEG模式的能力，因此在五个频段计算微分熵特征（δ：1-3Hz，θ：4 – 7Hz，α：8-13Hz，β：14-30Hz，γ：31-50Hz），使用256点的短时傅里叶变换，并将特征归一化到0-1。利用五个频段的去噪后的62通道的特征作为输入，DBN达到的准确率和标准差，本论文通过分析经过训练的DBN的权重分布来检验关键通道和频带，权重对于识别情感模型是很重要的，因为对于学习任务贡献较大的神经元权值将增加，不相关的神经元权值趋于随机分布，图1为权重在第一层神经网络训练后的分布，可以看出主要在beta和gamma波的权重最大，这说明此频带包含更重要的鉴别信息。  从图2中我们可以看出侧颞区和前额脑区相比其他脑区在beta和gamma频带更容易激活。因此可以得出结论，在识别积极，中性和负面情绪时侧颞叶和前额叶通道是关键通道，beta和gamma是关键频带。如图3所示，依据脑区中权重分布的特点，设计了四种不同的电极放置剖面，包括4通道，6通道，9通道和12通道，其中4通道的最佳平均精度和标准差为，而所有62通道的最佳平均精度和标准差为，这说明四个相对电极阻轮廓（four profiles of relative electrode sets）FT7,T7,FT8,T8是辨别情感特征的电极。 [1]Duan R N, Zhu J Y, Lu B L. Differential entropyfeature for EEG-based emotion classification[C]// International Ieee/embsConference on Neural Engineering. IEEE, 2013:81-84. [2]Zheng W L, Zhu J Y, Peng Y, et al. EEG-based emotionclassification using deep belief networks[C]// IEEE International Conference onMultimedia and Expo. IEEE, 2014:1-6. 脑电论文（大脑解码：行为，情绪）： Real-time naive learning of neural correlates in ECoG Electrophysiology 神经实时朴素学习相关的皮层电生理 地址： A Deep Learning Method for Classification of EEG Data Based on MotorImagery 基于运动表象的脑电数据分类的深度学习方法 地址： Affective state recognition from EEG with deep belief networks 基于深层信念网络的脑电情感状态识别 地址： A Novel Semi-Supervised Deep Learning Framework for Affective StateRecognition on EEG Signals 一种用于脑电信号情感状态识别的半监督深度学习框架 地址： Revealing critical channels and frequency bands for emotion recognitionfrom EEG with deep belief network 用深层信念网络揭示脑电情感识别的关键通道和频带 地址： EEG-based emotion recognition using deep learning network withprincipal component based covariate shift adaptation 基于深度学习网络的主成分协移自适应的脑电情感识别 地址： Classifying EEG recordings of rhythm perception 节律性脑电记录分类 地址： Using Convolutional Neural Networks to Recognize Rhythm Stimuli from Electroencephalography Recordings利用卷积神经网络识别脑电记录中的节律刺激 地址： Convolutional neural network with embedded Fourier transform for EEGclassification 基于嵌入傅立叶变换的卷积神经网络在脑电信号分类中的应用 地址： Continuous emotion detection using EEG signals and facial expressions 基于脑电信号和表情的连续情绪检测 地址： ‘Deep Feature Learning for EEG Recordings 脑电记录的深部特征学习 地址： 异常分类论文（阿兹海默症，癫痫，睡眠阶段检测）： Classification of Electrocardiogram Signals with Deep Belief Networks 基于深层信念网络的心电信号分类 Modeling electroencephalography waveforms with semi-supervised deepbelief nets: fast classification and anomaly measurement 半监督深信网模拟脑电波形：快速分类和异常测量 Deep belief networks used on high resolution multichannelelectroencephalography data for seizure detection 用于癫痫检测的基于高分辨率多道脑电图数据的深度信念网 地址： Deep Learning in the EEG Diagnosis of Alzheimer’s Disease 深层学习在阿尔茨海默病脑电诊断中的应用 Sleep stage classification using unsupervised feature learning 基于无监督特征学习的睡眠阶段分类 Classification of patterns of EEG synchronization for seizureprediction 癫痫发作的脑电同步模式分类 地址： Recurrent neural network based prediction of epileptic seizures inintra-and extracranial EEG 基于递归神经网络的颅内外脑电癫痫发作预测 EEG-based lapse detection with high temporal resolution 基于脑电信号的高时间分辨率检测 地址：