人体姿态检测论文

给一张图片，判断图片中的人物在做什么，对于人来说通常并不困难。但是，怎么让机器也学会判断呢？从静态的姿态识别，到动态的动作识别，再到将不同情景下的同一个人识别出来，机器已经变得越来越聪明。 1、2D、3D姿态识别   非常强大，很适合入门，通读后再对具体细节进行深究。 还介绍了动作识别：要识别出人物的动作通常需要连续的视频数据进行分析处理，需要采集的特征通常有单帧图像数据的特征和多帧图像数据之间时间上的特征，简单来说就是静态帧数据+ 帧间数据 。 2、DensePose开源了，2D变3D人体姿势实时识别 对其中一种方法（人体姿势实时识别系统DensePose）的直观介绍 3、SkeletonNet：完整的人体三维位姿重建方法  对SkeletonNet模型进行具体介绍 4、人体姿态估计（人体关键点检测）分类与经典方法分析（附GitHub地址 ） 菜鸡要努力 人体姿态估计（Human Pose Estimation）也称为人体关键点检测（Human Keypoints Detection）。 对于人体姿态估计的研究，简要介绍了各种方法。 1、行为识别 人体骨架检测+LSTM      yengjie 2、解读：基于动态骨骼的动作识别方法ST-GCN（时空图卷积网络模型）    我是婉君的 3、基于3D关节点的人体动作识别综述       叶落寒蝉 是一篇针对论文的翻译 1、用单张2D图像重构3D场景     zouxy09 2、【深度相机系列三】深度相机原理揭秘--双目立体视觉      计算机视觉life 介绍的很详细 3、双目摄像机测深度原理       西海岸看日出 可以看作是上一篇的精简版 4、 真实场景的双目立体匹配（Stereo Matching）获取深度图详解 给出了一个具体的实践例子

人体姿态估计是计算机视觉中一个很基础的问题。从名字的角度来看，可以理解为对“人体”的姿态（关键点，比如头，左手，右脚等）的位置估计。   人体姿态估计可以分为两种思路， （1）“top-down”，它指先检测人体区域，再检测区域内的人体关键点。

已有"bottom-up"方法缺点：（1）未利用全局上下文先验信息，也即图片中其他人的身体关键点信息；（2）将关键点对应到不同的人物个体，算法复杂度太高。   文章改进点：提出“Part Affinity Fields (PAFs)”，每个像素是2D的向量，用于表征位置和方向信息。基于检测出的关节点和关节联通区域，使用greedy inference算法，可以将这些关节点快速对应到不同人物个体。

损失函数是保证网络能收敛的最重要的关键点，因此作者对两分支的损失函数均采用L2 loss。训练时，每个阶段都会产生loss，避免梯度消失；预测时只使用最后一层的输出。公式表示如下： 其中， 表示branch1 的label图，也称为heatmap; 是branch2 的label图 ，也称为vectormap。另外，考虑到有些训练数据集只标注了图片中部分人物的关节点，因此对损失函数采用了空域加权操作，W表示二值化mask矩阵，当位置p的标签缺失时其值为0，否则值为1。显然，对于未被标记的人物关节点 ，而被标记的人物关节点和非关节点 ,所以未被标记的人物关节点不会影响模型的学习过程，整个CNN网络架构的优化目标函数如下，

实际上就是使用2D高斯分布建模，求出一张图像上身体j部位的heatmap，记第k个人的第j个关节的heatmap为 ， 表示位置信息，则有：    表示了使用part affinity fields（PAF）建模骨骼区域，对于骨骼区域内的每一个像素，使用2D向量同时表征位置和方向信息，这里的方向指代当前骨骼对应的关节点对的连接方向，对应vectormap。以下图的骨骼区域为例

经过上述过程，我们已经得到各个关节点的坐标图--heatmap，与关节对连接的vectormap，现在的问题就是如何合理地在推理阶段将各个关节连接成一段骨骼，并将它们组装成一个人？    关节拼接 ：对于任意两个关节点位置 和 ，通过计算PAFs的线性积分来表征骨骼点对的相关性，也即表征了骨骼点对的置信度，公式表示如下， 为了快速计算积分，一般采用均匀采样的方式近似这两个关节点间的相似度，    多人检测 ：由于图片中人数不确定，同时伴随遮挡、变形等问题，因此只使用上述计算关节对相似度，只能保证局部最优，因此作者利用greedy relaxation的思想生成全局较优的搭配。具体操作如下： （1）已知不同关节点的heatmap，也就是不同人的某个关节点的点集； （2）现在要将不同的点集进行唯一匹配，如：一群表示手肘的点集和手腕的点集，两点集中的点必须存在唯一匹配； （3） 关节点之间的相关性PAF已知，将关键点作为图的顶点，将关键点之间的相关性PAF看为图的边权，则将多人检测问题转化为二分图匹配问题，并用匈牙利算法求得相连关键点最优匹配。

由上图可知，COCO数据集总共有18个关键点，17个肢体骨架，但heatmap多了一个背景图，vectormap多了耳朵和肩膀的肢体，为什末要虚构这麽一个肢体呢，因为有时候人体是背对相机的，眼睛这个关键点是不可见的，为了更好的预测耳朵，引入这两个个肢体（也就是关节对：2-16和5-17）。所以总共有19个肢体，应为vectormap为矢量，预测时分为x,y两个分量，所以有19*2=38

完全参考 ，结合2.4节中vectormap( )的计算公式与绿色虚线框内的区域以点集数学公式理解。   关键是叉乘的几何意义是两个向量所组成的平行四边形的面积，所以 就表示与向量 平行距离为 的区域，也就是骨骼宽度。

后来论文作者对网络结构进行了改进，使得效果更好，速度更快，参考文献【11】。

【1】 Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields 【2】 人体姿态估计的过去、现在和未来 【3】 论文解读-Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields 【4】 Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields【菜鸟读者】 【5】 知乎：openpose笔记 【6】 openpose论文总结：Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields 【7】 详细介绍匈牙利算法步骤 【8】 Github 项目 - OpenPose 关键点输出格式 【9】 openpose的细节处理 【10】 tf-openpose人体姿态估计标签生成--heatmap--vectormap 【11】 OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields