关键点检测论文集

oks是关键点检测中的一个评价指标，其中keypoint similarity指一个关键点预测结果和标注之间的相似度，其定义为，其中 表示预测结果， 表示ground truth， 是物体（instance）的像素面积， 是和关键点类型相关的，也就是说即使距离相同，不同关键点其ks是不一样的。上面的公式中，相似度和距离呈反比，和 呈正比，和面积也呈正比。关键点影响因子 是从5000张标注图片中计算得到的， 表示关键点未标注， 表示关键点有遮挡但已经标注， 表示关键点无遮挡且已标注。 在条件成立时为1否则为0 在评估一个算法时，先找出所有ground truth oks最大的预测点，然后OKS的阈值变化从，大于阈值的认为时True Positive，否则是False Positive，而没有匹配的gt关键点认为是False Negative，即可以得到 AP （图像级别的计算AP）。 pck是在oks之前广泛使用的关键点检测评价指标，是以关键点为单位计算的指标。对于一个检测器 来说其PCK为表示关键点检测器， 表示关键点是否和gt匹配的阈值。 表示测试集合， 表示检测器预测位置，而 表示其gt。一般来说人体关键点检测中 取值为人头像素scale的、、...分别计算得到不通阈值下的pck，同理也可以卡不通的阈值来获取 AP 这个指标计算和PCK类似，不过其参考的scale是输入图片的大小， 因此指标并不是归一化的，关键点最小框面积占输入图片面积越小这个指标越低，仅仅用作训练时的一个参考指标[1] Matteo Ruggero Ronchi, Pietro Perona. Benchmarking and Error Diagnosis in Multi-Instance Pose Estimation. ICCV, 2017. [2] Leonid Pishchulin, Eldar Insafutdinov . DeepCut: Joint Subset Partition and Labeling for Multi Person Pose Estimation. CVPR, 2016. [3] Tomas Simon, Hanbyul Joo . Hand Keypoint Detection in Single Images using Multiview Bootstrapping. CVPR, 2017.

cornerNer论文链接： github： CenterNet论文链接： github： CornerNe-Lite论文链接: github: 所谓基于关键点进行目标检测，其实就是使用one-stage网络将目标边界框检测为一对关键点（即边界框的左上角和右下角）。通过将目标检测为成对关键点，就可消除现有的one-stage检测网络中对一组anchors的需要，这个最近火热的anchor-free也是不谋而合。接下来，先简单介绍下CornetNet和CenterNet这两个基于特征点的目标检测网络。最后对CornerNet-Squeeze做个简单介绍！ CornerNet网络的整体思路是，首先通过Hourglass Network网络进行特征提取，紧接着将网络得到的特征输入到两个模块： Top-left Corner pooling 和 Bottom-right Corner pooling 提取关键点的特征，对于每个Corner Pooling模块都会进行目标框的左上角关键点和右下角关键点的类别分类（ Heatmaps ），并找到每个目标的一对关键点（ Embeddings ），以及减少基于坐标回算目标目标位置时的偏置（ offsets ）。网络的整体结构图如下： 很显然，CornerNet的核心是四个部分： 最终，如下图所示，上半支路的网络结果如下所示，网络最终是由两条支路组成的。 CenterNet网络主要是基于CornerNet网络存在的问题，而提出的基于关键点目标检测的网络。其实现了目前为止在one-stage系类算法中最高的MAP。CenterNet的作者发现，CornerNet是通过检测物体的左上角点和右下角点来确定目标，但在此过程中CornetNet使用corner pooling仅仅能够提取到目标边缘的特征，而导致CornetNet会产生很多的误检。基于此，CenterNet利用关键点 三元组 即 中心点、左上角关键点和右下角关键点 三个关键点而不是两个点来确定一个目标，使得网络能够获取到目标内部的特征。而CornerNet在论文中也说道了，约束其网络性能最重要的部分是关键点的提取，因此CenterNet提出了 Center Pooling 和 cascade corner Pooling 用来更好的提取本文提出的三个关键点。 作者基于Corner Pooling的系列思想，提出了Center Pooling的思想，使得网络提取到的中心点特征能够更好的表征目标物体。 最终，CenterNet在CornerNet的基础上增加了中心点的预测，以及修改了关键点特征的提取方式，大大减小了网络的误检，并且实现了one-stage系列算法中的最好效果。 普林斯顿大学在4月19号提出了两种更高效的基于关键点的目标检测算法，分别为： CornetNet-Saccade 和 CornetNet-Squeeze ，若将两种策略结合则称为 CornerNet-Lite 。以下是Cver对这两个网络的介绍，个人感觉写的很好，我就不造轮子了： 最终我最感兴趣的网络CornerNet-Squeeze和YOLOv3进行对比，达到了如下图所示的效果。 然而，就在我学习并总结这篇文章的过程中，我发现CornerNet-Squeeze是基于CornerNet改进的，但正如上文中介绍CenterNet的时候提到过的CornerNet所具有的那些弊端，我总觉得CornerNet-Squeeze在误检的部分不一定会很优秀，所以接下来就是看源码阶段了，希望CornerNet-Squeeze能够不负我望哈~