目标检测与跟踪论文笔记

经典方法：背景差分法

效果比较好的方法是：无参估计背景减除法——ViBe. 算法优点：思想简单，易于实现；样本衰减最优；运算效率高 算法缺点：把阴影当做前景；运动目标不完整。

优点：算法实现简单，程序设计复杂度低，运行速度快；动态环境自适应性强，对场景光线变化不敏感。

优点：实时性高

将单个目标的跟踪问题看作是MDP过程中的策略决定问题，从而多目标跟踪就变成了多个MDP的问题。

用MDP来建模一个物体，主要包括四个成分：

应用实例 1 ：视频监控

应用实例 2 ：导弹飞机识别 (1). 首先对飞机红外图像做处理，包括平移旋转缩放等等模拟飞机的运动，得到 连续帧图像 作为实验样本。 (2). 使用 聚类算法 判断红外图像中天空背景的复杂度，然后采用 分割算法 分割出飞机；如果 天空背景 比较简单，就使用OTSU算法对飞机及逆行分割。 (3). 提取傅里叶 描述子 作为研究对象的 特征 。 (4). 最后使用目标跟踪算法。

在上一步，完成了网络的创建和数据的预处理。接下来准备对这个网络进行训练，通过训练得到一个可以用于目标检测的深度学习网络模型。这里首先要确定上一步输出的模型和数据集的存放路径是可用的，否则训练环节会因为缺少输入而报错。 Halcon的参考样例详述了这一过程，这里做一些学习记录。 设置输入路径，主要是两个，一是上一步的预训练的以.hdl结尾的模型，另一个是数据集和样本数据字典的存放路径。 输出路径也是两个，一是存放最佳评估模型的路径，一个是最终训练完成的模型路径。 首先用check_files_availability验证预处理模型和数据集路径是否正确。没有问题的话可以开始读取。 使用read_dl_model读取前一步初始化后的网络模型，得到模型的句柄DLModelHandle。 接着用read_dict读取预处理后的数据集，得到数据字典句柄DLDataset。 设置模型参数主要通过set_dl_model_param算子，以修改属性值的方式改变关键参数的值。该算子原型如下： set_dl_model_param( : : DLModelHandle, GenParamName, GenParamValue : ) 输入三个参数： 注意，如果将'runtime'的值改为了’gpu’，则要确定cuDNN和cuBLAS已经成功安装了。 通过set_dl_model_param算子，可以将本文开头提到的设置的模型的基本参数传递给模型句柄DLModelHandle。如将'batch_size'设为之前的batch_size的值等等。 1）创建训练参数。 这里使用create_dl_train_param算子创建一个训练参数的字典，用于存放训练参数和训练效果可视化的参数。这些参数可以做个说明： 2）训练网络 接下来是最耗时的部分，即使用train_dl_model算子进行深度学习网络模型的训练。算子如下： train_dl_model( : : DLDataset, DLModelHandle, TrainParam, StartEpoch : TrainResults, TrainInfos,EvaluationInfos) 前四个参数是输入参数，后三个是输出参数。 接着到了第三步，即验证模型的部分。

本文作为OC-SORT的论文阅读记录，中间可能会加入自己的看法，由于是tracking这块的初学者，文中若有错误的认识麻烦读者帮忙修正。

OC-SORT是来自 CVPR2022 的一篇文章，采用的范式是MOT中的TBD（Tracking by Detection）。虽然学术界中JDE的研究越来越多，2022年开始也有很多基于Transformer的方法效果非常不错，但是目前工业界还是使用TBD这种方式比较多，类似还有Bytetrack等等，基本都可以满足跟踪的需求。

TBD范式中比较出名的一系列就是SORT系列，这其中笔者了解的有最初的鼻祖SORT，还有后期衍生出来的DeepSORT, StrongSORT, StrongSORT++, ByteTrack，还有本文要讨论的OC-SORT。

关于SORT系列方法具体解析可以参考下面的博客和帖子，个人认为写的很详细和易懂，方便随时查阅：

通过回顾SORT方法，作者提出三个问题作为方法设计的动机：

文章提出三项改进：

这种在线平滑方式通过当前帧检测到的结果和之前帧的轨迹位置，来生成更多的虚拟点，以此辅助KF做预测。具体通过⼀个虚拟的轨迹对参数进行在线平滑，回溯到目标检测丢失的时候，可以修复在时间间隔内累积的误差。

在计算IOU度量矩阵的时候，把速度/方向计算成代价矩阵放在原来的度量矩阵中，（个人理解类似模型训练的trick）：

这部分看的不是很懂…

OCR用于恢复轨迹，这部分依赖于检测值而不是错误的估计值。当轨迹丢失后检测目标再出现时，直接将丢失轨迹时检测值和重新出现的检测值相关联以恢复轨迹。