车道线检测相关论文极简笔记

1、传感器技术：自动驾驶汽车上，前后左右装有认识周围环境、道路、交通状况的各种传感器。光学摄像头包括单摄像头、多摄像头，多普勒雷达包括短距离雷达、远距离雷达，还有激光雷达就是车顶上那个旋转的机器，GPS定位装置，等等，构成汽车认识环境的眼睛。2、芯片技术：也就是能够处理多个传感器采集的数据，并能整合的类似小计算机的超级芯片，使汽车的“总计算机”体积、成本大为减小，并能应用于汽车成为可能。否则汽车里将没有人坐的地方、老百姓也买不起这些庞大计算机群的汽车。3、操作系统：计算机控制系统将处理结果与操作硬件结合起来，实现加速减速、刹车停车、变向避让，以及人机对话等等。无人驾驶汽车具备了替代人工操纵的能力。4、网络技术：无人驾驶汽车要能上路，必须具备与互联网、局域网联络和识别功能，包括车与车的联络对话、车与卫星通讯、车与天气预报的联络、车与交通指挥网的联络，才能正确识别和选择道路、正确服从交通警察的指挥、正确决定通过交叉路口、正确避让危险和安全行车。总之，万里长征刚走了第一步，距离进入百姓家庭，还相当遥远。比如，那个车顶上老是旋转的东西就让人感到很不雅观。汽车制造商真的搞无人驾驶，自己把自己推给了芯片公司、计算机公司、网络公司，沦为装配厂的一员，也是很不情愿的事。

车道线检测算法通常分为两种类型：一种是基于基于视觉特征来做语义分割或者实例分割，例如 LaneNet 和 SCNN ；另一种是通过视觉特征来预测车道线所在位置的点，以此来解决 no-visual-clue 问题的模型，比如本文提到的 Ultra-Fast-Lane-Detection 。

offical github ： paper ： Ultra Fast Structure-aware Deep Lane Detection

下图展示了整个模型的结构，基本可以分为三个部分： Backbone 、 Auxiliary 部分和用于车道线候选点选择的 Group Classification 部分。可以看出，由于整个 pipeline 中参与最终 inference 的部分只进行了下采样而不像分割模型还进行了多轮的上采样，因此模型整体的计算量是相当低的，根据论文给出的结果可以达到 300FPS 。

Backbone 部分采用了较小的 ResNet18 或者 ResNet34 ，下采样到 4X 的部分作为最终的特征，这里其实是较为浅层的特征，一般分割模型要下采样到 16x 或者 32x 。论文里也提到了使用较大的感受野就可以达到不错的检测效果，这样就可以极大的提高模型的推理速度。

Auxiliary 部分对三层浅层特征进行了 concat 和上采样，用来进行实例分割。其目的是在训练过程中增强视觉特征，不参与推理。

Group Classification 部分如下所示，论文称之为 row-based selecting method based on global image features ，即在全局特征上进行行索引来计算候选点，这样的方法将先验假设融入到了车道线检测的任务中。

在分割任务上，最终的特征图的大小是 HxWxC 。分类是要沿着 C 方向的， C 方向的向量代表一个像素位置的特征向量属于哪一个类别；在本方法中，最终的特征图的大小是 hx(w+1)xC 。 h 是要在垂直方向上采样的行的数量（ row anchor ）， h

文章中使用的 Loss 函数分为三部分，分别是多分类损失 L_cls , 分割损失 L_seg 和车道结构化损失 L_str 。其中 L_cls 和 L_seg 是常用的分类、分割任务中常用的两种损失。

结构损失的目的是利用车道结构的先验知识来约束预测出来的车道线的形状。其中 L_sim 为相似度损失， L_shp 为形状损失。

相似度损失的出发点是同一个车道中，相邻的两个点之间的距离应该尽可能的近，这里使用 L1 范式来进行距离的约束。

形状损失的出发点是基于大多的的车道线都是直线，即使是曲线其大部分也是近似的直线。对于同一条车道线，在相邻 row achor 上的车道线的候选点的位置的选择应该尽可能的相近。理想的状况下它的值应该为 0 。

Loc 函数的含义是第 i 条车道的第 j 个 row anchor 中车道点的期望。 Prob 代表的是第 i 条车道的第 j 个 row anchor 中，第 k 个位置是车道点的概率。因为背景不被计算在内，因此 k 的取值从 1 开始。

论文给出 metric 结果如下所示，其评估硬件应该为 NVIDIA GTX 1080TI 。该方法在保证精度接近的情况下，极大的提升了推理速度，很适合实时检测的任务。

为了测试其真实的推理性能，我在 NVIDIA RTX 3070+CUDA11+ 的环境性进行了测试。模型的 backbone 为 resnet18 ，输入尺寸为 (288， 800， 3) 的情况下， Ultra-Fast-Lane-Detection 的推理性能如下所示，单 batch 推理速度约为 350FPS ，其性能与论文给出的结果基本一致。