1. 导读

车道检测是自动驾驶中的一项关键且富有挑战性的任务，尤其是在现实场景中，车道可能细长、绵长且常被其他车辆遮挡，从而增加了检测难度。现有的基于锚点的方法通常依赖于预先设定的车道锚点来提取特征，并随后细化车道的位置和形状。虽然这些方法性能优异，但手动设置先验锚点既繁琐，又需要大量密集的锚点来确保在不同数据集上的充分覆盖。此外，使用非极大值抑制（NMS）来消除冗余预测使现实世界的部署变得复杂，并且在复杂场景中可能表现不佳。在本文中，我们提出了Polar R-CNN，这是一种用于车道检测的端到端基于锚点的方法。通过结合局部和全局极坐标系，Polar R-CNN能够提出灵活的锚点建议，并显著减少所需锚点的数量，同时保持性能不变。此外，我们还引入了一个具有启发式结构的三组检测头，该结构支持无NMS范式，提高了在车道密集场景中的部署效率和性能。我们的方法在五个流行的车道检测基准测试集（Tusimple、CULane、LLAMAS、CurveLanes和DL-Rail）上取得了具有竞争力的结果，同时保持了轻量级设计和简洁结构。我们的源代码可在https://github.com/ShqWW/PolarRCnn上获取。

2. 引言

车道检测是计算机视觉和自动驾驶中的一项关键任务，旨在识别和跟踪道路上的车道线。尽管已在理想环境中进行了大量研究，但在夜间驾驶、眩光、拥挤和雨天等不利场景下，车道可能被遮挡或损坏，检测仍然具有挑战性。此外，车道的细长形状和复杂拓扑结构进一步增加了检测的难度。

在过去的几十年里，许多方法主要侧重于手工制作的局部特征提取和车道形状建模。诸如Canny边缘检测器、霍夫变换和可变形模板等技术已被广泛用于车道拟合。然而，这些方法在现实场景中常面临局限性，尤其是当低级别和局部特征缺乏清晰度和独特性时。

近年来，深度学习的发展和大型数据集的可用性极大地推动了车道检测技术的进步，尤其是卷积神经网络（CNNs）和基于Transformer的架构等深度模型。在此基础上，早期方法通常将车道检测作为分割任务，尽管该方法直观，但需要耗时的计算。仍有一些方法依赖于基于参数的模型，直接输出车道曲线参数而非像素位置。尽管这些基于分割和基于参数的方法提供了端到端解决方案，但它们对车道形状的敏感性影响了其鲁棒性。

受YOLO和Faster R-CNN等目标检测方法启发，已引入了几种基于锚点的方法进行车道检测，代表性工作包括LaneATT和CLRNet。这些方法通过利用锚点先验并启用更大的特征提取感受野，展现了卓越的性能。然而，基于锚点的方法遇到了与一般目标检测中类似的缺点，包括以下几点：

•大量车道锚点被预先定义在图像中，即使在车道分布广泛且彼此相距甚远的稀疏场景中也是如此。

• 需要非极大值抑制（NMS）后处理来消除冗余预测，但在车道彼此接近的密集场景中可能效果不佳，例如分叉车道和双车道。

关于第一个问题，引入了学习的锚点，在训练期间优化锚点参数以更好地适应车道分布。然而，锚点的数量仍然过多，无法充分覆盖车道可能的多样化分布。此外，通过生成具有方向的起点（而不是使用一组固定锚点），为每个图像提出灵活锚点。然而，由于车道的全局性，这些车道起点具有主观性且缺乏清晰的视觉证据。相比之下，其他方法使用局部角度图根据真实值的方向提出草图锚点。虽然该方法考虑了方向对齐，但忽略了精确的锚点定位，导致性能不佳。总体而言，在稀疏场景中，大量锚点是不必要的。

关于第二个问题，几乎所有基于锚点的方法都依赖于直接或间接的NMS后处理来消除冗余预测。尽管消除冗余预测是必要的，但NMS仍然是一个次优解决方案。一方面，NMS不利于部署，因为它需要使用诸如交并比（IoU）等指标来定义和计算车道对之间的距离。由于车道的复杂几何形状，这一任务比一般目标检测更具挑战性。另一方面，NMS在密集场景中可能表现不佳。通常，较大的距离阈值可能导致漏检，因为一些真正正样本的预测可能被错误地消除。相反，较小的距离阈值可能无法有效消除冗余预测，导致误检。因此，通过手动设置距离阈值在所有场景中实现最优权衡具有挑战性。

为解决上述两个问题，我们提出了Polar RCNN，这是一种新颖的车道检测基于锚点的方法。对于第一个问题，我们基于极坐标系引入了局部极坐标模块（LPM），以创建位置更准确的锚点，从而减少稀疏场景中提出的锚点数量。与最先进的（SOTA）方法（使用192个锚点）相比，Polar R-CNN仅使用20个锚点即可有效覆盖潜在的车道真实值。对于第二个问题，我们整合了一个具有新型启发式图神经网络（GNN）块的三组检测头。GNN块提供了可解释的结构，在稀疏场景中实现了近乎等效的性能，在密集场景中则实现了更优性能。我们在五个主要基准测试集上进行了实验：TuSimple、CULane、LLAMAS、CurveLanes和DL-Rail。我们提出的方法与SOTA方法相比具有竞争力。

3. 效果展示

不同方法以及真实车道线的锚点（即黄色线条）设置。(a) CLRNet的初始锚点设置。(b) 在CULane数据集上训练的CLRNet学习到的锚点设置。(c) 我们方法中的灵活候选锚点。(d) 真实车道线。

稀疏和密集场景下非极大值抑制（NMS）阈值的比较。(a) 和 (b) 分别为密集和稀疏场景下的真实车道线。(c) 在密集场景下，使用较大的NMS阈值进行预测，导致车道预测被错误地抑制。(d) 在稀疏场景下，使用较小的NMS阈值进行预测，冗余的预测结果没有被有效去除。

4. 主要贡献

我们的主要贡献总结如下：

• 我们设计了一种策略，通过使用局部和全局极坐标系来简化锚点参数，并将其应用于两阶段车道检测框架。与其他基于锚点的方法相比，该策略显著减少了提出的锚点数量，同时实现了更好的性能。

• 我们提出了一种具有GNN块的新型三组检测头，以实现无NMS范式。该块受Fast NMS启发，提供了增强的可解释性。我们的模型支持端到端训练和测试，同时仍然允许使用传统的NMS后处理作为我们模型NMS版本的选项。

• 通过整合极坐标系和无NMS范式，我们提出了Polar R-CNN模型，用于快速高效的车道检测。我们在五个基准数据集上进行了大量实验，以证明我们的模型在更少锚点和无NMS范式下仍能实现高性能的有效性。

5. 方法

Polar R-CNN的总体架构如图3所示。如图所示，我们的用于车道检测的Polar R-CNN具有与Faster R-CNN平行的管道，其包括一个主干网络、一个特征金字塔网络（FPN）、作为区域提议网络（RPN）的局部极坐标模块（LPM）以及作为感兴趣区域（RoI）池化模块的全局极坐标模块（GPM）。

极坐标表示。如上所述，以射线表示的车道锚点存在一些缺陷。为解决这些问题，我们引入了车道锚点的极坐标表示。在数学中，极坐标是一个二维坐标系，平面上的每个点由一个参考点（即极点）的距离和一个从参考方向（即极轴）出发的角度θ来确定。

如图4(b)所示，给定与黄色点对应的极坐标，一条直线的车道锚点可以通过两个参数唯一确定：从极点出发的径向距离（即半径）r，以及从极轴到车道锚点垂线的逆时针角度θ，其中r属于实数集R，θ的取值范围为[-π/2, π/2]。

局部极坐标系统旨在预测能够适应稀疏和密集场景的车道锚点。在该系统中，存在许多极点，每个极点都是特征图的网格点，称为局部极点。如图5左侧所示，存在两种类型的局部极点：正极点和负极点。正极点（即蓝色点）的半径rli小于阈值λl，否则它们被分类为负极点（即红色点）。每个局部极点负责预测一个车道锚点。虽然一个车道真实值可能会生成多个车道锚点，但如图5所示，车道实例（绿色车道）周围有三个正极点，它们预期会生成三个车道锚点。

在局部极坐标系统中，每个车道锚点的参数是根据其对应的局部极点的位置确定的。然而，在实际操作中，一旦车道锚点生成，其确定位置就变得不可更改，并且与其原始局部极点无关。为了简化Polar R-CNN第二阶段中车道锚点的表示，我们设计了一个全局极坐标系统，该系统具有一个单一且统一的极点，作为整个图像的参考点。该全局极点的位置是手动设置的，在此情况下，它位于整个车道图像数据集[40]中观察到的静态消失点附近。这种方法确保了在整个图像的全局上下文中，车道锚点具有一致且统一的极坐标表示，从而有助于准确回归到车道真实实例。推荐课程：面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)。

6. 实验结果

7. 总结 & 未来工作

在本文中，我们提出了Polar R-CNN来解决基于锚点的车道检测方法中的两个关键问题。通过结合局部和全局极坐标系统，我们的Polar R-CNN以更少的锚点实现了性能提升。此外，引入具有GNN模块的O2O分类子头使我们能够替换传统的NMS后处理，并且无NMS范式在密集场景中表现出优越的性能。我们的模型具有高度灵活性，可以根据具体场景调整锚点的数量。Polar R-CNN还因其结构简单而便于部署，成为车道检测的一个潜在新基线。未来的工作可以探索新的标签分配、锚点采样策略和复杂的模型结构，如大核和注意力机制。我们还计划将Polar R-CNN扩展到视频实例和3D车道检测任务，利用先进的几何建模技术。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊可提供顶会论文的课题如下：