正常版：在马路上寻找车道线
在这个项目中，本文建立了一个计算机视觉算法，用于检测车道线并创建平均和外推的边界线。 流程如下：
1）将帧转换为灰度；
2）为黄色和白色像素创建蒙版；
3）应用高斯平滑；
4）应用Canny边缘检测；
5）创建一个额外的遮罩，以专注于车辆前方的“感兴趣区域”；
6）将XY空间中的点（即像素）转换为霍夫空间中的线；
7）霍夫空间中的线相交（即点）的地方，XY空间中存在一条线；
8）使用生成的线的极值，创建两条平均线s；
9）在整个帧中创建两条平均线，以实现流畅的视频播放；10）在每帧上画线。
从霍夫空间转换后的原始线 | 可流畅播放的平均线 |
工作流程：
1）检查霍夫返回的每条线，并根据其坡度确定是在左车道还是右车道。因为我们正在对阵列进行“上下颠倒”，所以左侧车道的斜率为负，右侧车道的正值为；2）极值；3）计算平均值；4）解决b截距；5）用极值求积分；6）流畅的帧和缓存。
从霍夫空间转换后的原始视频 | 可流畅播放的车道线视频 |
困难版： 这篇文档为自动驾驶汽车的车道线检测和跟踪提供了强大的解决方案。
步骤如下所示：
1）相机校准；2）失真校正；3）渐变和颜色阈值；4）透视变换；5）车道线搜索和搜索优化；6）绘制车道覆盖。
相机校准
我们需要在棋盘上存储对象点的数量或感兴趣的位置。 仅考虑不在最外边缘上的点。 对于此板，X轴上有9列，而7轴上有6行。 我们需要每种组合的（x，y，z）坐标列表（即板上唯一的位置）。 每个z值都是2D图像，因此将为零。
失真校正
渐变和颜色阈值
对于此项目，我们将使用几个过滤器来生成二进制（黑白）图像，我们可以使用该图像检测和跟踪车道线。
1）x和y方向的Sobel渐变；2）渐变幅度；3）渐变方向；4）色彩空间变换和过滤。
原始图片 | Sobel Gradients |
Gradient Magnitude | Gradient Direction |
饱和通道和红色通道滤波器
首先，渐变滤镜会将原始图像转换为灰度，并且丢失了许多有用的信息。车道线可以是黄色或白色，我们可以利用它来尝试定位和跟踪它们。色相饱和度亮度色彩空间将有所帮助。特别是，HSL图像的S通道保留了大量有关车道线的信息-尤其是在道路上有阴影时。RGB的红色通道在创建车道线的二进制图像方面也做得很好。
HSL图像 | RGB图像 |
组合过滤方法
现在，我们可以混合并匹配不同的过滤器方法，每种方法都具有唯一的阈值，以获取精确的二进制图像。
我测试了许多不同过滤器的许多按位组合。他们对于图像整体都产生了不同的结果，但是这种组合在保留黄色车道线的信息方面做得最好，尤其是当距离越来越远且在阴影下时。我将所有其他滤镜都留在了里面，因为它们在不同的光照条件下可能会有用。 需要更多测试图像-尤其是夜间图像！
看起来还不错！ 它并没有像我想要的那样捕捉到远处的黄色车道线。它显然会在树投射的阴影下丢失该信息。
得到一个不变形的行车记录仪框架
我们可以在此处看到，当阴影距离相机更近/更大时，管道在解决阴影下的线条方面做得更好。 但是，它仍然不完美。
透视变换
检测车道线
现在，我们对道路的快照已完成转换，我们准备查找并跟踪实际的车道。 为此，我们可以识别出大量白色像素区域。 具体来说，我们将使用直方图将像素分为几列，并寻找分布中的峰值。
我们可以清楚地看到该直方图中的车道。 通过设置滑动窗口，我们可以跟踪由于道路略微弯曲而向左/向右转向的峰。
下面的功能如下：
1）在图像底部创建一个搜索窗口，其高度为图像高度的1/9。
2）将窗口分为左右两半。
3）通过直方图找到具有最高值的像素列。
4）使用空白变量在该区域周围绘制一个框。
5）确定该框中的所有非零像素。如果有足够的余量，请在下一个窗口平均位置上将框居中。
6）将二次方程式拟合到图像每一半（左车道和右车道）中标识的所有非零像素。
现在，我们已经找到了车道，我们可以优化搜索区域，以加快流程。
下面的功能如下：
1） 导入多项式。2）在像素边界内查找非零像素）3.拟合更新多项式以拟合新数据。
在原始图像上绘制车道
现在我们知道通道在哪里，我们可以将其输出到实际的视频提要。 我们将按照以下步骤进行操作：
1）导入多项式；2）在变形后的二进制文件的空白副本上绘制多项式曲线；3）填充曲线之间的多边形；4）使用反透视变换取消扭曲新图像；5）将车道图像叠加在原始帧的顶部。
确定车道曲率
现在我们有了车道，我们将要计算曲率半径（即，道路弯曲了多少）。 当我们需要创建用于控制汽车转向和加速的程序时，此信息对于端到端学习过程的后期至关重要。 此过程中最重要的步骤是将我们的测量结果从像素空间转换为公制。 曲率半径的公式为：
其中二阶多项式f(y)定义为：
请注意，它是f(y)而不是f(x)。 这是因为在车道中，对于任何给定的x可能有多个y值。f(y)的一阶和二阶导数低于：
产生的形式将在下面的函数中使用：
确定车辆在车道上的位置
了解车辆相对于车道的位置也很重要。 对于此项目，我们假设摄像机安装在汽车的中央。
图像处理管道
我们已经构建了管道的所有组件。 现在，我们需要将它们组合成一个可以在视频镜头上运行的管道。 我们将创建一个框架类来跟踪不同的属性。 稍后，当我们想要平滑视频处理时，这将非常有用，就像在第一个项目中一样。
夜间版: 在马路上寻找车道线并跟踪
配置环境
conda create -n env_lane python=3.6
conda activate env_lane
pip install opencv-contrib-python==3.4.9.31 -i https://mirrors.aliyun.com/pypi/simple/
pip install matplotlib -i https://mirrors.aliyun.com/pypi/simple/
pip install sklearn -i https://mirrors.aliyun.com/pypi/simple/
pip install jupyter -i https://mirrors.aliyun.com/pypi/simple/
使用卡尔曼滤波器在夜间环境中进行车道检测
自动驾驶计算机视觉技术的一个重要里程碑是在道路上寻找车道标记。在这里，我们描述了在夜间环境中检测车道的过程。
挑战性
·低光强度·难以调整各种光强度的参数·边缘检测不良·阴影，突然的高强度汽车大灯
我们的方法，这些步骤中描述了我们的方法：
1) 我们对每个视频帧执行伽玛校正，以设置光强度
2) 从图像中裁剪出“感兴趣的区域”，因此我们只能在ROI部分上查找泳道。它有助于降低计算成本并提高fps。
3) 应用双边滤波器消除噪声并平滑视频帧，但保留边缘。
4) 应用HSV滤镜为固定范围内的像素创建蒙版
5) 经过这些预处理（伽玛校正和滤波）后，我们使用Canny边缘检测器检测边缘。
6) 之后，霍夫变换用于使用上一步中的边缘检测线。
7) 使用DBSCAN对检测到的行进行聚类，因为我们只希望跨通道的行。
8) 卡尔曼滤波用于更好的车道检测。在这里，我们为车道的聚集线应用了线性估计器，以使其稳定且没有任何偏移误差。
伽玛校正
此处，伽玛校正用于设置强度值。它使用参数对其进行调整，还可以设置强度级别。伽玛校正的基本知识在这里。
代码：-def gamma_correction（RGBimage，Correct_param = 0.35，equalizeHist = False）：红色= RGBimage [：，：，2]绿色= RGBimage [：，：，1]蓝色= RGBimage [：，：，0]
感兴趣区域
使用以下代码裁剪每个视频帧，以仅考虑车道检测部分。因此，可以避免由于路灯和其他汽车前照灯而突然出现的高照度。这也会稍微提高fps。
代码：-def region_of_interest（img，vertices）：＃定义一个与图像高度/宽度匹配的空白矩阵。mask = np.zeros_like（img）＃检索图像的颜色通道数。#channel_count = img.shape [2]＃用于填充多边形的颜色match_mask_color = 255＃用白色cv2.fillPoly（mask，vertices，（255,255,255））填充多边形＃仅在蒙版像素匹配masked_image = cv2.bitwise_and的情况下返回图像（img，mask）返回masked_image
双边过滤器
双边滤波器是用于图像的非线性，边缘保留和降噪平滑滤波器。它将每个像素的强度替换为附近像素的强度值的加权平均值。
霍夫变换
在本节中，我们使用了霍夫变换和一些修改，以删除水平检测到的线和仅面向车道的线。代码：def hough_transform（原始，gray_img，阈值，discard_horizontal = 0.4）：“”“函数拟合线相交> =阈值白色像素的函数输入：-原始-我们要在其上画线的图像-gray_img-白/黑图像像素，例如Canny Edge Detection的结果-阈值-如果一条线相交超过阈值白色像素，则将其画出-throws_horizontal-我们要考虑的线的最小abs导数返回：-image_lines-应用函数的结果- lines_ok-rho和theta“”“线= cv2.HoughLines（gray_img，0.5，np.pi / 360）。
卡尔曼滤波器卡尔曼滤波器是一种算法，该算法使用一段时间内对系统的嘈杂观测值来估计系统参数（其中一些是不可观察的）并预测未来的观测值。它会在每个时间步进行预测，进行测量并根据预测和测量的比较方式进行自我更新。
在这里，LaneTracker类实现用于车道检测的卡尔曼滤波器。首先，它初始化状态矩阵和测量矩阵的大小。然后，它计算了转移矩阵。我们将白高斯噪声用于我们的系统。使用此噪声模型，我们已经计算了状态误差，并在估算器中使用该测量噪声生成了预测状态。卡尔曼滤波器通过将测量误差和先前状态相加来平均沿车道检测到的线的变化。这就是为什么检测到的车道标记线随时间推移保持稳定的原因，并且由于其在以前的状态下仍具有预测特性，因此在非常低的光照条件下，它可以通过记住先前视频帧中的先前检测到的车道来检测车道。代码：类LaneTracker：def init（self，n_lanes，proc_noise_scale，meas_noise_scale，process_cov_parallel = 0，proc_noise_type ='white'）：self.n_lanes = n_lanes self.meas_size = 4 * self.n_lanes self.state_size = self.meas_size * 2 self.contr_size = 0
结论：
对于我们的数据集，该算法执行得很好。对于非常低强度的灯光，它可以使用卡尔曼滤波器检测车道。检测到的车道标记非常稳定，对强度和噪声变化具有鲁棒性。
最后，欢迎大家通过微信公众号联系我们。