介绍一篇关于自动驾驶系统中RGB摄像头失效（质量变差）的影响分析文章

意大利University of Florence上传2020年8月在arXiv上的论文："On failures of RGB cameras and their effects in autonomous driving applications"

摄像头仍然是低成本自动驾驶的首选传感器，除了基于图像/视频/多视角的算法问题以外，这里讨论摄像头本身出现问题的情况下造成的影响和如何缓解的措施。为此，作者建立了一个软件库，能够产生各种故障情况下的图像，并提供给自动驾驶模拟器的一个训练模型，这样更好地理解影响和安全风险。

首先需要熟悉摄像头成像的基本组件：

特别是对Bayer滤波器的认识：

摄像头的图像数据在给各种感知、定位或者地图模块使用之前都需要经过ISP处理。

Failure Mode and Effects Analysis (FMEA ）是一个普遍实用的可靠性管理技术，旨在识别组件或过程的潜在故障、了解这些故障的影响、评估与这些故障模式相关的风险并最终根据重要性对问题进行分类。这里就是基于FMEA对摄像头失效的问题进行分析。

如图列出的11种摄像头故障例子：

此外还有banding：如图出现动态范围低造成的横纵线

以及Brackish/Salt-Water、Bright Lines、Broken VR（vibration）、electrical overload、flare、heat、no action和no lens distortion correction；

加上如图的no sharpness和rain：

最后补充的有sand、spots、water和wind等等情况。

如下表做了总结：

作者编写软件复现这些故障情况，代码如下：

基于仿真器Carla，作者采用了Intel lab开发的一个仿真训练工作，即

Chen Dian et al., "Learning by Cheating", Conference on Robot Learning (CoRL) , 2019.

其框架如下：

特别是，这个训练系统采用一些data augmentation处理图像的故障情况，比如pixel dropout, blurring, Gaussian noise, color perturbations等等，也对应于本文的分析考虑。

采用的方法基本是：i）从摄像机获取输出图像； ii）在训练代理处理图像之前，注入选择故障修改图像； iii）将修改图像提供给训练代理。如下表是实现的模拟的故障情况总结：

实验中提供三种测试目标，其统计结果如下表：

实验结果分析，文章给出一些成功率图：

如下表给出了天气影响：

Recommend