现在路面上的很多汽车，甚至是展厅内的很多新车，内部都配备有基于摄像头、雷达、超声波或LIDAR等不同传感器的先进驾驶员辅助系统（ADAS）。
这些系统的数量将会随着新法案的通过而不断增加，例如在美国，就有强制要求安装后视摄像头的法案。此外，诸如车险打折优惠和美国公路交通安全管理局（NHTSA）、欧洲新车安全评鉴协会（Euro-NCAP）等机构做出的汽车安全评级正在使某些系统成为汽车的强制功能；另一方面，这也助长了消费者对它们的需求。
诸如自动泊车、公路巡航控制和自动紧急制动的自动驾驶汽车功能也在很大程度上依靠传感器来实现。重要的不仅仅是传感器的数量或种类，它们的使用方式也同样重要。目前，大多数路面上行驶车辆内的ADAS都是独立工作的，这意味着它们彼此之间几乎不交换信息。（没错，某些高端车辆具有非常先进的自动驾驶功能，不过这些功能还未普及）。后视摄像头、环视系统、雷达和前方摄像头都有它们各自的用途。通过将这些独立的系统添加到车辆当中，可以为驾驶员提供更多信息，并且实现自动驾驶功能。不过，你还可以突破限制，实现更多功能。
传感器融合
仅仅通过多次使用相同种类的传感器无法克服每种传感器的缺点。反之，我们需要将来自不同种类传感器的信息组合在一起。工作在可见光谱范围内的摄像头CMOS芯片在浓雾、下雨、刺眼阳光和光照不足的情况下会遇到麻烦。而雷达缺少目前成像传感器所具有的高分辨率。我们可以在每种传感器中找到诸如此类的优缺点。
传感器融合这一想法的伟大之处在于获得不同传感器和传感器种类的输入内容，并且使用组合在一起的信息来更加准确地感知周围的环境。相对于独立系统，这样可以做出更好、更安全的决策。雷达也许不具有光传感器所具有的分辨率，不过它在测距和穿透雨、雪和浓雾方面具有很大优势。这些天气条件或光照不足的恶劣情况不利于摄像头发挥作用，不过摄像头能够分辨颜色（可以想一想街道指示牌和路标），并且具有很高的分辨率。目前路面上图像传感器的分辨率已经达到1百万像素。在未来几年内，图像传感器的发展趋势将是2百万，甚至4百万像素。
雷达和摄像头是两项传感器技术完美融合、互为补充的典范。采用这种方法的融合系统所实现的功能要远超这些独立系统能够实现的功能总和。使用不同的传感器种类可以在某一种传感器全都出现故障的环境条件下，额外提供一定冗余度。这种错误或故障可能是由自然原因（诸如一团浓雾）或是人为现象（例如对摄像头或雷达的电子干扰或人为干扰）导致。即使是在一个传感器失效的情况下，这样的传感器融合系统也可以保持某些基本或紧急的功能。完全借助报警功能，或者让驾驶员时刻做好准备，从而接管对车辆的控制，系统故障也许就不那么严重了。然而，高度和完全自动驾驶功能必须提供充足的时间让驾驶员重新获得对车辆的控制。在这段驾驶员接管车辆控制之前的时间范围内，控制系统需要保持对车辆最低限度的控制。
传感器融合系统示例
传感器融合的复杂程度有所不同，并且数据的类型也不一样。两个基本的传感器融合示例是：a）后视摄像头加上超声波测距；b）前方摄像头加上多模式前置雷达。现在，我们可以通过对现有系统进行轻微更改和/或通过增加一个单独的传感器融合控制单元来对其进行实现。
? 后视摄像头+超声波测距
超声波泊车辅助技术在汽车市场内被广泛接受，并且已十分成熟；这项技术在泊车时能对邻近物体给出听得见或看得见的报警。正如之前提到的那样，到2018年，美国所有新出厂的车辆都必须安装后视摄像头。将来自二者的信息结合在一起，才能实现先进的泊车辅助功能，而其靠单一系统是无法实现的。后视摄像头使驾驶员能很清楚地看到车辆后方的情况，而机器视觉算法可以探测物体，以及路肩石和街道上的标记。通过超声波提供的补充功能，可以准确确定识别物体的距离，并且在低光照或完全黑暗的情况下，也能确保基本的接近报警。
? 前视摄像头+多模前置雷达
另一种强大的组合是将前视摄像头的功能与前置雷达组合在一起。前置雷达能够在任何天气条件下测量高达150米的物体的速度和距离。摄像头在探测和区分物体方面（包括读取街道指示牌和路标）十分出色。通过使用具有不同视场角（FoV）和不同光学元件的多个摄像头传感器，系统可以识别车前通过的行人和自行车，以及150米甚至更远范围内的物体，同时，其还可以可靠实现自动紧急制动和城市启停巡航控制等功能。
许多情况下，在特定的已知外部条件下，仅通过一种传感器或单个系统，就能够执行ADAS功能。然而，考虑到路面上有很多不可预计的情况，这还不足实现可靠运行。传感器融合除了能实现更复杂和自主的功能外，还可以在现有功能中实现更少的误报和漏报。说服消费者和立法者，使他们相信汽车可以由“一台机器”自主驾驶，将会十分关键。
传感器融合系统分割
与汽车内每个系统单独执行各自的报警或控制功能不同，在一个融合系统中，最终采取哪种操作是由单个器件集中决定的。现在的关键问题就是在哪里完成数据处理，以及如何将传感器的数据发送到中央电子控制单元（ECU）。当对不是集中在一起而是遍布车身的多个传感器进行融合时，我们就需要专门考虑传感器和中央融合ECU之间的连接和电缆。对于数据处理的位置也是如此，因为它也会影响整个系统的实现。让我们来看一看可能的系统分割中的两种极端情况。
? 集中式处理
集中式处理的极端情况是，所有的数据处理和决策制定都是在同一个位置完成，数据是来自不同传感器的“原始数据”。
优点：
传感器模块——传感器模块体积小巧，成本低，功耗也低，这是因为其只需要执行检测和数据传输任务。传感器的安装位置也很灵活，并且所需安装空间很小。替换成本低。通常情况下，由于无需处理或做决策，传感器模块具有较低的功能安全要求。
处理ECU——中央处理ECU可以获取全部数据，这是因为数据不会因为传感器模块内的预处理或压缩而丢失。由于传感器成本较低，并且外形尺寸较小，因此可以部署更多的传感器。
缺点：
传感器模块——实时处理传感器数据需要提供宽带通信（高达数Gb/s），因此可能出现较高电磁干扰（EMI）。
处理ECU——中央ECU需要有高处理能力和速度来处理所有输入数据。对于很多高带宽I/O和高端应用处理器来说，这意味着更高的电能需求和更大的散热量。传感器数量增加将大幅增加对中央ECU性能的需要。通过使用FPD-link III等接口，在一根同轴电缆上传送传感器及功耗、控制和配置等多种数据（双向反向通道），有些缺点可以被克服。这样便可极大降低系统的接线要求。
? 全分布式系统
另一种截然不同的极端情况是全分布式系统。这种情况是由本地传感器模块进行高级数据处理，并在一定程度上进行决策制定的。全分布式系统只将对象数据或元数据（描述对象特征和/或识别对象的数据）发回到中央融合ECU。ECU将数据组合在一起，并最终决定如何执行或做出反应。
全分布式系统既有优点又有缺点。
优点：
传感器模块——传感器模块与中央ECU之间可以使用更低带宽、更加简单且更加便宜的接口。在很多情况下，小于1Mb/s的CAN总线就足够用了。
处理ECU——中央ECU只将对象数据融合在一起，因此其所需处理能力更低。对于某些系统来说，用一个高级的安全微控制器就足够了。模块更小，所需功耗也就更低。由于很多处理都是在传感器内部完成的，传感器数量增加不会大幅增加对中央ECU的性能需求。
缺点：
传感器模块——传感器模块需要有应用处理器，这样的话就会变得体积更大、价格更高且功耗更大。由于本地处理和决策制定，传感器模块的功能安全要求也就更高。当然，增加更多的传感器，成本也会大幅上升。
处理ECU——中央决策制定ECU只能获取对象数据，而无法访问实际的传感器数据。因此，想要“放大”感兴趣的区域很难实现。
寻找黄金分割
根据系统中所使用传感器的数量与种类，以及针对不同车型和升级选项的可扩展性要求，将两个拓扑混合在一起就可获得一个优化解决方案。目前很多融合系统使用带本地处理的传感器用于雷达和激光雷达（LIDAR），使用前置摄像头用于机器视觉。一个全分布式系统可以使用现有的传感器模块与对象数据融合ECU组合在一起。诸如环视和后视摄像头的系统中的“传统”传感器模块可以让驾驶员看到周围的环境情况——请见图5。可以将更多的ADAS功能集成进驾驶员监测或摄像头监控系统等融合系统中，但是传感器融合的原理还是一样。
平台管理、目标汽车细分、灵活性和可扩展性是重要的经济因素；这些因素也在分割和设计融合系统时发挥着重要作用。对于任一特定情况，所得系统也许不是最佳设计方案，但是从平台和车队的角度看，它却可能是最佳方案。
谁是所有这些传感器数据的“观看者”？
关于ADAS，我们还有两个方面没有讨论到：信息ADAS对功能ADAS。前者就是当驾驶员仍然对汽车完全掌控时，扩大和延伸驾驶员的感官范围（例如环视和夜视）。第二个是机器视觉，它使汽车能够感知周围环境，并做出自我决策以及执行（自动紧急制动、车道保持辅助）。传感器融合自然而然地将这两个世界合而为一。
正因如此，我们才有可能将同一传感器应用于不同用途，不过这么做的代价就是在选择最佳模块间通信和处理位置方面受到了限制。以环视为例，这项功能最初的设计目的是，通过将视频传入到中央显示屏上，为驾驶员提供360度视场角。为什么不使用同样的摄像头，并将机器视觉应用到其上呢？后视摄像头可用于实现倒车保护或自动停车，而侧视摄像头可用于实现盲点检测/报警，也包括自动泊车。
单独使用的机器视觉在传感器模块内进行本地处理，然后通过CAN总线等简单的低带宽连接将对象数据甚至是命令传送出去。然而，这种连接不足以传送完整的视频流。视频压缩当然可以降低所需带宽，但是还不足以将所需带宽降到百兆位范围内，并且它本身也存在一些问题。随着高动态范围（HDR）分辨率、帧速率和曝光数增加，这变得更加困难。高带宽连接和摄像头模块不参与数据处理解决了视频的问题，但是现在需要将处理添加到中央ECU，以便在其中运行机器视觉。缺少中央处理能力或散热控制会成为这种解决方案的瓶颈。
虽然在传感器模块中进行处理并同时使用高带宽通信在技术上并不是不可实现，但从总体系统成本、功耗和安装空间角度来讲并不十分有利。
传感器融合配置的可靠运行
由于很多融合系统能够在没有驾驶员的情况下执行特定汽车功能（例如转向、制动和加速）的自主控制，我们需要对功能安全进行认真考虑，以确保在不同条件下和汽车的使用寿命内系统能够安全和可靠运行。一旦做出决策，并随后采取自主操作，那么对于功能安全的要求将会大幅提升。
若采用分布式的方法，每个处理关键数据或制定决策的模块必须符合那些增加的标准。与只搜集和发送传感器信息的模块相比，这会增加物料清单（BOM）成本、尺寸、功耗和软件。在安装空间不足的环境中，器件很难冷却，并且其损坏的风险和所需的更换也很高（一次简单的小事故有可能需要更换保险杠和所有相连的传感器），这可能抵消具有多个传感器模块的分布式系统的优势。
如果采用“传统”传感器模块，则需进行自检和故障报告，以实现整个系统的安全运转，但是其还未达到智能传感器模块的程度。
虽然纯粹的驾驶员信息系统可以在它们的功能受到损害时关闭并将其通报给驾驶员，但是高度自主驾驶功能就没有那么自由了。想象一下一辆汽车正在执行紧急制动操作，然后又突然解除并松开制动器的情况。或者说，汽车在公路上行驶时，整个系统关闭，而此时驾驶员正在汽车“全自动驾驶”状态下呼呼大睡（未来可能的一个场景）。在驾驶员能够安全控制车辆之前，系统需要继续保持工作一段时间，而这至少需要有几秒到半分钟。系统必须运行到何种程度，以及如何确保在故障情况下运转，这些问题在业内似乎还未达成明确共识。具有自动驾驶功能的飞机通常情况下使用冗余系统。虽然我们一般情况下认为它们是安全的，不过它们造价昂贵并且占用大量空间。
传感器融合将会是迈向自动驾驶及享受旅途时光和驾驶乐趣的关键一步。
多传感器信息融合算法
智能汽车的显着特点在于智能，意思就是说汽车自己能通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标。目前而言，车载感知模块包括视觉感知模块、毫米波雷达、超声波雷达、360°环视系统等，多源传感器的协同作用识别道路车道线、行人车辆等障碍物，为安全驾驶保驾护航。因此，感知信息也需要融合，感知信息也需要相互补充。
这里引出一个重要的概念：多传感器信息融合（information fusion）。各种不同的传感器，对应不同的工况环境和感知目标。比方说，毫米波雷达主要识别前向中远距离障碍物（0.5米-150米），如路面车辆、行人、路障等。超声波雷达主要识别车身近距离障碍物（0.2米-5米），如泊车过程中的路沿、静止的前后车辆、过往的行人等信息。两者协同作用，互补不足，通过测量障碍物角度、距离、速度等数据融合，刻画车身周边环境和可达空间范围。
信息融合起初叫做数据融合（data fusion），起源于1973年美国国防部资助开发的声纳信号处理系统，在20世纪90年代，随着信息技术的广泛发展，具有更广义化概念的“信息融合”被提出来，多传感器数据融合MSDF （Multi-sensor Data Fusion）技术也应运而生。
数据融合主要优势在于：充分利用不同时间与空间的多传感器数据资源，采用计算机技术按时间序列获得多传感器的观测数据，在一定准则下进行分析、综合、支配和使用。获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它各组成部分更为充分的信息。
一般地，多源传感器数据融合处理过程包括六个步骤，如下图所示。首先是多源传感系统搭建与定标，进而采集数据并进行数字信号转换，再进行数据预处理和特征提取，接着是融合算法的计算分析，最后输出稳定的、更为充分的、一致性的目标特征信息。
利用多个传感器所获取的关于对象和环境全面、完整信息，主要体现在融合算法上。因此，多传感器系统的核心问题是选择合适的融合算法。对于多传感器系统来说，信息具有多样性和复杂性，因此，对信息融合方法的基本要求是具有鲁棒性和并行处理能力，以及方法的运算速度和精度。以下简要介绍三种种常用的数据融合算法，包括贝叶斯统计理论，神经网络技术，以及卡尔曼滤波方法。
贝叶斯统计理论
英国数学家托马斯·贝叶斯（Thomas Bayes）在1763年发表的一篇论文中，首先提出了这个定理。贝叶斯统计理论是一种统计学方法，用来估计统计量的某种特性，是关于随机事件A和B的条件概率的一则定理。所谓"条件概率"（Conditional probability），就是指在事件B发生的情况下，事件A发生的概率，用P（A|B）来表示。根据上述文氏图，容易推导得到：P（A ∩ B） = P（ A | B） * P（B） = P（ B | A） * P（A），由此可以推导出条件概率的公式，其中我们把P（A）称为先验概率（Prior probability），即在事件B发生之前，我们对事件A发生概率有一个认识。
举个简单的例子，视觉感知模块中图像检测识别交通限速标志（TraFFic Sign Recognition, TSR ）是智能驾驶的重要一环。TSR识别过程中，交通限速标志牌被树木，灯杆等遮挡是影响识别的主要干扰。那么我们关心的，是交通限速标志被遮挡的情况下，检出率有多少呢？这里我们定义事件A为交通信号标志正确识别，事件为交通信号标志未能识别；B为限速标志被遮挡，事件为限速标志未被遮挡。
根据现有算法，可以统计出事件A正确识别交通限速标志的概率，此处事件A的概率称为先验概率。通过查看视觉感知模块的检测视频录像，我们可以统计检测出来的交通限速标志中有多少被遮挡，有多少是没被遮挡的，还可以统计漏检的交通限速标志中，有多少是被遮挡的，有多少是没被遮挡的。因此，我们可以得到下面值：
由此，可以推算出被遮挡的情况下，正确识别限速标志的概率：
那么，也有人可能会问，如果限速标志没有被遮挡，识别率有多高呢？同理，我们这里也可以一并计算：
神经网络（Artificial Neural Network，ANN）是机器学习（Machine Learning，ML）的其中一种方式，是人工智能、认知科学、神经生理学、非线性动力学、信息科学、和数理科学的“热点”。
ANN的发展经历了三个阶段
第一个阶段是起步阶段，从20世纪40年代开始逐渐形成了一个新兴的边缘性交叉学科。1943年，心理学家McCulloch和数学家Pitts合作，融汇了生物物理学和数学，提出了第一个神经计算模型： MP模型。1949年，心理学家Hebb通过对大脑神经细胞、学习和条件反射的观察与研究，提出了改变神经元连接强度的、至今仍有重要意义的Hebb规则。
第二阶段是发展阶段，1957年，Rosenblatt发展了MP模型，提出了感知器模型：Perception Model，给出了两层感知器的收敛定理，并提出了引入隐层处理元件的三层感知器这一重要的研究方向。1960年，Widrow提出自适应线性元件模型：Ada-line model以及一种有效的网络学习方法：Widrow-Hoff学习规则。
第三阶段是成熟阶段，1982年美国加州工学院的物理学家Hopfield提出了一个用于联想记忆和优化计算的新途径——Hopfield网络，使得神经网络的研究有了突破性进展。1984年在Hopfield的一篇论文中，指出Hopfield网络可以用集成电路实现，很容易被工程技术人员和计算机科技工作者理解，引起工程技术界的普遍关注。
上世纪八十年代后期，神经网络的光芒被计算机技术、互联网掩盖了，但这几年计算机技术的发展，恰恰给神经网络更大的机会。神经网络由一层一层的神经元构成。层数越多，就越深，所谓深度学习（Deep Learning）就是用很多层神经元构成的神经网络达到机器学习的功能。辛顿是深度学习的提出者，2006年，基于深度置信网络（DBN）提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。目前，深度学习的神经网络技术广泛用于计算机视觉、语音识别、自然语言处理识别上。
关于神经网络的研究包含众多学科领域，涉及数学、计算机、人工智能、微电子学、自动化、生物学、生理学、解剖学、认知科学等学科，这些领域彼此结合、渗透，相互推动神经网络研究和应用的发展。
图10：一个人工神经细胞
接着，简单介绍下神经网络的基础。生物的大脑是由许多神经细胞组成，同样，模拟大脑的人工神经网络ANN是由许多叫做人工神经细胞（Artificial neuron，也称人工神经原，或人工神经元）的细小结构模块组成。人工神经细胞就像真实神经细胞的一个简化版，如图所示，左边几个蓝色圆中所标字母w代表浮点数，称为权重（weight，或权值，权数）。
进入人工神经细胞的每一个input（输入）都与一个权重w相联系，正是这些权重将决定神经网络的整体活跃性。你现在暂时可以设想所有这些权重都被设置到了-１和１之间的一个随机小数。因为权重可正可负，故能对与它关联的输入施加不同的影响，如果权重为正，就会有激发（excitory）作用，权重为负，则会有抑制（inhibitory）作用。
当输入信号进入神经细胞时，它们的值将与它们对应的权重相乘，作为图中大圆的输入。大圆的‘核’是一个函数，叫激励函数（activation function），它把所有这些新的、经过权重调整后的输入全部加起来，形成单个的激励值（activation value）。激励值也是一浮点数，且同样可正可负。然后，再根据激励值来产生函数的输出也即神经细胞的输出：如果激励值超过某个阀值（作为例子我们假设阀值为1.0），就会产生一个值为1的信号输出；如果激励值小于阀值1.0，则输出一个0。这是人工神经细胞激励函数的一种最简单的类型。
图11：神经网络结构
大脑里的生物神经细胞和其他的神经细胞是相互连接在一起的。为了创建一个人工神经网络，人工神经细胞也要以同样方式相互连接在一起。为此可以有许多不同的连接方式，其中最容易理解并且也是最广泛地使用的，就是如图所示那样，把神经细胞一层一层地连结在一起。这一种类型的神经网络就叫前馈网络（feed forward network）。这一名称的由来，就是因为网络的每一层神经细胞的输出都向前馈送（feed）到了它们的下一层（在图中是画在它的上面的那一层），直到获得整个网络的输出为止。
神经细胞通过输入层、隐含层和输出层的链接，形成一个复杂的神经网络系统，通过有效的学习训练，使输出层的结果与现实越来越靠近，误差越来越小，当其精度满足一定的功能需求时，神经网络训练完毕，此刻构建的神经网络系统即能为我们解决众多机器学习上的图像识别、语音识别、文字识别上的问题。
在智能驾驶目前的发展历程上看，人工神经网络技术，乃至现在最新的深度学习技术，广泛用于视觉感知模块的车辆识别、车道线识别、交通标志识别上。通过对中国路况工况的数据采集和处理，广泛获取国内不同天气状况（雨天、雪天、晴天等），不同路况（城市道路、乡村道路、高速公路等）的真实的环境数据，为深度学习提供了可靠的数据基础。
此处神经网络的输入层数据，也即是传感器获取的数据，是多源多向的，可以是前挡风玻璃片上视觉感知模块的障碍物位置、形状、颜色等信息，也可以是毫米波雷达、超声波雷达检测的障碍物距离、角度、速度、加速度等信息，还可以是360°环视系统上采集的车位数据、地面减速带数据。
卡尔曼滤波
卡尔曼滤波（Kalman filtering）一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。简单来说，卡尔曼滤波器是一个“optimal recursive data processing algorithm（最优化自回归数据处理算法）”。对于解决很大部分的问题，它是最优，效率最高甚至是最有用的。
Kalman滤波在测量方差已知的情况下能够从一系列存在测量噪声的数据中，估计动态系统的状态。由于，它便于计算机编程实现，并能够对现场采集的数据进行实时的更新和处理， Kalman滤波是目前应用最为广泛的滤波方法，在通信、导航、制导与控制等多领域得到了较好的应用。
卡尔曼滤波是多源传感数据融合应用的重要手段之一，为了扼要地介绍卡尔曼滤波的原理，此处形象地用毫米波雷达与视觉感知模块融合目标位置的过程描述。
举一个简单的例子，目前高级辅助驾驶系统（Advanced Driver Assistance System，ADAS）上，搭载有毫米波雷达和超声波雷达模块，两者均能对障碍物车辆进行有效的位置估计判别。雷达利用主动传感原理，发射毫米波，接收障碍物回波，根据波传播时间计算角度距离。两者均能识别出车辆位置，那么我们该如何融合信息，如何取舍，计算出具体的车辆位置呢？卡尔曼正是解决这个问题的方法之一。
我们获取的车辆位置在任何时刻都是有噪声的，卡尔曼滤波利用目标的动态信息，设法去掉噪声的影响，得到一个关于目标位置的好的估计。这个估计可以是对当前目标位置的估计（滤波），也可以是对于将来位置的估计（预测），还可以是对过去位置的估计（插值或平滑）。卡尔曼滤波就是这样一个根据当前时刻目标的检测状态，预测估计目标下一时刻目标检测状态的一个动态迭代循环过程。
高级辅助驾驶系统ADAS是目前智能汽车发展的重要方向，其手段是通过多源传感器信息融合，为用户打造稳定、舒适、可靠可依赖的辅助驾驶功能，如车道保持系统（Lane Keeping Assist， LKA），前碰预警（Forward Collision Warning， FCW），行人碰撞警告（Pedestrian Collision Warning，PCW），交通标记识别（Traffic Sign Recognition，TSR），车距监测报告（Head Monitoring and Warning，HMW）等。
多源信息的融合，目的在于数据信息的冗余为数据信息的可靠分析提供依据，从而提高准确率，降低虚警率和漏检率，实现辅助驾驶系统的自检和自学习，最终实现智能驾驶、安全驾驶的最终目标。
