人与环境：汽车智能驾驶的关键挑战

12月20日，由中国人工智能学会主办，CAAI智能驾驶专委会、上海交通大学、上海人工智能研究院有限公司、江苏南京生态科技岛经济开发区管理委员会、中新南京生态科技岛开发有限公司承办的“2020智能网联汽车高峰论坛”在江苏南京中新生态科技岛举办。主旨报告环节，CAAI智能驾驶专委会主任邓伟文教授带来了题为《人与环境：汽车智能驾驶的关键挑战》的精彩演讲。

以下是邓伟文教授的演讲实录：人工智能技术有很多应用，智能驾驶是其中的一个重要领域。

首先来看传统的汽车驾驶。传统汽车是一个典型的机电一体化控制系统，虽然也很复杂，但总体上是一个确定性系统，包括车辆、传感器、控制器。汽车的运动控制，包括轨迹跟随、紧急避撞、自动泊车等都是通过对力的控制实现，而力的来源主要是汽车轮胎。

车辆动力学的核心是轮胎动力学，涉及纵横向和垂向动力学的耦合，这也是车辆动力学的关键和精髓。

汽车控制包括对车体的控制，比如汽车的操控稳定、平顺性等，以及对车轮的控制，如ABS、TCS等，防止车轮锁死或打滑等失稳现象。此外汽车控制还包括对执行机构的控制，如汽车动力传动、制动和转向控制等。

这是传统汽车的功能架构。汽车的环境干扰主要来源于空气动力学，如侧风或阵风等，还有道路路面干扰等。我们通过电控线控执行机构实现对汽车受力和运动的控制。传统汽车既有人的驾驶，也有机器驾驶，这就是人机共驾，但机器听人指挥，环境由人负责；人是发号施令者，这样人是完美的，而环境与车基本无关。我们把这类人机共驾称为人主机从，即人指挥机器。

汽车电控出现在上世纪的8、90年代，之后随着环境传感器的出现，就出现了汽车辅助驾驶系统、汽车主动安全系统，这些统称为ADAS系统。随着技术的不断发展演进，将会实现汽车的自主驾驶。这是一个汽车电子化和智能化不断发展的过程，使传统汽车走向了智能汽车。

随着智能网联化技术的不断发展，传统汽车实现了从机械结构体向信息体的转变，向具有环境感认知的智能体转变，并实现从过去单一交通运载工具向移动通信的网联体转变过程。这些构成了汽车颠覆性的革命技术。

汽车智能化技术的挑战，很重要的原因就是行驶环境成为了汽车的一部分。汽车行驶环境复杂多变、不可预测、不可穷举，使得如何应对复杂开放的行驶环境成为智能汽车的重要挑战，不可在复杂环境下的感知认知，以及作为量产产品的高效安全和可靠性测试验证。这是汽车智能驾驶面临的两个重大挑战。

汽车智能驾驶系统可以分为环境传感感知、决策规划、控制执行等几大部分，或类似人感官、肌肉和大脑。这是一个包含人机环境的复杂系统。

机的概念相对简单。汽车智能驾驶主要是轨迹跟随，包括路径跟随和速度跟随，如自适应巡航系统，它是一个速度和距离跟随的控制系统；无人驾驶本质上都是轨迹跟随。汽车自动驾驶的轨迹跟随控制更多的是在线性条件下的运动控制，因为机器驾驶可以避免人的过度或不当操控，包括踏板、油门和转向等，相对而言它是一个比较简单的线性控制。

也有例外，这种情况下既要通过轨迹跟随实现避撞，同时还要考虑运动的稳定性，如左图所示是一个比较典型的多目标控制系统；右边显示的是一个高速弯道、低附着路面下实现避撞和车辆稳定性控制的示意图。这种情况下前面讲的线性小角度假设就不成立，系统之间的控制目标有冲突，彼此耦合等。总而言之，机的问题相对变得没有那么突出，但人的问题、环境问题是两个比较重要的问题。

在汽车智能驾驶领域，谷歌的Waymo是领先者，一开始就做L4级的自动驾驶，甚至要把安全员从驾驶位去除。他们的CEO有一段讲话，其核心就是两点，一是自动驾驶很遥远、非常难；二是人的作用永远存在，不管是无人驾驶也好，还是人机共驾，完全的自主驾驶不可能存在。

汽车智能驾驶总的来讲是机器辅助人、部分甚至完全替代人的驾驶系统。从汽车辅助驾驶开始，系统通过语音提示、警示、部分干预、到完全接管人的驾驶。根据美国SAE的自动驾驶分级，或中国工信部出台的标准，总体分为辅助驾驶、有条件自动驾驶、高度自动驾驶、完全自动驾驶。人的作用在驾驶链里逐渐减少，机器的作用则在逐步增加。

这个拐点就是我们通常讲的L3级自动驾驶，包括驾驶主体、责任和方式都有了突变。L1、L2是以人为主的辅助驾驶，L3是以机为主体的自动驾驶。自动驾驶包含两个截然不同的控制系统，一个是生物体的人驾驶，一个是以计算机为主体的机器驾驶；上面是机器，下面是人，人通过感官，包括听觉、触感和体感等感知行驶环境，这是一个典型的人机共驾系统。

人机共驾系统多多少少是智能驾驶道路上的无奈之举，一个很重要的原因就是大规模产业化，低成本约束是汽车行业一个很鲜明的特点和约束。人机共驾希望机器帮助人，但因为低成本下传感器的不足导致对行驶环境感认知的不足，系统还需要人参与驾驶。

当前的人机共驾主要还是人机交互问题，包括交互时机、交互方式、主动或被动交互等，其核心是驾驶权的分配问题，机器与人驾驶平稳过渡的问题。人机共驾实现平稳交互，做到人机协同共驾，驾驶权分配是关键；两者可以是共享型或切换型，包括控制权的共享、驾驶行为协同等。

就这个问题我们做了研究，一方面是理解人的驾驶特征，这是人机共驾的关键，包括驾驶意图、驾驶状态、驾驶习性等。首先要研究人的驾驶机理，人究竟怎样驾驶，包括人和机驾驶在机理上的差异性。从人性化驾驶角度看，驾驶员所谓的个性特征研究，人在驾驶过程中怎么处理对于感知信息的协同问题，其核心点是对驾驶特征的理解，包括不同行驶环境下不同车辆驾驶人的驾驶状态、驾驶习性和驾驶技能，这是人机共驾的关键。这是重庆大学团队在模拟器上实现的人和机不同情况下的接管和交互实例，即如何实现驾驶权分配的问题。

另一方面就是人机共驾的个性化问题。每个人的驾驶习性和风格不一样，一辆车两个驾驶人能不能形成和谐协同的驾驶，这是对人机共驾的共性理解。

能不能建立类我的驾驶，即通过油门、踏板、方向盘等不同的驾驶操作体现出类我的驾驶习性。以纵向控制为例，速度跟随和距离跟随，包括最后的加减速度的方式是不同的。驾驶的个性化行为特征研究是其中一个关键。研究方法总体来讲，是通过离线建模和在线辨识的方法。离线建模可根据分辨率形成稳健型、激进型和正常型等不同类型。通过采集数据，建立离线驾驶习性模型，包括稳健、正常和激进型驾驶习性。

通过在线辨识，判断某个驾驶员究竟属于什么类型，对于不同驾驶员在线判断他的驾驶操控形成对驾驶员驾驶习性的在线辨识。

我们通过和企业合作，将个性化驾驶特征应用到了自适应巡航系统，并做了实验验证。可以看到不同的跟车距离、跟随过程，速度跟随、距离跟随等可以体现出每个人的个性化驾驶特征。

人机共驾里很重要的问题就是拟人化问题。类人驾驶能力，智能驾驶不仅要具备对运动的操控，很多时候要有推理判断、决策能力，特别是复杂的突发事件处理能力。很多涉及到道德规范、伦理的问题，具备人的感性、悟性、灵性、理性，做机械做不到的方面。

汽车智能驾驶，从人机交互向人机融合发展，人和机怎么实现平稳协同交互，包括我们说的监管，希望进一步能够形成以认知为中心的人类智能和以计算为中心的人工智能，以提升我们在决策上的不足，特别是对于复杂场景，突发事件机器上决策的不足。这个过程就是以认知为中心、以计算为中心，人工智能两者之间的融合。

融合很重要的方面是通过对人的状态习性、驾驶技能的判断，特别是人的驾驶意图，来形成人的驾驶感知和人的驾驶意图的识别，为人机融合智能驾驶奠定基础。

一方面有人的驾驶行为，比如人的关注方式、范围、形式、强度等，这是人对世界的感知特点。我们有一系列的环境传感器，比如相机、雷达等，这即是精准感知，对道路识别、目标识别的特点确定性的感知。人的感知具有不确定性，这就构成了人机协同系统，提升了决策的可靠性，所谓混合决策，最后提升人机对于人驾驶的接受度和舒适度。

我们走过了早期汽车电控系统，主要是人主机从，到人是正常且完美的，人是驾驶链的BUG，这个过程中主要是人机交互。

人是一个高度智慧体，怎么发挥人对于这个世界感知的优势，包括决策的优势，实现人机融合智能，这是未来汽车自主驾驶的发展方向。

汽车的智能化总体来讲是一个机器自动化，向类人自动化的演绎，目前主要停留在第一阶段，是人在教机器，通过编程、预设行驶场景实现。随着智能化的发展，机器学人驾驶，也就是类人驾驶，这里面用到的就是人工智能技术。

人的问题是其中的一个挑战，环境是另外一个挑战，系统里包含大量的不确定性因素，这些不确定因素很大程度上是因为传感器的精度、分辨率、检测范围不足，这个不确定形成的误差、噪声、干扰等，会通过传感感知系统传导到我们的决策规划，到最后的控制执行，对汽车的安全行驶构成威胁。

据统计有多达43%的人认为自动驾驶汽车不安全，有多达75%的人宁愿自己开车也不愿乘坐自动驾驶的车辆，只有当自动驾驶汽车比人驾驶安全4~5倍，人们才会信任自动驾驶。

安全可靠性的测试长期以来是汽车量产里一个很重要因素，功能安全是其中一方面，ISO26262因为故障和失效带来的安全问题，很多时候是因为对于系统的这些问题，我们不足以来应对它。

现在行业也在探讨所谓多主体的安全，它来自于周边别的车辆和行人对你构成的威胁，这些问题都是汽车智能驾驶在安全方面要做的规范和探讨。

安全事故往往是小概率事件，测试验证需要很大的样本、很长的周期，美国的兰德公司的报告告诉我们，这个问题就是究竟需要多少英里才能证明？行驶1亿英里大约会造成1.16人死亡，只靠传统的场地测试验证已经做不到了。

从安全的角度考虑，危险机械的工况不太可能通过封闭园区、开放道路来测试，这个测试成本极高；另外就是效率，还有里程数没有办法。虚拟的数字实验场变成了一个非常重要的途径。公共Waymo，到现在为止这个数据已经达到150亿英里，而道路测试总里程数才2 000万公里。仿真测试在虚拟理解里，我们构建道路结构、交通、天气光照的因素来实现系统的测试。如果这些是自动驾驶，包括它的软硬件等，核心问题是能不能构建出这么一个世界或者场景来测试它。场景来源于我们对世界的抽象认识，这个世界无限丰富，极其复杂，没有边界。

通过建模构建测试验证和评价体系，包括世界模型，以及道路模型、交通模型、气象模型，相机模型包括单目相机、双目相机等，来驱动车辆。

怎么构成基于对世界的理解，就是我们中间讲的场景。一部分是静态的，比如道路、交通、设施等；还有一部分是动态的，特别是动态的，它既有实际特征又复杂，没有边界。怎么构建这个场景？一方面我们提出行驶环境里三维组合的场景概念，比如高速公路、城乡道路、封闭园区等，环境的影响；另一个方面就是驾驶场景，你的速度和驾驶模式是什么，这是场景的三维组合。

四维的映射，从传感器的角度，特别是自动驾驶里的测试，比如雷达、相机等，我们来看它的几何特征，形成一个对行驶环境四维的映射。

场景是可以模拟的，比如封闭园区、数字虚拟场景、实验室场景，它的优势可以自动生成，甚至可以大量生成，而且可以解决数据里的标注问题。模拟场景的核心点是要构建出复杂的道路，无序的交通、恶劣的天气和突发事件，这些在日常行驶过程中很难构建。

场景构建解决了另一个问题，就是数据的来源。现在大量的数据，深度学习数据是一个重要的方面，构建虚拟的数字实验场，形成人工场景数据。

仿真测试支撑产品开发的方方面面，通常我们讲的V字型的模式，左边是系统设计和分解的过程，这个过程可以通过大量的软件模拟仿真来支撑它的开发。右边是不断的集成和验证的过程，这样就有不少的硬件，包括执行机构、传感器、车辆都可以构成硬件在环仿真。最后可以引入人的环节，实现主客观评价，驾驶模拟器，构成了一个完整的对于汽车开发环境的支撑。

最后简单介绍一下我们开发的一个仿真平台。这个平台首先是车辆动力学，不同的车辆（包括电动汽车、汽油车、客车等）构成了车辆动力学的模型，在数字虚拟环境下构建了行驶环境的模拟，比如道路、高度结构、道路纹理，对车道线检测，包括车辆的检测非常重要，三维场景的行驶模拟。

这是我们给戴姆勒做的实例，从地图导入，自动生成场景——德国的城市，构建的一个场景。

世界模拟的核心是交通，特别是交通里的边界条件，极端的异常交通工况怎么进行模拟？这是我们构建的Traffic Builder。

刚才我们提到的行驶环境或场景都是给传感器看的，主要的车载传感器包括毫米波雷达、相机，还有激光雷达、超声波、无线通信、定位等，传感器建模就显得非常重要。

有了这个系统后，可以在一个软件环境下打造一个基于虚拟平台的仿真测试平台，构建由环境模型、道路交通、天气光照，支撑我们开发处理算法、控制算法等。进一步可以引入软件在环模型等，实现了实时仿真测试，进一步可以支撑打造分布式的机群，来支撑多传感模拟仿真，包括N路相机、雷达；支撑处理器的开发，把模拟数据传过去，在实验室的环境下生成大量的测试算法。

汽车自动驾驶离不开测试，没有充分的测试就没有足够的安全，没有足够的安全就不可能有自动驾驶的量产。仿真测试将是汽车自动驾驶最为重要且最具挑战性的测试技术。