万字概述L3级及以上自动驾驶测试和评估方法

万字概述L3级及以上自动驾驶测试和评估方法-汽车电子-与非网

本文描述了自动驾驶系统初步测试和评估方法的发展，以支持对ADS安全部署的评估。这是在《近万字解释：智能驾驶系统功能如何定义》《7000字告诉您什么是-智能驾驶系统ADS-设计运行域ODD》及《L3级及以上自动驾驶OEDR设计基线》报告的结果基础上进行的。

测试方法和流程是利用工程判断、以前的测试程序开发经验、功能要求和用例开发的。开发的测试框架和流程特别考虑到了实现可重复性、可靠性和实用性。最后，与测试ADS相关的许多挑战以及帮助解决这些挑战所需的进一步研究被确定。挑战包括那些与技术本身以及测试执行有关的挑战。虽然这项任务不涉及任何实际的测试，但其结果可能会影响到未来的物理和虚拟测试。美国目前的汽车认证情况涉及到OEM和供应商自我认证每件受控设备和每辆受控车辆符合相关的联邦机动车安全标准。政府相关管理机构的权力包括选择车辆和设备来验证是否符合这些标准，并在发现不符合标准或缺陷造成安全风险时采取执法行动。

为了支持这一点，政府相关管理机构的车辆安全合规办公室审计并核实合规情况，其缺陷调查办公室探讨安全问题以确定是否存在与安全有关的缺陷。对于包括ADS在内的未来汽车认证领域的结构，没有做出任何假设。相反，目的是开发一个灵活的评估框架和常见测试场景的例子。由此产生的框架集中在可以利用和应用于多种测试技术的通用测试场景。一个目标是开发该框架，使其可以用于各种方式的测试，包括：- 黑盒测试 - 对系统的功能进行测试，而系统的内部设计和实现在很大程度上对测试者来说是未知的或没有接触过的。- 白盒测试 - 测试系统的内部结构或工作原理，而不是其整体功能。

在ADS评估的背景下，黑盒测试的一个例子是评估其避障能力。在这个例子中，测试可能涉及沿ADS的预定路线放置一个大的静态障碍物，并观察其避免与该物体碰撞的能力，同时继续导航到其预期的目的地。在这种情况下，只对产生的导航结果进行评估，以回答一个主要问题：

- ADS是否以安全和稳定的方式避开了障碍物？

在同样的情况下，白盒测试的一个例子是测量ADS的一个或多个感知和导航算法的输出，以回答众多的问题，可能包括：

- ADS在什么范围内探测到了障碍物？

- ADS是否正确分类了障碍物的类型？

- ADS是否正确估计了障碍物的位置？

- ADS是否正确估计了障碍物的大小？

- ADS决定做出反应的速度如何？

- 控制反应的稳定性如何？

在某些情况下，黑盒测试可能足以对ADS或其他系统进行安全验证；然而，回答与白盒测试相关的问题也有重要价值。回答这些问题有助于更深入地了解系统的性能界限。一个目标是建立一个测试框架，随着ADS的开发和部署，该框架可以使政府和工业界在黑盒和白盒测试方面受益和支持。

为了确定评估ADS的适当方法，对现有测试方法和工具进行了审查和评估。这一评估有助于了解目前如何对能够实现各种程度自动化的车辆进行测试。它还有助于确定现有测试框架中的潜在差距，从而确定额外的和修改的工具和方法来填补这些差距，并帮助建立一个测试框架。该评估包括与相关工程师讨论他们目前对能够实现SAE国际L1和L2级自动驾驶的车辆的测试。会上介绍了先前任务的结果，并对开发一套有用的测试方法和实际测试的步骤提出了初步想法。

然后建立了一个可广泛用于各种测试方法和工具的通用测试场景框架。这个框架建立在前面任务的发现之上，包括ADS操作的主要元素（机动策略、ODD和OEDR），对其整体安全有直接影响。这些要素中的每一个都可以被看作是整个测试方案中的一个输入或综合组成部分。该框架的开发方式是，它可以用于黑盒和白盒测试。每一个核心场景组件都可以类似地应用于黑盒和白盒分析；区别在于能否在被测系统的各个层面上注入输入并进行输出测量。作为该分析的一部分，确定了可以进行这种注入和测量的关键接口。

随着这个方案框架的建立，为重要方案的一个子集制定了名义上的测试程序。该程序的结构是基于先前与以下方面有关的测试 联网汽车技术。这些程序的各方面包括以下内容：

- 测试对象和目的

- 测试人员、设施和设备

- 测试场景 

o 初始条件     

o 执行情况     

o 数据测量和度量

为了支持测试框架和测试程序本身的发展，确定了一些指导原则：

- 测试变量应该是孤立的，而不是集成的。

- 测试环境应该被描述或控制，以保证测试的可重复性

- 测试指标不应包含固有的阈值

- 测试方法应允许有足够的动态范围

- 测试应在尽可能低的集成水平上进行

- 低级别的测试应该有助于为高级别的集成系统测试创造边界条件

- 测试变量和条件的参数化应该集中在"合理的最坏情况 "上。

最后，与测试ADS相关的挑战被确认。ADS给基本的车辆平台增加了很大的复杂性，在许多方面会使其评估更加困难。这些挑战被分成两个主要类别：（1）与开发测试和指标有关的挑战，以及（2）与测试执行有关的挑战。

图 1. ADS测试和评估方法开发过程

测试架构关于目前由政府和工业界进行的ADS测试活动的现有文献和报告被审查。审查确定了这些测试主要采用的几种方式：- 模型和仿真（M&S）- 封闭式道路场景测试- 开放式道路测试

这三种技术提供了一个多方面的测试架构，具有不同程度的测试控制，以及不同程度的测试环境保真度。在许多情况下，这些技术中的两项或多项可以并行使用，或以迭代的方式逐步评估一个复杂的系统，如ADS。

图2. 初级测试方法

建模与仿真M&S依靠虚拟环境和虚拟车辆来产生关于ADS行为的知识，而不需要实体车辆和在现实世界中的实际测试。基础车辆平台和基础ADS组件需要进行物理和/或数学建模，以使虚拟系统的行为能够模仿真实系统的行为，达到预期的精度。同样地，ADS将在其中运行的虚拟环境也被建模到所需的精度。这些模型的精度越高，就越能代表车辆或环境的实际性质，从而获得更多的实质性数据进行分析。

仿真测试有几个优点：- 可控性 - 仿真提供了无可比拟的能力来控制测试的许多方面。- 可预测性 - 仿真的设计是为了按照规定运行，所以对于测试如何运行几乎没有不确定性。- 可重复性 - 仿真允许以同样的方式、同样的输入和初始条件多次运行一个测试。- 可扩展性 - 仿真允许产生大量的和类型的场景。- 效率 - 仿真包括一个时间组件，允许它比实时速度更快，因此许多测试可以在相对短的时间内运行。

这些特点对于复杂系统的测试非常重要。相对于建立一个或多个全功能的测试工具，模拟也可以作为初始测试的一个相对便宜的选择。仿真环境的实施和部署也更快，而且可以测试更多的条件。

有几种M&S的方法可以应用于支持现有工具的ADS的验证和核实。本文讨论了这些应用的例子，并在后续相关文章进行了更广泛的描述。

在M&S领域中，有几个子领域可用于ADS测试：

- 软件在环（SIL）仿真

- 硬件在环（HIL）仿真

- 车辆在环(VIL)仿真

SIL仿真可以被看作是一个传统的仿真系统，其中底层ADS软件的一个子集或全部被纳入建模的车辆，以驱动对刺激的物理反应。这可能包括处理建模的传感器数据，然后反馈到世界建模、决策和运动规划算法中。运动规划算法的输出可以被送入车辆模型，然后控制虚拟车辆的运动。

HIL仿真将某种程度的物理硬件和设备纳入仿真环境，为系统的某些部分提供真实的数据输入和处理。例如，一个实际的雷达可以被连接到仿真中，为虚拟的ADS提供实时的范围数据，以处理和制定反应，或者一个实际的电子控制单元可以被连接到虚拟系统中，以研究物理生产意图的硬件如何运作。另外，一个真正的重型车辆气动制动系统可以安装在一个静态支架上，并与模拟器相连接。由虚拟ADS模型产生的制动信号可以被发送到制动系统，以收集数据，了解对某些条件和刺激的实际动态响应。

最后，VIL模拟可以通过利用生产意图的车辆和子系统来实现某种程度上更综合的测试和分析。ADS平台可以被放置在一个滚轴测试台上，如底盘动力学仪，以允许转向、油门和刹车系统的物理驱动，使车轮滚动和转动，同时车辆保持原位。仿真系统可以与滚轴台和车辆本身相连接。与车辆的接口可以允许注入传感器数据以模拟地形和物体，并注入地图数据以支持路线和决策，以及其他事项。与压路机的接口可以促进对路面状况的模拟（例如，粗糙度、牵引力损失）。另外，虚拟场景和物体可以被注入到真实世界的测试环境中，实际的ADS在轨道上运行并对虚拟场景做出反应。通信基础设施，如DSRC，可以集成到模拟中，以提供V2V或V2I数据交换，注入这些虚拟物体或场景。

图3显示了一个通用的ADS仿真结构图。图中列出了可以模拟并注入测试的外部输入，可以控制或测量的输入，以及可以测量的输出。仿真的性质（例如，白盒与黑盒）可以允许其他数据注入和测量的接口。

图3.名义上的ADS仿真结构

M&S测试提供了一些额外的好处，以解决与测试ADS相关的一些挑战。ADS可能遇到的场景数量之多，以及构成一个场景的组件（如ODD、OEDR）的规模和可变性，可能会带来一组不切实际的测试案例。M&S可以被用来通知测试要求，并优先考虑使用拟议的测试架构的其他技术进行额外的测试方案。仿真可以作为一种工具，评估ODD和OEDR的敏感性对ADS准确性的影响。各种各样的测试案例参数（例如，传感器误差、交叉口类型、物体类型）可以有效地变化，以估计潜在的相关风险。这可以为风险概况的发展提供信息，有助于优先考虑这些参数和情景。此外，仿真可以很容易地实现故障注入，以测试故障模式和ADS对这些故障的反应。

M&S的使用也存在一些缺点。它很难对系统和物理特性进行完全保真的建模，这可能会影响仿真环境对现实世界的模拟程度。还有各种各样的商业仿真工具，以及供应商开发的工具，都具有独特的特点和能力。这给在不同的工具之间进行结果比较带来了挑战。

图4. 用于通知测试要求和优先考虑测试方案的建模和仿真

封闭道路测试

在真实世界的环境中进行测试是评估ADS的一个重要组成部分。让实际车辆经历各种栩栩如生的场景，可以对整个系统的性能进行评估，而使用M&S技术可能是不现实的。与模拟中的情况不同，实物测试不是将虚拟物体和环境呈现给模型中保真度有限的车辆，而是使用实际传感器和软件在目标平台上运行，将真实的障碍物或障碍物代用品呈现给生产水平的车辆。在封闭的赛道或公路上进行测试是实现这种逼真的测试条件的一种方式。

许多开发ADS技术的组织要么有自己的封闭式试验场，要么通过合作获得类似的试验场。也存在独立的试验场。此外，美国交通部最近指定了10个试验场试点，以鼓励ADS测试和数据共享。具有CV和ADS技术专长的团队，以及拥有支持评估这些技术的可用测试设施，包括封闭的测试轨道，已经在全国各地组织了这些试验场试点，以实现这些目标。

与M&S或开放道路测试相比，闭环道路测试提供了一些优势。

- 可控性 - 闭环道路测试允许对许多测试变量进行控制，包括ODD和OEDR的某些方面。

- 提高保真度 - 闭环道路测试涉及功能、物理ADS和逼真的障碍物和环境条件。

- 可转移性--闭环道路测试场景可在不同地点复制。

- 可重复性 - 闭环道路测试允许以相同的方式，用相同的输入和初始条件运行多个迭代测试。

相反，闭环道路测试也有几个缺点，对其评估和评价ADS的效用提出了挑战：

- 时间长、成本高 - 闭环道路测试需要大量的时间来建立和执行，导致成本上升。

- 有限的可变性--闭环道路测试设施的基础设施和条件可能难以修改，以考虑各种测试变量（例如，ODD条件）。

- 人员和设备需求 - 闭环道路测试可能需要专门的测试设备（例如，障碍物、测量装置、安全驾驶员）。

- 潜在的危险性--有实物车辆和真实障碍物的闭环道路测试给测试参与者（如安全驾驶员和实验观察员）带来了潜在的不确定性和危险环境。

图5显示了一个通用的ADS闭环道路测试结构图。该图给出了在测试中可以控制或测量的外部输入和条件，以及可以测量的输出。测试的性质（例如，白盒与黑盒）可以允许不同的数据输入和测量接口。在黑盒测试的情况下，主要的测量输出是导航结果，这可能包括《L3级及以上自动驾驶OEDR设计基线》中描述的与OEDR相关的反应。另外，白盒测试方案可以在架构内的其他一些点上进行测量，包括传感器融合、决策和运动规划阶段的输出。这种拟议的白盒方案提出了额外的挑战，如获得必要的子系统接口以收集相关数据。应该注意的是，现实世界环境的元素，包括环境条件（例如，道路几何、路面和基础设施）和物体的节奏空间运动，在很大程度上可以在闭环道路设置中控制。其他条件，如天气和环境照明，不一定能被控制。还应注意的是，无论其中一些条件是否可以控制和复制，一些与ODD和OEDR有关的条件（如车道标记的质量、雨量或雪量、道路的粗糙度、物体和基础设施的方向）的纯粹可变性可能使测试的完整性难以解决。根据风险状况对测试场景进行优先排序被认为是测试场景选择的一个关键因素。

图 5.名义上的ADS闭环道路测试架构

开放式道路测试

公共道路提供了一个 "真实世界的实验室 "来支持ADS的测试和评估。一些实体正在积极地在公共开放道路环境中测试ADS原型，以支持持续的开发和完善。除了允许对开发原型系统进行全面的性能评估外，公共道路还将系统暴露在与ODD和OEDR有关的极其广泛的真实世界条件下，这在既定的封闭道路测试上是不可行的。 

然而，ADS的公开道路测试也有几个缺点。 

- 缺乏可控性--公共道路方案对ODD和OEDR条件没有提供多少控制，如果有的话。

- 缺乏可复制性--公共道路上的情况很难在不同地点完全复制。

- 缺乏可重复性--公共道路方案很难在多次迭代中完全重复。

- 有限的可扩展性--公共道路方案可能不能很好地扩展，因为ADS可能需要额外的数据，如先验的数字地图。 

图6代表了一个用于公开道路测试的名义上的ADS测试结构。值得注意的是，很少有系统的输入是可控的或已知的。对主要的系统输入（如环境条件和现实世界的信息）几乎没有任何控制。这种测试技术可能为在开发过程中进一步评估系统提供了一个合理和关键的 "最后一步"。

图6. 名义上的ADS开放道路测试架构

已经并正在努力为发展中的组织提供关于ADS安全测试和验证的指导，包括在公共道路上的测试。一些国家已经调查了类似的指导，或者在某些情况下，立法管理ADS在其州界内公共道路上的测试和部署。自2012年以来，到2017年美国有41个州和地区考虑了这种立法，尽管这种立法解决一些主要问题的程度不确定或不同。在加州，有相当多的公司在公共道路上测试ADS，加州机动车管理局要求这些公司提交年度报告，详细说明自主驾驶的里程数，以及每辆测试车辆的安全驾驶员干预的数量和性质。

前几篇文章总结了推动ADS安全部署的几个重要功能组成，本文将总结最后一个重要组件。以下组件被确定为共同构成了普通ADS测试场景的核心内容： 

- 机动策略行为

- ODD要素

- OEDR能力

- 失效模式行为 

机动策略行为与ADS作为测试的一部分所执行的直接控制相关任务有关（例如，车道跟踪、变道、转向）。相关的ODD要素通常定义ADS在测试期间所处的操作环境（如道路类型、交通条件或环境条件）。OEDR能力直接关系到ADS在测试期间遇到的对象和事件（如车辆、行人、交通信号）。最后，一些测试可能包括注入或模拟错误或故障，在ADS的功能结构中的各个阶段诱发故障。故障模式将在后续文章中详细讨论，欢迎关注收藏与转发。 

测试方案可以由这些核心部件中的一个或多个元素组成，可视化为图7中多维测试矩阵的各个维度。这些组成部分中的每一个都可以包括在一个检查表中，以确定每个类别的方面被纳入一个给定的测试中。

 

图7. ADS测试方案矩阵

例如，L4高度自动驾驶车辆/TNC功能的ADS测试场景样本可以用表1中的项目进行概念性描述。在这种情况下，主要的战术操纵行为是ADS执行低速并入相邻车道。测试中的主要OEDR行为是检测和响应目标相邻车道上的其他车辆。名义上的ODD条件是在一条笔直、平坦的干道上进行测试，该干道上没有退化的车道标记，有正常的交通，最大速度限制为72公里/小时（45英里/小时）。

测试是在白天进行的，天气晴朗干燥，ADS按设计运行。 

这种指定场景描述符的方法可以建立为一系列的检查表：图7所示场景测试矩阵的每个维度都有一个检查表。这种多维核对表的方法将提供场景测试的高层结构。 

表1. ADS场景测试描述符样本

机动策略行为	进行变道/低速并线
ODD要素	主干道类型
直线，平坦
72公里/小时（45英里/小时）的限速
晴朗、干燥的天气
OEDR行为	探测并应对相关的相邻车辆（正面、侧面、后方）。
失败模式行为

然后，每个类别的基本组成部分被进一步定义和量化，以充分开发一套可操作的场景测试程序。例如，机动策略行为可以被进一步指定，以表明变道的方向和如何引起变道（例如，由于即将到来的左转弯而转向邻近的左车道）。可以进一步指定ODD元素，以表明测试道路的曲率半径和间距，将进行测试的一天中的时间和太阳位置，以及周围基础设施的存在。

可以进一步指定OEDR行为，以表明障碍物车辆的数量及其初始条件（例如，位置、速度、方向）和测试期间的轨迹。

失效模式组件可以进一步指定，以表明将诱发的确切故障（例如，GPS接收器故障），以及如何和何时诱发（例如，在ADS开始移动和开始改变车道之前拔掉GPS天线和接收器之间的同轴电缆）。

额外的信息是必要的，以进一步为测试的实际执行创造条件，包括车辆（主体和客体车辆）和它们的作用。一般的测试程序是以NHTSA先前进行的CV技术测试为模型，特别是商用车FCW系统的测试。这些测试程序的各个方面包括以下内容：

- 环境条件

- 抽样测试人员

- 样品测试设施

- 抽样测试设备

- 抽样测试场景

     o 初始条件样本

     o 样本指标

     o 程序的执行样本

     o 试验有效性样本

     o 评价标准样本

后续文章将概述更详细的测试场景和所选通用功能的程序样本，包括执行低速变道或合并。这些场景中的每一个都是通过确定图7中建议的测试矩阵的元素，为选定的通用功能之一产生的。这些程序定义了一个单一场景的测试。有许多与ADS执行低速合并有关的相关场景，其中一些在图8中显示，还有大多数其他行为。在这些场景的可视化中，ADS被强调为绿色。这些场景显示了一个假设的测试进展，从相邻车道上没有车辆的简单情况开始，到相邻车道上的车辆间距大到没有足够的空间让ADS安全并线的情况，反复地变得更加复杂。 

图8. 低速并线测试场景样本

这里描述的场景框架足够灵活，可以支持测试场景的定义，可以适用于仿真、封闭道路测试和开放道路测试。上面描述的测试程序的一些元素与封闭场景或开放道路测试更相关；然而，这些元素很可能被修改或忽略，用于基于模拟的测试（例如，测试人员，测试设施）。场景的核心部分（战术演习行为、ODD、OEDR行为、故障模式行为）可以很好地配置给测试架构的所有环节。它们也适合于为黑盒和白盒测试定义场景。白盒测试的重要区别之一是确定数据测量的关键接口，以支持评估的性能指标，否则黑盒测试技术可能无法使用。 

该框架可以用来促进测试的进展，其中某些条件被修改以增加复杂性（例如，目标车辆和障碍物的速度和轨迹）。这种类型的测试进展支持对行为和性能的识别边界和限制。此外，场景框架很适合构建场景的组合或序列，以扩展ADS评估，包括更全面的操作测试。对特定场景或行为的测试虽然重要，但在评估ADS的安全运行方面的作用有限。将场景组合到操作测试中，提供了一种评估系统和评估测试空间的方法。

测试的挑战 

本章的前几节已经确定了开发ADS场景测试的框架，以及执行这些测试的方法。虽然这个框架提供了一个灵活的手段来进行ADS评估，但与这些评估相关的挑战是很多的。本节以先前的工作为基础，确定与测试ADS相关的几个关键挑战。提出的挑战清单并不全面，而是旨在提供一个初步的工作清单。 

在开发和进行测试时，有两个主要类别的挑战需要考虑。(1）与ADS技术相关的挑战，以及（2）与测试执行相关的挑战。 

与ADS技术相关的挑战集中在该技术的一些特点和集成硬件和软件系统的基本实现。 

- 概率和非确定性算法--为了满足与ADS决策相关的一些时间需求，许多开发者正在利用依赖于启发式或概率的算法来相对快速地提供一个 "最佳猜测"。这使得系统有可能做出不正确的决定，或在不同的迭代中做出不同的决定，即使在相同或接近相同的条件下。这种缺乏可重复的系统输出强调了可能需要新的测试方法。当状态空间非常大甚至无界时，经常使用概率和非确定性算法，这使得对所有条件的完整测试几乎不可能。

- 机器学习算法--许多开发者也在利用算法，如卷积神经网络，允许系统在接触新的条件和场景时从经验中学习。这同样可能导致ADS在类似或相同情况的测试中做出不同的反应。

- 数字地图需求--一些原型ADS（通常是L4或L5系统）使用先验的数字地图信息进行定位和障碍物测绘。这有效地限制了ADS可以发挥作用的地理区域，并随后进行测试。

- 回归测试--软件和固件空中更新的出现，将使ADS开发者能够迅速推送新功能和修复缺陷。这些更新有可能对整个系统的性能产生重大影响，可能会增强甚至使先前的测试结果无效。 

在ADS上执行测试的相关挑战突出了车辆可能遇到的条件的广泛性，并在人的最小输入或指导下处理。这些挑战，除其他外，包括： 

- 测试的完整性--要达到统计学意义上的安全运行，所需的测试或行驶里程数可能是惊人的。

- 测试执行的可控性 - 没有司机指挥车辆，可能需要新的工具或方法来指导ADS以所需的方式进行测试（例如，遵循所需的路线/轨迹，强制与物体发生碰撞）。

- 测试的可扩展性--将很难实现对可想象的各种测试条件和组合的重大覆盖，特别是与ODD和OEDR有关的测试。

- 未知或不明确的约束/操作条件--有大量的现实世界的角落案例（例如，缺少车道标记，缺少标牌），可能会使ADS遇到它没有所有必要信息的情况。适当的反应可能是明确的（例如，过渡到MRC）；然而，识别和测试所有这些角落的情况可能是难以做到的。

- 降级测试--针对理想条件的测试提供了一个很好的起点，但针对甚至是 "合理的最坏情况"（例如，车道标记的退化、雨、雪、阴影）建立测试将是很麻烦的。

- 基础设施方面的考虑--关键基础设施要素（如路面、车道标记、标志）的变化可能会对ADS的性能产生重大影响。

- 法律和法规--驾驶法在州内和州外都不一样，可能会发生变化，在某些情况下，在一定程度上是可以解释的。针对某些法律和法规的成功测试可能无法转移。

- 假设--以某些假设或期望建立测试（例如，其他车辆遵守道路规则并遵循驾驶礼仪），可能会过度简化场景，使其不切实际或失去评估的价值。

国际ADS测试项目 

一些与ADS测试相关的国际项目可能与本研究的目标相关或互补。

最近结束的AdaptIVe自动驾驶项目涉及来自欧洲8个不同国家的28个合作伙伴，通过合作开发和测试，进一步推动自动驾驶的应用。该项目涉及SAE国际L1到L4系统，并评估了自动驾驶的其他方面，包括人为因素和法律问题。AdaptIVe项目评估了几个场景，这些场景被归类为以下内容。 

- 近距离场景--车库停车（L3），走走停停的交通（L3），安全停车（L4）。

- 城市场景--城市司机（L3），安全停车（L4）。

- 公路场景--变道（L3），车道/车辆跟踪（L3），安全停车（L4）该计划还涉及四个关键领域的ADS的评估方法。

- 技术评估--ADS功能的性能

- 与用户有关的评估--用户和ADS功能之间的互动

- 交通内评估--ADS对周围交通和非用户的影响

- 影响评估--ADS功能对安全和环境方面的影响

之前在第3章中提到，PEGASUS项目的目标是：

- 为ADS在仿真、试验台和真实环境中的测试和实验定义标准化的程序。

- 开发一个连续和灵活的工具链，以保障自动驾驶。

- 在早期阶段将测试纳入开发过程；以及

- 创建一个跨制造商的方法来保护高度自动驾驶功能。 

该计划涉及17个合作伙伴，包括原始设备制造商、一级供应商、测试实验室和科研机构。该计划的一个重要方面是在不同的抽象层次上识别和生成场景。此外，该计划试图利用仿真、封闭道路测试和开放道路测试来实施其中的一些场景测试，并试图为这些测试技术确定正式的性能指标。与这项工作类似，选择了一个可用的ADS功能子集进行分析和测试。

这项任务确定并开发了一个ADS灵活测试框架的例子，以及初步测试和程序。该框架利用了现有的测试技术，即M&S、封闭式测试和开放式测试。这些技术中的每一个都对评估ADS功能的性能有优势和劣势，但当在一个潜在的迭代过程中一起使用时，它们可以提供一个全面的评估框架。M&S能以有效的方式提供对各种测试条件的重要覆盖。M&S可以用来进行测试变量的敏感性分析，并可以帮助确定进一步评估的方案的优先次序。封闭式测试使用物理系统和物体，在受控环境下设置逼真的场景。开放式测试提供了一个在真实世界、不可预测和不可控制的环境中评估全部系统性能的机会。 

本章建立了一个灵活的ADS测试场景框架，该框架建立在本研究确定的其他关键测试组件上--战术机动行为、ODD元素、OEDR行为，以及故障模式行为。这个框架确定了一个多维的方法来指定关键的测试场景数据输入，基于这四个测试组件。这个框架足够灵活，可以在这些组成部分中增加或修改具体项目，因为新的机动策略或OEDR行为被确定，并允许有效设计新的测试。该框架的灵活性还表现在它可以用于上述所有的测试技术。高水平的测试程序是针对一组样本场景提出的，以进一步确定如何执行测试和收集哪些数据来衡量性能。

对ADS的评估发现了一些挑战，这些挑战可以归类为与ADS技术本身相关的挑战和与在ADS上执行测试相关的挑战。在某种程度上，测试结构和场景框架可以用来解决其中的一些挑战。该章还描述了国际研究计划，这些计划的共同目标是寻找评估ADS性能的方法。