智能座舱的下一个十年

知圈 | 进“高精度地图社群”，请加微信15221054164，备注地图

多屏联动、智能表面、自动驾驶、新材料、情感引擎正在迅速普及到中高端豪华电动车型中，智能座舱的下一个十年，更多数字化技术将会完美融入到智能座舱中，智能座舱也势会以更全新的形式呈现出来！

1

从被动到主动的交互模式

真实驾驶场景中，驾驶者视线与双手被驾驶任务占据，但驾驶员拥有与外界交互的需求，在人车交互体系中，驾驶员的核心注意力一定是被“开车”这件事占据的。所以，驾驶人员和车机系统进行“沉浸式”的交互短时间内并不现实。

除了注意力这种无形的交互限制外，驾驶人员的双手和视线两个重要的交互通道也被占用了。驾驶员可以偶尔单手操作，但可交互的距离被限制在了臂长范围内，同时，由于路面可能会颠簸、单手操作时的肘部是悬空的，这些都会导致操控的精准度下降。

而另一方面，驾驶员的视线无法离开路面超过3秒，尤其是在高速驾驶的场景下，1秒钟内汽车的移动距离最高可达30多米，眨眼间，可能就会造成惨剧。

但是，人们其实很难在驾驶过程中老老实实的，双手握好方向盘，视线紧盯路面，别的什么都不做。通过我们的调研发现，用户在开车时，会做很多事情，比如看看路况、听听音乐、和朋友聊聊天，甚至下班的路上顺便定个外卖，到家刚好能吃上。

在这个数字化的智能时代，我们不可能让驾驶人员一坐进车里就突然断掉与外界的一切沟通，不去处理任何生活和工作的相关信息，只做开车这一件事。

结合前面说的驾驶场景下的交互特点，就会发现被动式交互是不适合在车内使用的。

用户需要发起和推进每一个节点，这样会导致视线需要频繁从路面上移开，不仅带来不安全的隐患，整个过程也是非常低效的。

于是我们设想，人与车的交互可不可以打破这种由人来发起再逐层深入的方式？汽车能不能在我需要的时候主动的把对应的服务放到我面前，而不再需要我在开车时手忙脚乱的去找。这样美好的体验设想，我们把它称为“主动式交互”。

那么什么是主动式交互呢？不同于被动式交互由人来发起，主动式交互以机器为起点，主动输出执行结果或建议给使用者，其次，机器可以自己主动的从外界输入信息然后进行决策判断，不再需要人来输入指令。随着智能化，自动化，电子化的趋势发展，车舱交互目标方向都为之动态变化。

智能化：随着技术，硬件和成本的发展，车里会越来越智能，智能化对交互方式影响是机器会增加担任主动输入的能力，所以随着车越来越智能化，车主在输入方面投入加少，效率更快。

自动化：随着自动驾驶的技术越来越成熟和普及，车主会逐渐释放注意力资源和手眼，可以更多投入车舱更多的娱乐操作当中。也会导致在输入输出反馈中更好利用视觉反馈。

电子化：去掉实体控件，科技感，简化内饰，降低成本，变成一种趋势。但是无论是触摸屏还是语音，都没有办法完美取代实体控件交互。然而，趋势仍然是站在触摸屏这边的。所以这也导致在车舱里交互的变化。

我们把车舱交互阶段抽象归纳为3个阶段进程，用户主动式交互---机器建议式交互---机器主动式交互。我们目前处于用户主动式交互到机器建议式交互到过渡期。而我们能推理出用户输入，机器输出/反馈和场景信息采集在这3个阶段进程里的趋势。

所以我们在规划未来的多模交互时，要增加对机器输出/反馈界面的重视，逐渐降低对用户输入的投入，重视场景信息采集，让机器承担更多主动输入输出的角色，从而真正解放用户的思考，达到自然交互的目的。

主动式交互的车机系统，应该做到精准与无感知的主动输入

主动输入的体验目标有两个，精准度和无感知。如果一开始机器对外界的感知就不精准，判断出错，那么机器的主动输出很有可能不是用户需要的，所以我们要确保精准。另一方面，机器的主动输入过程也不能干扰用户，那最好的方式就是让用户感知不到，也就是无感知交互。

我们把车和人感知世界的方式做比较，人有感官，可以通过看和听来感知周围的环境。同样的，我们通过在车内搭建一套硬件传感系统作为车的感官，借助AI的识别技术，让汽车也具备和人类似的听、说、看的能力。

主动式交互的车机系统，应该做到简洁高效的主动输出

说完了主动输入，我们再来看看主动输出；输出是机器主动和人进行沟通的重要环节，在驾驶这个特殊的场景下，机器的主动输出要尤为注重减少驾驶干扰和提升传达效率。

主动式交互能有效减少用户视线转移次数，提升安全性，主动式交互能省去记忆和寻找功能入口的麻烦，提高效率，无人车时代的“主动式交互”将由车内拓展到车外。

人工智能技术使得机器的自主性越来越强，机器会变得越来越智能，随之交互也会变得越来越主动。那么，在更加智能的无人驾驶时代，汽车又会怎样的“主动”的和人类交互呢？

事实上，在无人驾驶的时代，车不仅要和车内用户交流，还要主动的和车外行人、道路上行驶的其他车辆进行交互。而车和外部环境的沟通方式，由于距离和噪声的影响，也会有很大不同。

当我们走向车辆，汽车会通过传感器或人脸识别等技术来以语音、灯光、全息影像、车外屏等形式来给我们来打招呼。同时，会对我们进行全面识别，以确定我们是否携带行李和儿童，从而为我们提供行李搬运机器人，并为我们打开车门，安排适合我们乘坐人数的座椅配置方案。

2

从按键-语音-到多模态交互进阶

语音成为多模态融合的主流交互方式

随着科技发展和车主的期望，车内外的信息和功能越来越多，作为HMI设计师的任务就是让车主减少注意力资源占用，减少驾驶分神，所以交互方式由此产生阶段性变化：物理旋钮/按键——数字触屏——语音控制——多模态交互。

车内信息和功能随着越来越多，物理旋钮/按键的交互方式已经满足不了内容的扩展，数字界面由此在车内出现。但是当网联化后，娱乐信息成为了车内一大内容，数字界面的弊端也逐渐暴露出来了。界面层级导致操作效率的下降，而数字组件控件虽然解决了空间，成本，扩展迭代的问题，但是同时也缺失了物理旋钮/按键原本的触感反馈，易定位性及效率精细操作等优势，一定程度上影响到驾驶安全。

而此刻语音的出现，可以有效的提高操作效率，减少车主视线移开路面的时长，提高了驾驶安全。那么语音交互就是最终的理想形态了吗？答案是否定的，功能不可见性/输入输出效率低/识别正确率/意图理解/勿扰性等等弊端导致语音交互并不能解决所有问题。而近几年多模态交互方式概念的提出并应用，试图改善这些问题。

我个人觉得车舱交互的未来一定是以语音为主的多模态交互方式，从车辆、环境、驾驶员状态等全面的感知、融合、决策、交互。丰富多模的输入，语音作为主交互模式，其余模态作为辅助与增强作用。语音又是人工智能的先锋，也是最先落地的技术，当前还有很大的提升空间。

区别于以往的交互方式，语音交互在输入和输出方式上发生了质的变化，语音可以解放人们的双手和双眼，降低驾驶场景的操作风险，提高安全度。但目前语音交互仍不够自然，会受诸多条件限制，例如需要在安静环境下，先唤醒然后发出指令，使用普通话交流等，这些并不符合人们日常对话的习惯。

未来，随着语音技术的不断完善，语音交互的自然度将进一步提升，并愈加趋向人类自然对话的体验。

具体表现为：

1 语音交互将从机械的单轮对话进阶到更流畅的多轮对话

图片来源：百度AI研究

2 合成语音更自然、真实，接近真人水平

图片来源：百度AI研究

3 语音交互具备听觉选择能力，提升多人对话体验 

图片来源：百度AI研究

4 语音交互将支持多种方言，并针对细分群体进行差异化设计

图片来源：百度AI研究

5 语音具备人设，情感，智能

目前，语音形象的人设的设计和表达主要聚焦在语音（如音色，语气语调等）和语言层面（如表达方式），并且通常局限在部分场景，部分话术上，缺少一致性和全局感。

未来，语音形象人设的设计和表达将以多维度整体设计的理念解决全局感弱的问题：从语音，产品外观，虚拟形象等维度进行整体的设计，甚至聘用编剧设计具有统一形象特点的话术，利用混合现实，全息投影等技术将人设具象化，以让用户在不同场景下均感受语音助手一致，明显的人设特征。打造用户喜爱的人设也将成为企业在市场竞争中形成差异化，吸引更多用户的重要方式。

6 语音开始拥有情感判断和反馈智能

未来，情感计算技术的提升以及硬件的升级将赋予语音助手在视，听方面更强的情感识别能力；同时智能体对于人类思维理解，情景理解能力将更加完善，其情感交互能力将更智能，更体贴。

 在情感识别的基础上，语音助手开始具备对情感的应对能力。通过合理借鉴人对于情感的应对策略，语音助手将从硬件层面（光效，肢体动作），VUI层面（如音乐，音效，话术），GUI层面（表情，颜色）等给出立体的情感反馈。智能体在人机交互过程中将体现出更多“情感智能”，带来更人性化的交互体验。

从语音交互到多模态交互

人脸交互利用人自身固有特征进行交互，具有自然，方便，快捷等特点；伴随计算机视觉技术发展，深度学习算法的不断突破，用于身份验证的人脸检测和识别技术已经成熟，被广泛应用于个人和公共场景的身份验证，并会继续扩大应用落地场景。

未来，车里还可以准确地识别人脸更多细节信息，如表情，微表情，精神状态（是否疲劳，是否专注），视线注意等，以判断人的情绪，疲劳状态，专注度等，并在情感互动，疲劳驾驶预警，专注力监测与应对等场景发挥作用。

图片来源：汽车HMI公众号

随着摄像头技术和深度学习算法的不断进步，空中手势交互的种类和自由度在不断提升，从二维静态，近距离手势扩展到三维动态，远距离手势，手势交互自然，高效的优势被进一步凸显出来。随着国内外科企业在手势识别领域的纷纷布局，空中手势交互将有望成为实现多模态交互的标配。

图片来源：百度AI研究

Tesla HUD 概念设计 图片来源：douban.com

基于眼动侦测的多模态交互能够更加优化交互控制、拓展信息服务。Nuance在CES 2019展出的眼动侦测+语音识别设计概念，使驾驶员可以对车内外的环境信息进行自然定位选择与交互

Nuance在CES 2019概念设计 图片来源：www.nuance.cn

所谓“自然交互”，就像人与人之间的对话一样，驾驶员可以通过声音、手势、眼神等多种方式组合在一起与车辆进行互动。当驾驶员在交谈时，他可以选择手势和眼神对车辆系统进行控制；当他正在驾驶，眼睛关注着路面情况时，就可以依靠语音和手势来操作。用户可以根据自己的喜好、习惯或当前状况来决定如何互动。

并且，可以操作的项目不仅包括导航、多媒体、车联网等软件功能，还可对车窗或天窗的开合、空调风口的调节等硬件进行控制。如果用户想更多地了解车辆功能，甚至还可以指着按钮问：“它们的功能是什么？并且随着手势识别技术的不断增强，以及未来车辆之间的互联性增长，互动的空间也将不再局限于车内。

或许不久之后的某一天，用户将可以与生活环境进行更多的互动。即使是复杂的查询，也可以通过手指和语音来操作，比如你可以问系统：这是什么建筑物？那家店营业多久？这家餐馆叫什么名字？我可以在这里停车吗？费用是多少？

宝马集团电子高级副总裁克里斯托夫·格罗特(Christoph Grote)表示：”用户应该能够以一种完全自然的方式与他们的智能联网车辆进行交流，而不用为了得到他们需要的功能去考虑使用哪种方式。在未来的座驾上，人们应该自由地做出决定，汽车也应该能够理解他们的需求。宝马的自然交互系统是未来自动驾驶汽车的一个重要配置，届时，车内的驾乘者将得到更加自由的体验。”

BMW

当人们开车时，他们必须同时关注多种事物：道路，乘客，收音机和其他辅助噪音。因此，他们很难知道汽车触摸屏上的一个动作何时完成，可以提供触觉反馈表明操作已成功，而不是仅依靠视觉或听觉提示。

凯迪拉克提示系统—触觉反馈

细微的手势和隐藏的负担尤其难以准确地传达给用户，触觉技术可以帮助提供有关已成功激活隐藏功能的反馈。

触觉反馈应该是相关的，及时的，有语义的和互补的。它应该解决一个突出的用户问题，并应明智地使用以避免分散用户的注意力或让人感到厌烦。触摸屏作为汽车人机界面的独特的控制模式被提出来，正如保时捷918和特斯拉模型S的大屏幕迭代所展示的那样。

虽然他们似乎提供了一个简单的替代方案，但事实上，他们在易学性方面存在问题，因为这种交互本身很可能带来分心等认知障碍，因为驾驶员必须始终依靠视觉反馈，并且不能随着时间的推移形成肌肉记忆或控制图。

迪士尼研究中心进行的一组有趣的实验指出了前进的方向，触觉渲染算法被用来模拟触摸屏表面上丰富的三维几何特征（如凸块，脊，边缘，凸起和纹理）。如果应用有意义的话，这可以允许肌肉记忆或对于控制的“感觉”随着时间的推移而发展 。该技术可以在触摸表面上的3D特征的触觉渲染中看到。

图片来源于网络

3

智能互联，多场景衔接

未来，将会打破单车智能的孤岛效应，形成一个互联智能场景。在此场景下，设备之间将互联互通，场景直接实现无缝衔接：一种情况是一个大脑（中控）连接并控制多个终端，例如通过智能中控，控制家里空调，窗帘等等。通过设备互通，场景融合，形成数据交互，共享的崭新智慧生态，共同提升人们的生活品质。

多终端协同，车辆调度形成体系，提高出行效率，通过大规模精准的车辆调度运营，实现出行需求和供给的高效匹配，提高车辆和城市道路资源的利用率。

智能互联下的多场景衔接需要人机信任。随着自动驾驶智能汽车的发展，智能汽车可以辅助甚至替代人们做出一些决策。在这种情况下，人类能否信任AI成为人机能否实现深度协同的重要前提。

人与人的信任通常建立在理解对方和了解其可靠性的基础上。而AI对于大多数人来说都较为陌生，决策过程也难以理解，这种不确定性往往会引发焦虑。同时，决策权和控制权的过渡也让我们对AI可能发生的错误异常敏感。

因此，信任构建的关键在于保证系统更加透明可靠（如在协作中给出决策依据），以及让人参与到AI的训练中，可以对智能系统进行指导和校正。通过人和AI的持续有效互动，AI成为可指挥，可纠正，可理解，可自我解释的系统，而人也学会如何更好地理解AI，用户AI来满足自己的需求。

资料参考：百度人工智能交互设计院人机交互趋势研究

车联网与家庭物联网正在逐渐整合，汽车与家庭之间的互联性增加，对汽车到家庭门户网站的需求将不断增长。

宝马和SmartThings合作，让宝马客户在旅途中与家人保持联系。从BMW数字仪表板，任何配备ConnectedDrive服务功能的BMW都将允许驾驶员在智能家居中单独配置房间和连接设备、打开和关闭家庭报警系统、在家庭紧急情况下接收警报等操作。

2019 年 8 月 9 日，华为在开发者大会上正式亮相 HUAWEI HiCar ，致力于提供 人 - 车 - 家全场景智慧互联解决方案 。

该解决方案的核心是“ 4S ”，即 Safety ， Smart Connection ， Seamless ， Resource Sharing ，分别是出行安全、无感连接、服务场景无缝流转、手机车机硬件资源共享互助。具体而言， 车与手机、车与穿戴设备、车与智能家居，都可以融合在一起，让我们的生活场景在不同空间中无缝切换 。

可以通过手机远程控制车门、车窗、车灯、空调 等，提供用车相关服务，包括加油、违章提醒、停车位拍照寻车等，以后在大型停车场再也不会有找不到车的尴尬了。华为智能家居 HiLink 服务的演绎视频中显示 ，通过中控屏幕控制家里的智能设备，包括灯具、窗帘、门锁以及各种家用电器 。

4

AR-HUD等新技术的成熟与普及

在未来三年内有量产基础的八项交互新技术中，AR-hud、智能机器人、智能表面、空中手势等技术正在逐渐成熟。HUD抬头显示中，可以有效发挥车载AR在智能车舱中的应用价值。

不同用户如单一用户或多用户如驾驶员、副驾驶、车内乘客，针对不同的信息内容维度：安全、导航、车辆监控、娱乐交流工作等，在不同的驾驶模式下等都呈现出非常大的设计空间。分享相应的内容到HUD屏幕上，通过AR地图导航技术叠加眼动跟踪技术，可以让驾驶员体验到更加逼真的导航服务。

HUD UI概念设计 图片来源：www.google.cn

三菱MI-TECH

AR-HUD是通过内部特殊设计的光学系统将图像信息精确地结合于实际交通路况中，将胎压、速度、转速等信息投射到前挡风玻璃上。使车主在行车中，无需低头就能查看汽车相关信息。下面我们将结合部分案例，来看一下AR-HUD在未来的发展。

AR-HUD对于用户而言，具有很大的直观性，通过结合现实路况信息，实时出现一些虚拟箭头来直观地引导我们前进，从而避免在驾驶中出现开过路口和分散驾驶员注意力的情况。

在驾驶安全方面，AR-HUD将结合ADAS、汽车传感器来做出安全提醒。比如，跟车距离预警、压线预警、红绿灯监测、提前变道、行人预警、路标显示、车道偏离、前方障碍物、驾驶员状态监测等等。同时，通过颜色的变化来提醒驾驶员安全度。

BMW-Vision-Next-100

BMW

同时，AR-HUD可以结合眼球跟踪，实时感知瞳孔和凝视位置，为驾驶员提供更准确的信息定位，同时为客户定制不同的体验要求。