AI大模型研究：大模型对整车智能化将带来颠覆性影响

AI大模型正经历突飞猛进的发展，ChapGPT和SORA的推出让人感到震撼，处于AI前沿的科学家和企业家指出，AI大模型将重构各行各业，特别是科技相关的领域。智能汽车作为一种科技产品，将如何被AI大模型改变？

大模型如何重构智能汽车？

继《2024年汽车AI大模型技术和应用趋势研究报告》从宏观层面探讨AI大模型对汽车行业的影响之后，佐思汽研推出第二份研究报告《2024年AI大模型对整车智能化设计和开发的影响研究报告》，从汽车硬件层、操作系统层、应用功能层、云端大数据层等方面研究AI大模型对整车智能化设计和开发的影响。

2023年，长安汽车在原有的SDA软件驱动架构上（SDA原来包含L1-L6层），加入了AI边缘侧和AI服务层。可以看到AI技术已经影响到智能汽车的大多数层面：L3电子电器架构层，L4整车操作系统层，L6整车功能应用层（含座舱、网联和智驾），L7云端大数据层等。L1机械层的底盘部分，L2动力层的电池部分，实际上也已经开始有AI应用案例。

长安汽车AI+SDA整车架构

来源：长安汽车

总结当前主机厂和Tier1的大模型应用情况，主要还处于整车智能化的局部层面，或开发流程的某个环节。

AI大模型在整车智能化架构各层级的应用案例

整理：佐思汽研

观察AI大模型在汽车应用的大趋势，我们还需要从大模型的演进中寻找思路。根据腾讯研究院的成果，AI将从大脑进化到AI Agent，从CoPilot进化到自主驾驶。

来源：腾讯研究院

那么，什么是AI Agent？

大模型/AI Agent 将取代 操作系统/APP?

佐思汽研认可这样的观点：AI大模型即OS，AI Agent（智能体）即应用。智能化产品的开发范式将从传统的OS-APP生态系统范式转变为 AI大模型-AI Agent生态系统范式。

来源：互联网

什么是AI Agent？AI Agent是一种超越简单文本生成的人工智能系统。它使用大型语言模型（LLM）作为其核心计算引擎，使其能够进行对话、执行任务、推理并展现一定程度的自主性。简而言之，Agent是一个具有复杂推理能力、记忆和执行任务手段的系统。可见，蔚来汽车座舱里的NOMI GPT，特斯拉FSD V12就分别是座舱域和智驾域的AI Agent。

来源：知乎

AI大模型是平台级AI，包括一线科技公司推出的大模型如ChatGPT，文心一言等。平台级AI可以作为技术基础，全面赋能操作系统，被视为下一代操作系统的新内核。传统的操作系统内核主要负责管理和调度系统的硬件资源，如GPU、内存等，以确保系统的正常运行和高效利用。然而，随着用户需求的日益增长，AI系统需要解析许多与人相关的个性化体验。

对于个人知识库、人的位置和状态感知、人的习惯爱好等与人相关的个性化因素，传统的操作系统无法进行有效的计算和处理。因此，我们需要一个全新的内核来满足这些需求。平台级AI大模型的强大之处在于，它能够管理和处理多种个人因素，帮助操作系统精准识别用户的意图。有了这样的能力，全新的操作系统就能为所有人带来“猜你所想，懂你所需”的智慧体验。

在汽车座舱应用中，要做到真正的千人千面，还需要车企根据自家车型和服务的特点，对AI大模型做进一步的定制，也就是基于平台级AI大模型基础上的AI Agent。我们可以看到，吉利车型（譬如极越、银河）基于百度文心一言推出的座舱系统，奔驰接入ChatGPT后的车载语音助手，实际上都是一种AI Agent。

目前，智驾AI Agent和座舱AI Agent是分离的，未来随着舱驾融合的发展，智驾AI Agent和座舱AI Agent也将走向融合。但是，主机厂和Tier1现在考虑舱驾融合，就不能只考虑硬件层面的融合，还需要考虑操作系统和整车系统架构层面，特别是要考虑大模型/AI Agent模式的快速演进。

大模型/AI Agent 目前是操作系统/APP生态的一部分，未来会取代操作系统/APP 模式吗？我们认为是有可能的。

基于大模型的Agent不仅可以让每个人都有增强能力的专属智能助理，还将改变人机协同的模式，带来更为广泛的人机融合。人类与AI协同有三种模式：嵌入（embedding）模式，副驾驶（Copilot）模式，智能体（Agent）模式。

来源：知乎

在智能驾驶中，嵌入（embedding）模式相当于L1-L2级自动驾驶，副驾驶（Copilot）模式相当于L2.5和高速NOA，智能体（Agent）模式相当于城市NOA和L3级自动驾驶。

在智能体（Agent）模式下，人类设定目标和提供必要的资源（例如计算能力），然后AI独立地承担大部分工作，最后人类监督进程以及评估最终结果。这种模式下，AI充分体现了智能体的互动性、自主性和适应性特征，接近于独立的行动者，而人类则更多地扮演监督者和评估者的角色。

在AI智能体（Agent）模式下，原来通过车机APP实现的大量交互操作，现在通过自然形态交互（语音，手势等）就能实现目标。甚至AI Agent主动观察车内外情况，提出需求问询，经过车主确认后即可执行某项任务。

因此，AI Agent的发展必然让以前的大量APP变得没有必要，必将给智能座舱和智能驾驶的开发及应用，带来颠覆性影响。

当前的AI大模型并不是操作系统，而是一种人工智能模型的范式和架构，关注如何让机器具备处理多种模态数据(如文本、图像、视频等)的能力。AI Agent更类似于一种人工智能应用或应用层，需要底层操作系统和硬件的支持才能运行，本身不负责计算机系统的基本管理和资源调度。未来AI大模型很可能和OS结合，成为AIOS。

AI大模型和AI Agent的发展对未来操作系统的影响包括：

• 小APP程序将会消失或者演变成调用大模型的AI智能体形态；
• OS体系可能演变成大模型+计算芯片的核心集群OS架构；
• AI大模型作为平台重新定义和赋能各类行业应用场景，催生更多以人机交互为核心的原生应用，包括自动驾驶车辆、机器人和数字孪生应用等。

《2024年AI大模型对整车智能化设计和开发的影响研究报告》目录

共160页

01

AI大模型应用现状与未来趋势

1.1 AI大模型应用简介

1.1.1 各类AI模型介绍

1.1.2 多模态大模型VLM：通用架构和演进趋势

1.1.3 大模型对3D道路场景理解的演进趋势

1.1.4 多模态大模型对智能汽车行驶道路场景理解的演进趋势总结

1.2 应用现状

1.2.1 AI大模型应用分类

1.2.2 AI大模型应用现状：供应商

1.2.3 AI大模型应用现状：主机厂

1.2.4 AI大模型在整车不同层级的应用

1.2.5 AI大模型在不同场景中的应用实例

1.3 Sora文本生成视频大模型

1.3.1 自动驾驶AD基础大模型：世界模型与视频生成

1.3.2 视觉生成大模型：历史回顾与对比分析

1.3.3 Sora文本生成视频大模型：基本原理与社会价值

1.3.4 Sora文本生成视频大模型：基本系统介绍

1.3.5 Sora文本生成视频大模型：基本功能

1.3.6 Sora文本生成视频大模型：优势与局限

1.3.7 Sora文本生成视频大模型：案例分析

1.3.8 解读Sora模块（1）

1.3.9 解读Sora模块（2）

1.3.10 解读Sora模块（3）

1.3.11 解读Sora模块（4）

1.3.12 Sora vs GPT-4：算力需求对比分析

1.3.13 Sora文本生成视频大模型：对自动驾驶行业的推动预测

1.4 总结

1.4.1 AI大模型导致涌现效应

1.4.2 AI大模型相对于传统AD模型的优势

1.4.3 AI大模型对操作系统的影响

1.4.4 AI大模型对SOA架构/仿真设计/SoC设计的影响

1.4.5 AI大模型对自动驾驶开发的影响

1.4.6 AI大模型演进趋势1

1.4.7 AI大模型演进趋势2

1.4.8 智能汽车行业AI大模型的痛点分析与解决思路

1.4.9 AI大模型的现存问题

1.4.10 Sora文本生成视频大模型对智能汽车行业的影响分析与预测

1.4.11 AI计算芯片设计的痛点和应对措施

1.4.12 AI大模型：人机融合决策控制的新突破

1.4.13 AI大模型对汽车智能化的影响总结（1）

1.4.14 AI大模型对汽车智能化的影响总结（2）

1.4.15 AI大模型对汽车智能化的影响总结（3）

1.4.16 AI大模型对汽车智能化的影响总结（4）

1.4.17 AI大模型对汽车智能化的影响总结（5）

1.4.18 AI大模型对汽车智能化的影响总结（6）

02

AI大模型对汽车硬件层的影响

2.1 AI大模型对芯片设计和功能的影响

2.1.1 AI大模型对芯片的影响趋势（1）

2.1.2 AI大模型对芯片的影响趋势（2）

2.1.3 AI大模型对芯片的影响趋势（3）

2.1.4 LLM大模型对智能汽车SoC设计范式的变革

2.1.5 案例1

2.1.6 案例2

2.1.7 NVIDIA自动驾驶DRIVE系列芯片

2.1.8 案例3

2.1.9 AI大模型对座舱芯片设计和规划的影响

2.1.10 案例4

2.2 AI大模型对ADAS传感器和感知系统开发的影响

2.2.1 大模型驱动：感知能力融合与共享的演进趋势

2.2.2 案例5

2.2.3 案例6

03

AI大模型对汽车SOA架构/操作系统的影响

3.1 AI大模型对SOA/EE架构的影响

3.1.1 EE架构演进的驱动因素

3.1.2 AI大模型对算力需求也推动EE架构进化

3.1.3 多模态大模型与EE架构3.0

3.1.4 从大模型Agent技术看SOA发展方向

3.1.5 案例1

3.2 AI大模型对操作系统设计和开发的影响

3.2.1 AI大模型如何影响OS（1）

3.2.2 AI大模型如何影响OS（2）

3.2.3 AI大模型如何影响OS（3）

3.2.4 案例2

3.2.5 案例3

3.2.6 案例4

3.2.7 案例5

3.2.8 案例6

04

AI大模型对汽车数据闭环/仿真系统的影响

4.1 AI大模型对数据闭环的影响

4.1.1 数据驱动的自动驾驶系统

4.1.2 数据驱动与数据闭环

4.1.3 大模型在智能驾驶的应用

4.1.4 长安数据闭环

4.1.5 东信创智云端数据闭环解决方案SimCycle

4.1.6 华为盘古大模型与数据闭环

4.1.7 华为盘古大模型如何赋能自动驾驶开发平台

4.1.8 商汤数据闭环方案

4.1.9 觉非科技采用地平线芯片与大模型完成数据闭环

4.2 AI大模型对仿真系统的影响

4.2.1 自动驾驶视觉大基础模型VFM

4.2.2 Sora与Tesla FSD-GWM视频生成能力对比分析

4.2.3 Sora与LLM对比

4.2.4 Sora与ChatSim对比

4.2.5 多模态基础大模型

4.2.6 生成式世界模型GAIA-1系统架构

4.2.7 案例1

4.2.8 案例2

4.2.9 案例3

4.2.10 案例4

05

AI大模型对自动驾驶和智能座舱的影响

5.1 AI大模型对自动驾驶的影响

5.1.1 自动驾驶AD基础大模型：应用场景与战略意义

5.1.2 自动驾驶AD基础大模型：典型应用

5.1.3 自动驾驶AD基础大模型：典型应用和局限性分析

5.1.4 自动驾驶AD基础大模型：主要适配场景与应用方式

5.1.5 自动驾驶视觉基础大模型VLM/MLM/VFM：行业适配场景与主要应用

5.1.6 自动驾驶AD基础大模型：适配场景案例

5.1.7 自动驾驶视觉大模型：数据表征方式与主要应用

5.1.8 智驾域控的演进趋势

5.1.9 多模态大模型智驾应用

5.2 AI大模型在自动驾驶的应用案例

5.2.1 案例1

5.2.2 案例2

5.2.3 案例3

5.2.4 商汤Drive-MLM：世界模型构建

5.2.5 商汤Drive-MLM：多模态生成式交互

5.2.6 案例4

5.2.7 案例5

5.2.8 案例6

5.2.9 高通混合式AI：在智驾中的应用

5.2.10 高通AI模型库

5.2.11 案例7

5.2.12 案例8

5.3 AI大模型对座舱域控的影响

5.3.1 多模态基础大模型

5.3.2 大模型对交互设计的影响：数据分析与决策

5.3.3 大模型对交互设计的影响：通过自主学习提供个性化服务

5.3.4 案例1

5.3.5 案例2

5.3.6 案例3

5.3.7 案例4

5.3.8 案例5

06

AI AGENT与汽车

6.1 什么是AI AGENT

6.2 AI AGENT的发展方向

6.3 AI AGENT的智能汽车应用趋势

6.4 AI AGENT的汽车应用案例