理想自动驾驶理论来源是《思考，快与慢》理论。诺贝尔经济学奖得主丹尼尔·卡尼曼在《思考，快与慢》中阐述了认知心理学中系统1与系统2的概念，为理解人类的认知模式提供了一个重要框架。
系统1其实是人根据自己过去的经验和习惯形成的直觉，可以做出快速的决策。系统2其实是一个思维推理能力，人需要经过思考或推理才能解决这种复杂的问题和应对未知的场景。简言之，系统1和系统2相互配合，成为了人类认知和理解世界、做出决策的基础。
系统1和系统2是如何应用到自动驾驶中的?
系统1由一个端到端模型（E2E）实现，直接用来快速响应常规驾驶问题。
系统2由一个视觉语言模型（VLM）实现，里面包含了思考的能力。
我们利用世界模型在云端来验证系统1和系统2的能力。
以上三个系统组成了理想汽车下一代自动驾驶技术架构。 什么是端到端，到底是哪个端到哪个端？它和以往的智能驾驶系统有什么区别?
理想汽车系统1的进化过程：
第一代：NPN。采用模块化的设计，包含感知、定位、规划、导航、NPN等，这一代架构支撑我们在全国100个城市推送了城市NOA功能。
第二代：无图，分段式端到端。只有两个模型组成，分别是感知和规划。最大的变化是去掉了NPN，不依赖于先验信息，让我们真正做到了全国都能开，有导航就能开。
第三代：端到端模型，它是一个One Model的结构，只有一个模型，输入的是传感器，输出的是行驶轨迹。
端到端模型的优势在于:
1、高效传递，驾驶体验更聪明和更拟人。
在无图中有两个模型，模型之间的信息传递我们运用了大量的规则；而到了端到端模型，它是一体化的模型，信息都在模型内部传递，具有更高上限。用户所能感受到整套系统的动作、决策更加拟人。
2、高效计算，驾驶时车辆会反应更及时和更迅速。
因为是一体化模型，可以在GPU里一次完成推理，端到端的延迟会更低。用户感知到的是，「眼」和「手」协调一致，反应迅速，车辆动作响应及时。
3、高效迭代 ，更高频率的OTA。
一体化模型可以实现端到端的可训，完全的数据驱动。对于用户来说最大感受就是OTA的速度越来越快。
系统2：VLM（视觉语言模型）。整体算法架构是由一个统一的Transformer模型组成，将Prompt（提示词）文本进行Tokenizer（分词器）编码，然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码，通过图文对齐模块进行模态对齐，统一交给VLM模型进行自回归推理；VLM输出的信息包括对环境的理解、驾驶决策和驾驶轨迹，并传递给系统1控制车辆。
整体设计中的三个亮点：
1、设计了流式的视频编码器。相比大部分单帧的VLM模型，我们采用的流式视频编码器能够缓存更长时序的视觉信息，这对于物理世界的AI系统来说非常重要，这是一个创新的架构。
2、增加了Memory bank（记忆模块），缓存了多帧历史信息，可以解决超长上下文的推理时延问题。
3、设计了智能驾驶Prompt问题库。系统2会时时刻刻思考当前的驾驶环境，给系统1合理的驾驶建议，同时系统1也可以在不同场景下调用不同的Prompt问题，主动向系统2进行求助，帮助系统1解决部分场景。
理想汽车的自动驾驶系统考试方案：重建+生成的世界模型。
把真实数据通过3DGS（3D高斯溅射）进行重建，并使用生成模型补充新视角，两者结合所生成的场景既可以保证场景是符合真实世界的，也同时解决了新视角模糊的问题。同时我们这套系统的生成部分可以独立工作，通过Layout（布局）先验、再Reference（参考帧）的图片，再加上Prompt（提示词），生成符合真实规律但没有见过的新场景。
在场景重建时，我们需要将场景中的动静态分离，核心思想是静态环境进行重建，动态物体进行重建和新视角生成，变成360°的新资产，将两者结合生成一个3D的物理世界，同时里面的动态资产可以被随意编辑和调整，实现场景的部分泛化。
生成相对于重建具备更好的泛化性，我们可以自定义地改变天气、时间、车流等条件，生成不同的场景来考验我们模型的泛化能力，评价自动驾驶系统在各种条件下的适应能力。
在这样的无限环境里，我们可以进行自动驾驶系统的充分学习和考试，让用户获得一个高效、安全和舒适的自动驾驶系统。