今天要好好研究下理想汽车的下一代自动驾驶技术 MindVLA ,属于机器人大模型,融合空间、语言和行为智能,目标是赋予汽车类似人类的认知和适应能力,使其成为能思考的智能体。基于端到端 + VLM 双系统架构自研,全新设计各模块,3D 空间编码器结合语言模型和逻辑推理,在车端实时推理输出驾驶决策和轨迹。
采用 3D 高斯中间表征自监督训练,提升下游任务性能。自研 LLM 基座模型,用 MoE 混合专家架构和 Sparse Attention,训练加入大量 3D 数据及特定任务激发空间智能。
训练 LLM 学习人类思考过程,结合小词表、投机推理和并行解码技术,平衡模型参数规模和实时推理性能。利用 Diffusion 解码轨迹,联合建模提升复杂环境博弈能力,用常微分方程采样器解决效率问题,借助 RLHF 微调提升安全下限。融合重建和生成云端统一世界模型,实现大规模闭环强化学习。通过创新训练方法让 MindVLA 具备泛化能力和涌现特性。
微博新知新能源大牛说汽场全开