全栈自研、深度优化、为所欲为 -- 华为智驾的感知硬件和感知融合技术的大致解析众所周知，最新的华为智驾方案，感知硬件上集成了192线激光雷达、多个高清摄像头、4D毫米波雷达，所以今天来聊聊这些。还是先声明一次：我不是业内人士。一是纯粹爱好，二是多动脑子预防老年痴呆。正文开始：【激光雷达】由于激光雷达接收反射回来的信号极其复杂，比如同一时间发射出去的激光会以不同的时间不同的角度反射回来，还有各种不同气候条件下噪点和干扰也会大为不同，激光雷达完整的回波信号数据量特别大，再加上车内以太网络传输带宽的限制，所以激光雷达内部都会集成SOC芯片负责回波信号的处理，生成适合车内以太网带宽传输的点云信息后输出给智驾域，所以输出的点云信息所包含的信息量就非常受限，且只是激光雷达厂商认为最有用的信息、并不是非常契合智驾系统的需要，一个优秀智驾系统其实需要的是尽可能完整的回波信号和点云信息、然后由自己来辨别和处理。大家都知道华为曾经外采过128线激光雷达，但后续就只用自己研发但成本高出很多的192线激光雷达了，原因就在这里。华为自研的192线激光雷达不仅仅是性能和参数上全面领先其他量产激光雷达（线束数量、扫描频率、探测距离、点云密度、信噪比等等），但更重要且基本不为人知的是：华为在192线激光雷达里内置了一个轻量化模型，就相当于最近很火的deepseek里所谓的专家小模型，并且这个专家小模型是可以具备OTA升级能力的。这个专家小模型负责对完整的回波信号和点云信息在激光雷达内进行符合智驾系统要求的预处理，然后将处理好的信息压缩后传输给智驾域的神经网络。这样设计好处有三：一， 可以不断训练和提升这个轻量模型的能力并通过OTA升级，在过去一年多时间里就已经大幅度提升了在极端天气下的降噪和抗干扰能力。二， 在激光雷达的前端预处理，极大减轻了智驾域的算力压力、并减少了处理时延。三， 通过压缩后再传输极大提升了传输的信息量。四， 输出的信息完全符合智驾系统的要求，且可以在智驾算法改进时配合算法要求优化输出结果。可以说，这个192线激光雷达就是个AI激光雷达。现在再讲讲激光雷达输出给神经网络后是怎么做融合的，所谓的融合就是要做到三维时空同步。时空时空，就是时间和空间，一是要时间同步，因为激光雷达和摄像头每秒的帧数不同，但车辆是高速行驶的，要做到两者的感知融合，必须要把两者在同一个纳秒级别生成的帧放到一起。二是要做到三维空间同步，因为激光雷达的点云成像是三维信息，所以需要以此为基础去与摄像头拍下的高清影像做像素级对齐，如果做不到像素级对齐、很多物体可能就分辨不出来了，这其中的补偿算法的难度高到离谱。【高清摄像头】华为高清摄像头拍下的图像，也是经由华为自研并专用的非视觉友好ISP处理后再传送给神经网络做融合处理的，因为传递给肉眼查看与传送给神经网络以进行融合处理的图像要求的区别是极大的，不使用专用的非视觉友好ISP进行处理的话对神经网络会不太好友、自然也会影响神经网络的判断和处理。目前能查到使用这种专用的非视觉优化ISP的似乎只有华为和TSL、以及小鹏（后面这两家走的都是纯视觉处理路线），如有其它厂商也在使用的话欢迎在评论里指出，我会修改加上。【4D毫米波雷达】4D毫米波雷达的好处估计很多人都知道了，更不容易受雨雪雾霾极端天气影响、是极好的感知能力的补充。这次上车的4D毫米波雷达方案相对同行最大的优势有两方面：一， 竖向探测角度高达60度（业内普通4D毫米波雷达是30度）。二， S800、M9、M8上的前向3个4D毫米波雷达是组成矩阵的，这个矩阵大有文章。这3个4D毫米波雷达本身只保留有射芯和天线，没有处理芯片，接收的反射信号直接传递给智驾域神经网络做融合处理。这3个4D毫米波雷达组合在得到的不是三个雷达各自的点云数据，而是一个有着大型天线雷达（相比各自为战的单个非矩阵式）的点云数据，等效信道高达2304、点频超千万！而且横向探测面积也足够宽。普通的4D毫米波雷达因为体积问题、集成在雷达里处理芯片都非常小算力也很低，而华为的这个矩阵方案把信号直接传递给智驾域神经网络就可以利用华为MDC610的强大算力快速处理，处理速度至少提升60倍以上、大大降低了处理时延和反应速度。综上所述，华为的全栈自研，赋予了从最底层就开始的优化能力——从基础感知元件到算法框架，每个环节均可针对性优化和创新，用为所欲为来形容毫不过份，从而建立起了系统性的全面领先。不仅融合感知能力强大、算力要求降低，还尽可能降低了各种传递和处理的延迟，从而造就了网络上无数的AEB、AES和智驾实战经典小视频。最后顺便说一说，很多所谓的先进理念和技术，华为是不怎么在网上公开讲的，如华为车BU等行业性的技术发布会也没什么普通大众会去听，反而是一些同行把华为早就有的东西拿出来吹，比如某些公司天天挂在嘴上的世界模型，其实华为早就有了、而且是和特斯拉几乎是同期，盘古大模型2.0时代就有，现在盘古大模型已经是5.0了。只因华为不是上市公司、不需要维持股价，所以没有必要放网上来炒作这些概念。还有比如什么deepseek火起来以后大家才知道的专家模型、蒸馏训练，其实华为早就在玩了。华为的盘古大模型现在被很多人看不起，也只是因为通用语义方面一直以来不是华为的着重发力点，但盘古大模型在工业等领域早就做得非常优秀了，甚至还有应用到气象和台风预测，工业领域大家可能不容易了解，但盘古大模型在气象和台风路径预测上的应用大家可以很容易了解到，有兴趣的可以细查，盘古气象AI大模型对台风的预测和其他模型的对比后就能发现它对登陆地点和路径的中长期预测准确度非常高、一直到最终登陆时往往整个线路只是微调。发这些文章，是希望真正的好公司、好技术、好产品，能让更多的人了解，也希望能得到大家能支持和传播。