众力资讯网

打破不可能三角,FN Neo原生KV语义牛在哪? 作为一个常年跟底层存储打交道的技术人员,这次看到FN Neo的发布,觉得他们确实在大模型推理上玩出了新花样。大家都在讲AI推理需要低延迟,但怎么落地?传统文件系统去读KV Cache,要经历VFS、目录解析、元数据解析、加锁、解分布式锁,一套动作下

打破不可能三角,FN Neo原生KV语义牛在哪?

作为一个常年跟底层存储打交道的技术人员,这次看到FN Neo的发布,觉得他们确实在大模型推理上玩出了新花样。大家都在讲AI推理需要低延迟,但怎么落地?传统文件系统去读KV Cache,要经历VFS、目录解析、元数据解析、加锁、解分布式锁,一套动作下来,CPU都在做无谓的搬砖,延迟自然高。

FN Neo最核心的革新是“原生KV语义”。它直接绕开了文件系统的复杂路径,通过GDR和NVMe的极短通路,实现了KV的索引获取到读数据两步走。

我在现场看演示,他们基于cache line的检索加速技术,能在300ns内定位到NVMe存储位置,服务侧单线程处理能力达到30万。这就意味着KV Cache的回读回写几乎是零拷贝、零竞争的。结合它单阵列160GB/s的带宽和亚毫秒级延时,这套方案其实破解了AI推理存储的一个不可能三角。既要高性能——KV Cache卸载带来7-12倍性能提升,又要高可靠——99.999%金融级稳定,还要兼顾成本——一套存储兼顾SAN/NAS/KV三种协议直出。

不再需要为了性能去堆砌本地SSD,而是通过集群级池化共享,让存储真正成为算力效率的倍增器。这种微控架构下的端到端极低时延,确实是对传统存储架构的一次降维打击。

中科曙光存储KV Cache中科曙光发布全新AI推理原生存储