苹果在 iPhone 上跑20B的大模型

苹果专门出了一篇文章介绍自己的大模型，里面提到了跑在iPhone上的就是20B的模型，消耗量和1-4B的差不多。

苹果是怎么实现的呢？
其实就是解决了手机内存小，功耗要求高的困境，传统模型要求所有权重都放在DRAM，这就导致本地模型的大小被限制住了，苹果的办法是，不同问题，调用不同规模的模型。

继续发展下去的话，手机就有可能跑更大的模型，反正每次调用的量可控。