苹果专利深度解读|神经引擎的空档怎么填:苹果把 AI 任务切成片塞进去
相机那条实时管线每帧只用掉神经引擎一小段时间,剩下的空档,能不能拿来跑后台的 AI 任务——而不是让神经引擎干等?
为什么看这件专利
两个都要算的负载抢同一个神经引擎,这件事在 iPhone 上早就是常态:一边是相机、视频这类硬实时任务,帧率掉了就是事故;另一边是照片理解、语音、翻译,晚几十毫秒没人察觉。常见做法是让后台任务等,等到实时负载空下来再整批跑。
这件申请换了个思路:把后台的那一长串任务按时间切成小片,每片单独编译、单独调度,插进实时任务每帧没用完的时间里跑。切在哪里、切几刀,交给一个动态规划算法算。
它落在苹果自研 SoC 的神经处理电路(Neural Processing Circuit)与编译栈上,属于苹果芯片里最少被公开讨论、却最影响"端侧 AI 到底能同时跑几个模型"的那一层。苹果近年一直在推 Apple Intelligence 的本地推断,算力之外,调度才是真正决定体验的那一环。
专利基本信息
项目
内容
公开号
US 2026/0252386 A1
名称
Neural Processing Circuits Supporting Context Switching(支持上下文切换的神经处理电路)
申请号
US 19/060,342
申请日 / 优先权日
2025-02-21(首页未见优先权或临时申请主张,申请日即最早优先权日)
公开日
2026-08-27
申请人 / 受让人
APPLE INC., Cupertino, CA(US)
发明人
Sayyed Karen Khatamifard、Chenfan Sun、Sepideh Hassan Moghaddam、Gokul Krishnan
分类
Int. Cl. G06F 9/48(2006.01)、G06N 3/063(2023.01);CPC G06F 9/4887、G06N 3/063(2013.01)
项目
内容
权利要求
20 项;独立权项为第 1 项(系统)、第 10 项(方法)、第 18 项(系统)
篇幅
说明书段落 [0001]–[0164];附图 13 张(FIG. 1–10,含 FIG. 3A/3B、FIG. 8A–8C)
法律状态
申请公开待审;本期未取得授权记录
分类号本身就说明了它的位置。G06F 9/4887 是"多道程序与任务调度",G06N 3/063 是"用电子装置实现的神经网络"。一件专利同时挂在这两栏,意思是它讲的不是卷积核怎么写,而是神经网络任务怎么被操作系统式的调度器排队、切片和恢复。
它要解决什么问题
说明书的背景只写到通用层面:[0002] 讲 ANN 是什么、[0003] 讲神经网络在图像处理里怎么用卷积。它没有铺陈痛点,真正的矛盾写在摘要和具体实施方式里。
矛盾的第一头是硬件利用率。神经网络任务被编译器切成一条任务列表之后,如果整个工作负载必须一口气跑完,那它就只能等神经引擎空出来。而实时负载(例如相机管线)恰恰是周期性的:每个执行窗口 T 毫秒,任务只用掉开头一段,[0093] 把后面没被用掉的那部分明确叫 "inactive interval"——可以拿去跑低优先级工作负载。
第二头是代价。[0112] 列了三笔账:中间张量要存到神经处理电路之外的系统内存(external memory footprint)、把这些张量搬进搬出要花时钟周期和能量(memory move time D(t))、以及调度器自己的固件开销。切片切得越碎,能塞的空档越多,但搬进搬出的次数也越多——外部内存足迹和搬运成本一起涨。
所以这不是"能不能并发"的问题,是"切几刀最划算"的问题。说明书里那句目标是:把低优先级工作负载切成片,让上下文切换用掉的外部内存足迹最小([0112] 末段),同时还得满足应用对每个工作负载的执行约束。
还有一层现实约束藏在文字里:任务是不可再分的基本单位,切片只能在任务与任务之间下刀([0114])。刀不能切在任务中间。
技术方案
谁在指挥:编译器、调度器、神经引擎三方分工
先看整机结构。图里 218 就是那个神经处理电路,它挂在 SoC 的总线 232 上,和 CPU 208、图像信号处理器 206、GPU 220、内存控制器 222 并列。
图1:电子设备 100 的 SoC 组件框图,神经处理电路 218 与 CPU/ISP/GPU 并列,编译器 207 与调度器 209 跑在 CPU 208 上(来源 US 2026/0252386 A1 FIG. 2)
图元
原文标注
含义(依说明书原文)
204
SoC Component
片上系统组件,本申请的执行主体
206
Image Signal Processor (ISP)
图像信号处理器,可向神经处理电路送输入数据([0035])
207 / 209
Compiler / Scheduler
编译器生成工作负载的任务;调度器排布任务的执行顺序([0032][0033])
208
CPU
运行编译器 207 与调度器 209 的处理器
211 / 213
Workload 1 / Workload 2
两个工作负载,各自包含多个任务(211a、211b…/213a、213b…)
218
Neural Processing Circuit
神经处理电路,含一个或多个神经引擎电路([0018])
230 / 231
System Memory / Storage
系统内存,其中 231 号存储区用于存放上下文切换所需的数据或中间计算结果([0033])
234 / 212
Motion Sensor / Sensor Interface
运动传感器与其接口
三方分工是这样:编译器 207 先把一个工作负载摊成一条有序的任务列表([0032]);调度器 209 决定这些任务怎么分组、插在哪个时间窗([0033]);神经引擎电路只负责执行,且被设计成不需要记住"我正在跑哪个工作负载"。
权项 1 到底写了什么
1. A system, comprising: a storage device comprising a first portion and a second portion; a processor coupled to the storage device; and a scheduler configured to be operated by the processor and to: receive a plurality of tasks of a first workload; generate a first number of slices of tasks for the plurality of tasks of the first workload, wherein a slice of the first number of slices comprises one or more tasks of the plurality of tasks, the first number is smaller than a predetermined maximum number of slices, and a duration of the slice representing a sum of durations for all tasks of the slice is smaller than a predetermined maximum duration, wherein the first portion of the storage device is used for executing the first number of slices of tasks by one or more neural engine circuits of a neural processing circuit, the first portion of the storage device is smaller than the second portion of the storage device for executing a second number of slices of tasks of the first workload in response to the plurality of tasks of the first workload being divided into the second number of slices … and wherein the one or more neural engine circuits of the neural processing circuit are configured to: execute a task of a plurality of tasks of a second workload; and switch, at an end of the task of the second workload, to execute the one or more tasks of the slice of the first number of slices.
拆开看,权项 1 立了三条硬约束和一个动作:
片数要小于一个"预定最大片数";每一片的时长(片内所有任务时长之和)要小于一个"预定最大时长";而且这组切片用到的存储区(第一 portion)要小于另一种切法(第二 number 片)会用到的存储区。
约束里最容易被忽略的是时间关系:预定最大时长是在调度器生成切片之前就已确定的("...determined before the scheduler is configured to generate the first number of slices")。也就是说,切片的粒度上限来自应用侧的执行窗口,不是调度器跑的时候再算出来的。[0113] 把这层说透了——调度器收到的是任务列表、(S) 最大片数、(D) 每片最大时长,而 D 由高优先级工作负载执行窗口里的不活跃间隙长度决定。
动作部分很干脆:神经引擎先跑第二个工作负载的一个任务,任务一结束就切过去跑第一个工作负载的某一整片。
要素(权项要件)
功能
作用对象
是否必要
裁剪与承担者
规避可行性
存储设备的第一 / 第二 portion
为不同切法预留不同大小的存储区
系统内存
权项明写
规则 A:改由神经引擎内部存储承担(权项 7 已单列此路)
中
调度器生成 N 片切片
把长任务列表分组
任务列表
权项明写
规则 C:核心功能,不可删
—
片数 < 预定最大片数
限制碎片化程度
切分结果
权项明写
规则 C:不可删
—
片时长 < 预定最大时长
保证每片塞得进执行窗口
切分结果
权项明写
规则 B:由应用侧/超系统给定(权项限定"predetermined")
低
第一 portion < 第二 portion
锁定"外部内存足迹更小"这一效果
存储分配
权项明写
规则 C:新颖性与效果绑定处
—
先跑第二负载的任务,结束时切换
定义切换时点
神经引擎
权项明写
规则 A:切换交给硬件自动捕获(权项未如此限定,改动大)
低
(上表为分析性推演,非法律意见。)
独立权项 18 是权项 1 的系统变体,把"第一 portion 小于第二 portion"改写成"第一 amount 小于第二 amount"的用词版本;权项 10 是同一方案的方法写法,流程图就画在附图的最后一张。
切片点怎么算:一张表加一次回溯
真正有工程含量的是从属权项 11 到 17。它先给任务序列编号:任务 T(1)…T(n),对应地排成切片序列 S(1)…S(m),每一片覆盖相邻两个切片点之间的一组任务(权项 11)。
然后权项 12 给出判据:任务 T(t) 是否落进片 S(s),取决于四个量——执行该任务的延迟 L(T(t))、把该任务的数据搬出神经处理电路到存储设备的搬运时间 D(t)、执行该任务要分配的外部内存 TF(t)、以及算上该任务之后整片 S(s) 要分配的外部内存 XF(t, s)。
权项 13 点明这套东西是用动态规划做的。说明书 [0114] 给出了递推式:XF(t, s) = max{ TF(t), min{ XF(t, s−1), XF(t−1, s−1), … } },条件是 L(T(t−k+1)) + … + L(T(t)) 加上 D(t) 小于那个预定最大时长。权项 16 要求把解建成一张表——任务是行、切片是列,格子里记下取到最小外部内存的那个任务下标;权项 17 则从 T(n) 行、S(m) 列那一格往回回溯,还原出整条切片序列。
一句话概括:目标函数选的是外部内存足迹最小,而不是时延最短。
图2:FIG. 8A,高优先级工作负载 213 的周期执行窗口 801a–801d 与其不活跃区间 805a–805d,低优先级工作负载 211 的任务被排进这些空隙(来源 US 2026/0252386 A1 FIG. 8A)
图元
原文标注
含义(依说明书原文)
801a–801d
Window 1(T ms)…Window 4
工作负载 213 的周期性执行窗口,长度均为 T ms([0092])
803a–803d
Interval 803a…
窗口开头用于执行 213 的任务(task 213a–213d)的时间段([0093])
805a–805d
Interval 805a…
窗口剩余部分,即不活跃区间,用于执行低优先级工作负载 211 的一个切片([0093][0094])
810 / 820
Slice set 810 / Slice set 820
两种不同的切片方案,切片 813/815/817/819 与 823/825/827 分属两套
812 / 821
Input tensor / Output tensor
工作负载 211 的输入与输出张量,存在存储区 231([0091])
814 / 816 / 818、824 / 826
Intermediate tensor
中间张量,切片之间的衔接数据
207 / 209 / 208
Compiler / Scheduler / CPU
生成任务列表、决定切片点
这张图把"切片"的实际含义摆清楚了:一个切片不是一次推理,而是一段可以独立编译、独立存取的任务集合。图里两种切片方案(810 与 820)对应权项 1 里"第一 number"与"第二 number"两种切法的比较——片数不同,外部内存占用就不同,这正是权项要锁的那个不等式。
图3:FIG. 9,方法权项 10 的三步流程图(来源 US 2026/0252386 A1 FIG. 9)
图元
原文标注
含义
902
Generating, by a scheduler…
由运行在处理器的调度器为第一工作负载生成第一数量的任务切片
904
Executing… a task of a second workload
神经引擎电路先执行第二工作负载的一个任务
906
Switching, at an end of the task…
在该任务结束时切换,去执行第一工作负载某一片的任务
神经引擎为什么可以"不记事"
[0111] 有一段值得单独拎出来:调度器生成各种切片方案,目的是让神经引擎电路或神经处理电路保持无状态("remain stateless"),不必去追踪工作负载 211;对神经引擎来说,一个切片就等同于一个更小的工作负载。编译器和调度器则负责保证一片的输出正好是下一片的输入。
这段描述解释了上图为什么能成立。硬件不需要保存和恢复"我正在算第几个任务",因为每个切片都被编译成了自成一体的一段二进制,状态通过存储区 231 里的中间张量在片与片之间传递。上下文切换的复杂性,被从硬件搬到了编译期。
价格也写在 [0112] 里:这些中间张量得真的写进系统内存再读回来,字节数直接换成时钟周期和能量。这也是为什么目标函数是"最少外部内存足迹"——它在拿内存占用换切换次数,而不是拿内存换时延。
⚖️ TRIZ 五步创新分析
1. 矛盾矩阵验证
用Matrix 2003(Mann/CREAX,按显著性)查表。这一版(48×48,依据 15 万件专利,格内按出现频次排序),与经典 39×39 不可互相校验。
矛盾对
改善参数
恶化参数
Matrix 2003 推荐(按显著性,取前 4)
专利实际实现路径
匹配度
矛盾 1
#44 Productivity(神经引擎吞吐/碎片时间利用率)
#26 Loss of Time(上下文切换与张量搬运耗时)
#10, #3, #6, #24
#10 编译期先定切片点与最大片数("static before the execution");#3 切片把长任务局部化;#6 同一神经引擎对多工作负载通用;#24 调度器与存储区作中介
✅ 前 4 全覆盖
矛盾 2
#44 Productivity
#28 Loss of Information(片间中间张量必须搬出搬回,状态信息外移)
#10, #2, #3, #24
#10 离线用 DP 建 XF(t,s) 表;#2 把状态从神经引擎内部抽出、外存到存储区 231;#3 局部化;#24 中介物
✅ 前 4 全覆盖
矛盾 3
#24 Function Efficiency(每拍的有效计算比例)
#26 Loss of Time
#3, #14, #28, #15
#3 局部质量(每片单独编译);#28 用软件调度替代硬件状态保存/恢复("context switching… can be software enabled");#15 切片粒度可调
⚠️ #14 未匹配(方案里没有曲面/形状转换)
矛盾 3 里 #14 落空并不奇怪。它是从统计里跑出来的高频原理,而本申请整篇没碰任何几何或形状层面的手段,命中的是 #3、#28、#15 三条。
2. IFR 理想度与六类资源
这个领域的理想解可以这么写:神经引擎把实时负载用剩下的每一段时间都填满后台任务,而不增加一字节外部内存流量,也不给硬件加状态保存电路。当前方案离这个极端还有距离——中间张量必须真的进出系统内存,[0112] 明确承认这笔字节数的代价——但它是"零额外内存"与"零碎片时间"之间一个可计算的最优点。理想度提升机制在于:切换次数由算法在编译期锁定,运行时不再需要试探。
它动用的闲置资源:
资源类型
闲置状态
专利的利用方式
时间资源
高优先级任务没占满的执行窗口尾部(inactive interval,[0093])
整片地插入低优先级任务
空间资源
系统内存里为中间张量预留的那块存储区
按 XF(t, s) 精确分配,权项 1 要求它小于另一种切法所需
功能资源
编译器 207 已经生成的任务列表
直接拿来切,不额外建调度模型
信息资源
编译期就已知的静态量:延迟 L(T(t))、搬运时间 D(t)、内存占用 TF(t)
作为 DP 的输入,离线解出切片点
物质资源
神经引擎内部已有的存储(权项 7 的 internal storage device)
存放片内任务产生的输出
场资源
—
未利用。这是逻辑与时序域的问题,方案不依赖任何物理场
3. 物场模型与 76 标准解
S₁(被作用对象):低优先级工作负载 211 的任务序列
S₂(作用工具):神经引擎电路 314A/314B/…314N,外加做出决策的调度器 209
F(场):时序控制场——由高优先级执行窗口划出的时间边界
改造之前,这套物场是"F 不足":时序场存在(每帧都有空档),但它太碎、太短,装不下任何一个完整工作负载,于是低优先级任务实际上用不上这段场。方案做的是两件事,对应 76 标准解里的两类:
第 2 类(增强物场模型):把物质分割成更小的单元,让原本太弱的场能起作用——对应把任务序列切成切片。
第 1 类(建立物场模型的补充手段):引入一个中介物承接分割后的残缺状态——对应存储区 231 里的中间张量,让片与片之间接得上。
判定与编号映射为分析性推演,非法律意见。
4. 进化趋势(TESE)
趋势
当前位置
依据
下一步外推(推测)
#8 裁剪(减少组件)
成熟段
神经引擎被要求保持无状态,硬件不需要状态保存/恢复电路([0111])
继续往"硬件更薄、软件更厚"走:把更多调度决策交给编译栈
#6 动态化
从固定走向可调,尚未自适应
切片点在编译期静态确定("static before the execution")
运行期按实时负载动态改切片点
#10 协调/匹配
参数匹配阶段
片内任务时长之和 + D(t) 必须小于窗口长度 T(权项 4、14)
从"适配固定窗口"走向窗口与切片节律互相调适
三条趋势指向同一个方向:切片这件事现在是离线算死的,下一步大概率是往运行时自适应走。这是对趋势线的外推,不属于本申请已披露的内容。
5. 创新等级
Level 3(中等改进),四问答案如下:
1.是否改变了工作原理?没有推翻"乘加阵列做卷积"这件事,但改掉了上下文切换的执行模型——从硬件保存/恢复状态改为编译期切片、硬件保持无状态。属执行模型层面的重构,不是新物理或数学原理,因此够不到 4 级。
2.矛盾在单一子系统内还是跨子系统?跨。编译器(编译期)× 调度器(运行期)× 神经引擎硬件 × 系统内存四者协同才成立,切片点、内存分配、二进制生成分属不同子系统,这是 3 级的典型特征。
3.用到的知识来源?动态规划是跨行业早已成熟的方法(本申请只把它套到新目标函数上),加速器微架构属本行业知识。不涉及跨学科新原理。
4.局部替换还是架构重构?引入"切片"这一新的调度粒度,并把它与外部内存占用绑成权项约束,属编排层面的架构改动;但没有新增硬件模块。
壁垒强度:中等偏高。权项 1 把"最大片数 + 最大片时长 + 两种切法的内存占用不等式"三件事绑在一起,绕过任何一条都可能掉出保护范围;但权项 11–17 的动态规划细节属于算法实现,工程上存在设计空间,这部分容易被规避。
️ 与现有产品 / 竞品的关系
苹果自己的产品线里,这套东西的影子不难找。相机管线(ISP 206)与神经引擎(218)在同一颗 SoC 上,说明书举的图像处理例子正是把 ISP 出来的数据交给神经处理电路([0035])。本申请里的"高优先级实时工作负载 + 低优先级后台工作负载"这一对,对应的就是"相机每帧的 AI 处理"和"后台那些可以等一等的模型"。需要讲清楚:这是结构上的对应,不等于苹果已确认该申请用于任何在售产品。
维度
苹果(本申请)
高通 Hexagon
谷歌 Tensor TPU
多工作负载怎么共存
低优先级负载按切片插入高优先级执行窗口,切片点离线用 DP 定
公开资料里 Hexagon 强调多核 NPU 并发;本篇未回一手文档核对其上下文切换机制
未见与"切片点优化"对应的公开权利要求可核
优化目标
外部内存足迹最小(权项 1 的不等式)
未核对
未核对
状态放哪
神经引擎保持无状态,中间张量外存到系统内存
未核对
未核对
竞品那两栏我按未核对处理。公开讨论里各家 NPU 都在讲"多任务并发",但并发怎么实现——是硬件多上下文、时间片抢占,还是像本申请这样按切片静态编排——需要回各自的权利要求逐条看,本篇没有做这一步,因此只作方向性对照,不作结论。
什么时候可能落地
先看时间:2025-02-21 申请,2026-08-27 公开,正好是十八个月的常规节奏,看不出加速或延迟的迹象。
按苹果以往的节奏,这类改动通常先出现在工具链与固件里,用户在系统设置界面上看不到任何开关;只有当"同时跑多个本地模型"变成一句营销话术时,外界才会知道它已经落地。把我的判断说清楚:这类调度器专利的第一落点是编译栈(Core ML 经编译器到神经引擎的那一层),终端可见度极低,所以短期内很难从产品发布里反推它是否启用。以上均为推测,不代表苹果的产品计划。
另一条值得盯的线索是内存。这套方案把中间张量压到外部内存上,等于用内存带宽换碎片时间。如果哪一代芯片的 SoC 内存带宽或 NPU 专用缓存明显加码,那多半是在给这类"多负载并发"铺路。
对行业意味着什么
端侧 AI 的竞争口径正在从"多少 TOPS"转向"这些 TOPS 有多少时间真的在算"。算力标称值是峰值,而用户感知到的,是相机同时开着、语音助手同时在听、相册同时在识别时,谁被挤掉了。这件专利针对的正是那个被挤掉的份额。
它选的目标函数尤其值得注意:最小化外部内存足迹,而不是最小化时延。这是一个把功耗和带宽放在时延前面的选择。对做手机 SoC 的一方,这意味着 NPU 的竞争会更多落在内存子系统的设计与编译器优化上,而不是堆乘加阵列;对做 NPU IP 的(Arm Ethos、Synopsys、Ceva 这类),编译器与调度栈的权重会跟着上升。
对想绕开的厂商,可用的空间写在权项 1 的三个数字约束里:只要切片方案不满足"片数小于预定最大片数、片时长小于预定最大时长、占用存储小于另一种切法"这三条同时成立,就不落在权项 1 的字面范围内。想办法在权项 11–17 那条 DP 路径之外另找切片准则,是更实际的方向。
趋势判断
B 段是本申请的落点。它已经比"整批跑完"进了一步,但切片点仍然写死在编译期——[0111] 里那句"schedule… can be static before the execution"是这条线上很明确的位置标记。往 C 段走需要调度器在运行时能看到负载变化,往 D 段走则要跨出芯片边界;两段都是外推,不是本申请披露的内容。