本文由半导体产业纵横（ID：ICVIEWS）综合

清华大学的研究人员开发出了一种新的智能光子感知计算芯片，能够在纳秒级时间内处理、传输和重建图像。

随着传感和计算模块在边缘基础设施的广泛部署，自然场景的高速感知、计算和重建至关重要。现有端侧视觉智能大多为感算分离范式，即通过传感器感知和采集光信号，转换为电信号后进行智能任务的计算。光和电之间的频繁转换，以及后摩尔时代电子计算性能发展趋势的减缓，制约了端侧智能处理的速度和带宽。

针对边缘系统面临的感算瓶颈，清华大学电子工程系方璐课题组提出了面向自然场景的感算一体全光智能计算架构，研制了并行化全光感算阵列芯片（optical parallel computational array chip, OPCA chip），突破了非相干光场矩阵计算的难题，摒弃了“光感知-电计算”的感算分离范式，以“光入-光出”端到端的计算实现全光机器视觉，将非相干光场智能处理的速度提升至纳秒量级，支持每秒千亿像素规模的自然光场处理，相关工作发表于光学领域顶级期刊《光学》（Optica），并入选期刊主页推荐。

论文发表截图

课题组刻画了自然场景光信号与片上光场的调制关系，提出了非相干-相干全光乘加算子，建立了空谱域多维全光神经网络，突破了非相干光场智能感算难题，提出了全光片上谐振神经元模型，研制了全光感算一体阵列芯片OPCA，支撑自然场景光场信号的并行感知与高速计算。在此基础上，课题组构建了多波长全光神经网络，将感知、计算和重建融为一体，实现了端到端的全光编解码和光场重建任务，在纳秒时间尺度上可完成对自然场景的端到端重建。在视觉智能分类任务上，OPCA芯片实测响应时间为 6.0 纳秒、视觉处理带宽达THz即每秒可处理千亿像素规模，相比传统相机采集、存储、智能处理这一感算分离系统（响应时间大多为毫秒量级、每秒处理亿像素），速度提升6个数量级，带宽提升2～3个数量级。

期刊主页推荐截图

以OPCA芯片为代表的感算一体全光机器视觉，为智能光计算技术向端侧应用领域的发展迈出了重要的一步。该芯片未来将与大规模智能光计算芯片（例如：课题组研制的“太极Taichi”芯片[Science 2024]）集成，突破光电/电光转换带来的速度和功耗桎梏，实现从光感知到光处理的端到端全光智能感算。凭借其高速度、高带宽的感算特性，有望为自动驾驶、工业检测、智能机器人、VR/AR等领域带来性能的颠覆性突破，应用前景广阔。

该研究工作以“并行光子芯片实现纳秒级端到端图像处理、传输和重建”（Parallel photonic chip for nano-second end-to-end image processing, transmission, and reconstruction）为题，发表在《光学》（Optica）期刊上。清华大学电子工程系为论文的第一单位，方璐副教授为论文的通讯作者，电子系博士生吴蔚、博士后周天贶（水木学者）为论文第一作者。该课题受到科技部2030重大项目、国家自然科学基金委、中国科协、中国博士后基金、清华大学-之江实验室联合研究中心等项目的支持。

近10年来，光子技术已经成为新一代信息技术、人工智能、智能汽车、医药健康等下一个应用领域关注的焦点，也被相关国家视为保持国际市场先进地位的关键技术之一。

过去电子芯片主要应用于计算和存储领域，而光子芯片可以在信息获取、信息传输、信息处理、信息存储及信息显示等领域催生众多新的应用场景。在信息获取方面，激光雷达、光传感将在人工智能、自动驾驶、物联网等领域形成新的应用场景。在信息传输方面，形成了5G、光通信、量子通信等为代表的应用场景，产业规模巨大。在信息处理方面，形成了光子计算、量子计算等应用场景，未来将大幅度提升计算机性能。在信息存储方面，5D激光存储、光收发模块等将形成云计算与大数据中心等新的应用场景。在信息显示方面，将形成VR、AR及microLED等新的信息显示应用场景。此外，光子芯片在生命健康、超导材料以及国防装备等方面，将形成神经光子学、免疫分析、高超音速武器等新的重大应用场景。

如果说信息时代的基础设施是电子芯片，那么人工智能时代将更多地依托光子芯片。

*声明：本文系原作者创作。文章内容系其个人观点，我方转载仅为分享与讨论，不代表我方赞成或认同，如有异议，请联系后台。