近日，Arm 宣布推出针对视觉应用设备的 Arm® 智能视觉参考设计，首次将 Arm 现有子系统 IP 与第三方 IP整合，其硬件参考设计包括 CPU、ISP、NPU、VPU 处理器选项，以及将这些元件粘合在一起的子系统 IP。值得一提的是，其中的VPU、NPU由安谋科技提供。据安谋科技智能物联及汽车业务线负责人赵永超介绍：“Arm 智能视觉参考设计通过集成安谋科技‘玲珑’VPU 和‘周易’ NPU，并由安谋科技将 Arm IP 与安谋科技自研 IP 进行集成和验证，可进一步满足国内客户在不同场景下的差异化视频处理需求，提高机器学习与视频处理工作时的负载表现，从而加速视觉应用产品的创新落地。”
此外，Arm 还宣布了“Arm 智能视觉合作伙伴计划”，联合软件、硬件、系统集成商伙伴，加速视觉应用设备的开发。目前已有十余家来自智能物联网的芯片设计、系统集成、AI 算法、开发平台等国内领先企业加入该项计划。
(资料图)
智能未来“视”不可挡
人类的智慧体现在可以通过感知、思考和行动来改变世界。首先，人类通过感官接收外界的信息和刺激，识别模型并建立对世界的认知，进而形成信息系统。随后，人类通过思考加工和处理感知到的信息，从而形成理解和见解，帮助人们解决问并做出决策，这就是模型系统。最终，行动使人类能够将感知和思考转化为实际的动作，逐步改变自然和社会环境，推动科学技术的进步、文明的发展和社会的演变。
长久以来，随着算力的飞速提升，加之模型的不断演进，使得原本专属于人类的感知、思考和行动能力实现了向机器的转移，而每一个能力转移的拐点都将产生新范式。例如，在20 世纪末期，谷歌、百度等公司使信息的生产和获取成本从边际成本转向固定成本，开启了互联网时代的新范式。如今，站在思考和模型构建从人类转向机器的拐点，以OpenAI为代表的企业正在推动模型产生的成本从边际成本转化为固定成本，而这一拐点也势必助推模型的极大丰富，并加速下一个拐点的到来，人机交互的模式将被重新定义。
而在模型和行动无处不在的新时代，智能视觉将变得必不可少。因为机器系统必须通过视觉等感官理解周围环境，做出相应的决策和行动，例如，视觉信息为自动驾驶和机器人提供了关键的安全和避障能力，机器视觉可以通过捕捉人类的表情、手势和动作，从中理解人类的意图和情感，改善 AI 与人类的沟通和合作。
可以说，智能视觉技术对智慧家居、智慧城市、智慧零售和智能制造等领域的重塑与升级将日益加深——
在智能家居领域，除了安全监控、智能门禁和个性化的家庭环境体验外，在国内人口老龄化的趋势下，老人看护需求不断提升，而智能视觉技术作为如今智能摄像头的基础功能支撑，可以帮助用户实现老人室内活动监测、睡眠质量监测、异常情况报警等功能。
在智慧城市领域，我国已经率先将视觉技术应用于城市安全监控和智能交通管理方面，同时，智能视觉技术还可以应用于智能化的垃圾处理和回收，达到绿色环保的目的。
在智慧零售领域，通过智能摄像头和视觉分析技术，可以实现人流统计和行为分析，有助于优化商店布局，推广策略和服务响应，提升顾客体验和销售效益。
在智能制造领域，智能视觉技术在监测和质量控制、自动化导航和定位、工艺控制和辅助操作等方面都具有广泛的应用，可以提高生产线的效率、质量和安全性。
面向智能视觉技术的快速发展，Arm 物联网事业部业务拓展副总裁马健分享了其观察到的重要趋势。
首先是云-边-端的协同，由于视频数据的规模庞大，再加上自动驾驶等应用对实时性提出更高要求，因此智能视觉系统需要将计算和决策任务分布在云、边和终端设备上，实现协同工作。
其次是 AI 加持，未来智能视觉系统将继续依赖深度学习模型和神经网络，提高图像和视频数据的分析和识别能力，并利用强化学习和自主自适应学习，使系统能够从环境中不断学习和改进，并适应新的场景和任务。
第三是智能视觉系统需要准确和高质量的图像处理，以支持更高效的特征提取、目标跟踪和检测、图像分析和理解以及图像的生成和合成。
第四是算力支持，复杂的模型和算法、大规模图像数据处理对实时性、高精度、高并发的要求，使得智能视觉系统需要越来越强大的计算资源和算力支持。
此外，智能视觉系统广泛应用引发了对隐私和安全的关注，马健认为，未来的趋势是采用加密匿名化等技术手段保护用户的隐私，同时加强系统的安全性，防止被恶意攻击和滥用。
与安谋科技强强联合
在技术快速发展、应用规模化落地的过程中，智能视觉芯片架构经历了一系列的演进，从功能固定难以编程的DSP和ASK，到通用性强易编程的CPU架构，再到如今最先进的综合CPU、ISP图像处理器、NPU AI加速器、VPU视频编解码器、GPU图形处理器的异构SoC片上系统，已经逐步实现了低功耗、高性能和高度集成，适用于资源受限的边缘设备，例如智能手机、摄像头、机器人和物联网设备等。
而作为全球领先的半导体IP供应商，Arm已经在智能摄像头市场以九成以上的市占率独占鳌头，如今又面向中国市场发布 Arm 智能视觉参考设计，选用 Arm 广泛应用于智能视觉领域的处理器和系统 IP，构建出了相对标准化的IP组合，并经过预先验证，辅以该子系统的 Arm虚拟硬件、参考软件栈，形成了设计智能视觉系统的坚实的系统技术平台，使创新者们不需要从零开始，可以专注于产品的差异化性能开发，并快速将自己的想法转化为产品并推向市场，显著降低芯片开发的成本和风险，并大幅度缩短研发周期。同时，由于这种参考设计是半成品，Arm也可以根据应用的需求集成第三方 IP，给予客户足够的灵活性和选择，以支持差异化创新。
具体来看，Arm 智能视觉参考设计包括：
Arm Corstone™-1000：整合 Cortex-A、Cortex-M 处理器与内建安全性，为不同应用在受限的功耗范围内提供效率及高性能。
Arm Corstone-300：为机器学习工作负载提供“永远在线”的低功耗子系统。
Arm Mali™-C55 图像信号处理器 (ISP)：在极小的芯片面积条件下，提供可配置、高能效、高性能的图像质量。
来自安谋科技的第三方 IP 在视频和机器学习能力方面提供更多选项，其中，“玲珑”V5 视频处理器支持紧凑的、多格式 (例如H.264, H.265) 且高效能的视频编解码处理;“周易” NPU为广泛的机器学习用例提供高达 4TOPS 的性能表现，并且支持业界主流的 AI 规模框架，例如 Tensorflow、Caffe、ONNX、Pytorch 等。
此外，生态伙伴可借由 Arm 虚拟硬件 (Arm Virtual Hardware, AVH) 的形式获取 Arm 智能视觉参考设计的虚拟模型，助力软件开发者在芯片完备前先着手开发并优化代码。该参考设计具备可信任的底层 IP 技术，在增强安全、可移植性与兼容性方面，已取得 Arm SystemReady™ IR 与 PSA Certified Level 2 等重要的业界标准认证。
如今，生成式AI、大语言模型的热度高烧不退，拉动相关的技术与应用快速发展。正如Arm 物联网事业部业务拓展副总裁马健所言，随着 AI 和大模型一日千里的发展，智能视觉技术将继续在所有垂直行业得到更广泛的应用，视觉将无处不在。在视觉成为一种普世能力的趋势下，预先集成、预先验证的标准化子系统会为加速视觉产品设计和创新提供坚实的基础，这也是 Arm 和安谋科技携手为中国市场打造智能视觉参考设计的初衷。
