技术背景
在高速运动的刚体目标跟踪与测量的任务中,基于单一硬件的视觉测量系统通常采用“拍摄-回传服务器-后端处理”的模式依次完成图像采集、特征提取、目标跟踪等任务,存在数据延迟高、带宽压力大等痛点,难以满足高速场景下毫秒级实时处理需求。
技术原理
千眼狼视觉测量工程师们提出一种基于GPU、NPU双芯协同计算技术,在硬件架构、任务协同机制、算法适配优化上实现技术进阶:
硬件架构设计:将GPU与NPU通过硬件级协同架构连接,充分发挥GPU的并行浮点计算能力,NPU的神经网络推理优化能力。
任务协同机制:第一步由千眼狼高速摄像机(推荐高分辨率高速摄像机G536,2560×2016 @3600fps)捕捉瞬态图像后,交由GPU多核架构进行RAW数据的图像流处理,如图像去噪、图像增强、ROI裁剪,生成候选区域;第二步GPU处理后的数据实时传递到NPU,进行跟踪目标的AI推理,利用分布式小型处理单元进行特征匹配与分类,完成目标识别或跟踪。
算法适配优化:采用剪枝、量化、知识蒸馏技术对NPU计算单元的深度学习模型轻量化,降低计算复杂度和功耗。同时,采用混合精度策略,匹配不同算法,如高精度算法用于GPU处理三维重建等任务,高效率轻量化算法匹配NPU处理低精度的推理任务,平衡精度与实时性。
技术优势
基于GPU、NPU双芯协同计算模式的跟踪测量解决方案在实时性、能效比、灵活性、安全性上较传统GPU方案有明显的差异化优势:
实时性:传统方案因回传至服务器处理,延迟达秒级至分钟级,双芯协同方案凭借算法适配优化,延迟可缩短至毫秒级,并支持实时输出。
能效比:传统在高帧率下功耗显著上升,双芯协同方案能够动态调整GPU与NPU的负载分配,能效提升显著。
灵活性:传统方案高度依赖后端服务器,且扩展性差,双芯协同方案单设备即为一套完整系统且支持分布式部署,大大提高灵活性,满足多样化测量场景需求。
安全性:传统方案回传至服务器,存在数据泄密风险,双芯协同方案则支持在高速摄像机内部完成信息闭环处理,无需经过外部传输链路,数据安全性得到保障。
典型案例
千眼狼最新研发的6D测量仪融入双芯协同计算,实时跟踪并测量了锥形物体与挂架分离瞬间的6Dof数据。千眼狼高速摄像机G536_Pro以每秒1000帧的速度捕获目标图像,GPU实时完成图像增强与多视角匹配,NPU实时识别锥形物关键点并解算6Dof姿态。数据处理流程全部在高速摄像机内部完成,无需回传数据,实时输出运动轨迹与姿态变化。
结语
千眼狼基于GPU、NPU双芯协同计算模式的高速实时跟踪与测量技术,通过创新的硬件架构、任务协同机制和算法适配优化,解决了传统架构在实时性、能效比、灵活性、安全性等方面的瓶颈,为高速视觉测量领域带来高效、精准和实时的解决方案,助力高速视觉测量系统实现真正意义上的“感知-决策-控制”闭环。
电话:400-859-1866
邮箱:sales@agiledevice.com
地址:安徽省合肥市包河富煌新视觉大厦
微信公众号
官方抖音