用于敏捷自主机器人的视觉处理需要在有限的功耗和空间预算内完成低延时计算。这对传统计算硬件来说是一项挑战。并行处理器阵列(Parallel processor arrays)是一种新型视觉传感器架构,该阵列利用半导体技术的进步,在图像传感器阵列的每个像素中嵌入了处理器。感测到的像素数据可以直接在焦平面上进行处理,因此只有少量的相关信息从视觉传感器传输出去。这种在大规模并行计算架构中的传感、处理和存储的紧密融合造就了机器视觉系统在高性能、低延时、低功耗、低成本与多功能性之间的有趣权衡。 典型视觉系统方法的比较 在传统的视觉系统(如上图A所示)中,通常利用相机中的图像传感器来获取视觉信息、生成视频帧并发送至处理硬件。尽管在提升此类硬件的速度和效率方面的相关研究不断取得进展,但其发展的根本限制来自于“传感器-处理器”的瓶颈。在此过程中,大量的视觉数据被采集、数字化,然后从相机端发送至处理器,然后在整个处理系统中完成运算。这样会大幅限制系统延时和功耗降低。 图像传感器中的像素级电路 像素内处理的概念可以更进一步,通过在图像传感器中每个像素内集成完整的可编程处理器核心,可显著提升器件的复杂度和灵活性,这类器件被称为像素处理器阵列(PPA),如下图所示。 像素处理器阵列(PPA) 研究中的SCAMP-5系统如下图所示。其中的核心PPA功能是由定制型集成电路提供,但SCAMP-5视觉芯片、大多数外围组件(如微控制器、FPGA器件、ADC和DAC等)均使用组装在印刷电路板上的现成电子器件来实现。这将大幅增加整个相机系统的尺寸和功耗,可能会限制部分实际应用,但提供了易于使用的研究原型。 SCAMP-5智能相机系统 该SCAMP-5阵列的显著特点是其全局和基于事件的读取模式。虽然图像处理的结果读取为二进制或灰度图像帧,这通常在程序开发/调试阶段完成,但PPA最强大的特点在于可以在像素内部完成处理图像,只有计算的结果才会从传感器器件输出。下图列举了SCAMP-5系统执行的几种基本算法及其执行时间,如卷积滤波器、角提取和光流计算等基本的像素并行操作在PPA中很容易实现。 在SCAMP-5 PPA上执行的多种图像处理算法 |
|
来自: 新用户0118F7lQ > 《文件夹1》