编者荐语 事件相机是一款新型传感器。不同于传统相机拍摄一幅完整的图像,事件相机拍摄的是“事件”,可以简单理解为“像素亮度的变化”,即事件相机输出的是像素亮度的变化情况。 转载自丨计算机视觉life 前言第一次听到“事件”相机,你一定会吐槽它的名字:“什么玩意?”、“不知所云”、“太拗口了!” 没办法,event camera 直译过来就是事件相机,虽然我觉得这个称呼不太直接,或许翻译为“微动”相机之类的更贴切吧。但不妨碍,它是一个神奇的存在,和目前我们常见的视觉相机在原理上大相径庭,目前能够量产事件相机的公司又屈指可数,当然价格也非常“鹤立鸡群”,在动态感知方面能够拍摄到“飞行的子弹”,说它是相机中的战斗机大家应该没有意见吧? 下面是关于事件相机的起源设计思路、原理、特点和分类的概述。欢迎留言区交流 1 事件相机定义与设计1.1 事件相机的定义及潜在应用事件相机(event cameras)是一种生物启发的视觉传感器,以完全不同于标准相机的方式工作。事件相机不是以恒定速率输出强度图像帧,而是仅输出局部像素级亮度变化的相关信息。这些像素级亮度变化(称为事件)超过设定阈值时,事件相机以微秒级分辨率标记时间戳,并输出异步事件流。
普通相机问题:
1.2 事件相机设计事件摄像机的设计模仿了生物视网膜的特点,并提供了一个从普通基于帧的(frame-based)相机的范式转变. 1.2.1 神经形态硅视网膜在生物学的器官中,人类这样的脊椎动物的视网膜是眼睛内表面的一层薄薄的组织,能将光转换成电脉冲. 视网膜可以被分成以下三个部分:
组成元件: 视杆细胞和视锥细胞(神经细胞) 层级功能: 将接收到的光转化为电脉冲
组成元件:双极细胞(on- 和 off- 型) 层级功能: 将时空间的亮度变化进行编码
组成元件:水平细胞和神经节细胞 层级功能: 进行亮度调节,并将电脉冲传递至多条并行通路进行处理 这些细胞可以按其结构大致分为以下功能:
这种生物性视网膜有许多令人满意的特性,使其具有潜在的极大优于传统的图像传感器的应用价值。 1.2.2 事件相机设计区别于普通相机,事件相机测量的不是绝对的光照强度,而测量的是光强的变化
事件相机的每个像素都有实现三个逻辑功能的模拟电路:
2 事件相机分类:2.1 DVS (Dynamic Vision Sensor)DVS是一个纯基于事件的相机 上图是使用DVS在一个时间间隔内累积事件的一个可视化图像输出 DVS 电路:
这可以解释为DVS像素可以检测到的最小对比度。然而,在实际应用中,这受到光感受器噪声和传感器带宽的限制。事件摄影机测量的对比度可以视为标准化的时间差: 因为 , 在弱光环境中,事件的触发比在明亮场景中的变化要小 2.2 DAVIS (Dynamic and Active Vision Sensor)DAVIS 与DVS相比,结合了一个基于帧(frame-based)的相机 (与事件相机非同步),通过曝光生成的像素可以提供事件数据中所缺少的丰富纹理信息。 上方左图是DAVIS相机在一定的时间间隔内收集到的事件的可视化输出图像,右图是其中所带的基于帧的相机采集的图像。 下图是一个DAVIS相机的逻辑电路,其中APS为普通相机部分,DVS为事件相机部分 2.3 ATIS (Asynchronous Time-based Image Sensor)ATIS在DVS的基础上巧妙地引入了基于时间间隔的光强测量电路来实现图像重构 每次 DVS 电路产生事件时,触发光强测量电路进行工作;光强测量设定了两个不同的参考电压, 通过对光强进行积分,并记录达到两个电压发放的事件;由于不同光强的条件下,电压变化相同量所需的时间不同,通过建立光强与时间的映射可以推断出光强大小,从而输出光强变化像素处的光强信息,ATIS 引入了一套全局发放机制,即所有像素可被强制发放一次脉冲,这样在 ATIS 初始工作时可获得一整幅图像作为背景,然后运动区域不断产生脉冲进而不断的触发光强测量电路获得运动区域的灰度来更新背景。 以下是一个ATIS相机的输出:
从上图左边和中间部分显示了在一个时间间隔内累积事件和解码强度测量的图像。 ATIS相比于DVS的主要优势在于它的分辨率更高(304×240), 动态范围更高(143 dB) 有更低的能耗(3 ),最重要的是事件能够触发一次全局的HDR输出。 2.4 几种事件相机的对比与总结
3 事件相机数据处理3.1 事件数据事件相机生成与基于帧相机完全不同的信号.
这使得事件相机难以检测边缘信息,并且在具有复杂纹理的背景下表现不好 3.2 地址事件表示事件相机的输出信号是异步且稀疏的。为了解决传感器的动态行为,事件摄像机类型硬件中的一个常见策略是使用地址事件表示(AER)协议。
AER的示意图如下: DVS事件摄像机与标准USB设备一样,可以通过其VID和PID进行识别,并使用下表中列出的预定义命令与标准PC上运行的应用程序进行通信。 与AER事件包不同的是,通过DVS USB接口传输的每个事件都增加了一个微秒级别分辨率的时间戳,并编码在一个4字节长的数据包中,如下图所示,带有图像中的位置、事件的极性和时间戳. DVS128 相机的最大带宽是每秒1M个事件.3.3 事件相机模拟器事件相机模拟器是通过线性插值和高斯噪声的方式模拟出事件流来,在此选用的是UZH发布的ESIM模拟器。 在模拟中的转换方法概述如下图所示。首先,我们将从文件夹中的输入视频中提取各个帧。其次,运行ESIM,提供图像文件夹作为模拟事件的输入。最后,将看使用dvs_render渲染器节点可视化模拟事件。 【参考资料】 [1] Kim H, Leutenegger S, Davison A J. Real-time 3D reconstruction and 6-DoF tracking with an event camera[C]//European Conference on Computer Vision. Springer, Cham, 2016: 349-364. [2] Gallego, G., Delbruck, T., Orchard, G., Bartolozzi, C., Taba, B., Censi, A.,Leutenegger, S., Davison, A., Conradt, J., Daniilidis, K., Scaramuzza, D.,Event-based Vision: A Survey,IEEE Trans. Pattern Anal. Machine Intell. (TPAMI), 2020. [3] Bardow P A. Estimating general motion and intensity from event cameras[D]. Imperial College London, 2018. [4] 孔德磊,方正.基于事件的视觉传感器及其应用综述[J/OL].信息与控制:1-15[2020-12-29]. [5] 李家宁,田永鸿.神经形态视觉传感器的研究进展及应用综述 本文仅做学术分享,如有侵权,请联系删文。 |
|
来自: 新用户0118F7lQ > 《文件夹1》