10000fps的视觉传感器：打开机器视觉的潘多拉魔盒

由Prophesee和索尼联合推出了一款“基于事件的”视觉传感器，EE Times称其“在AI感知上开启了潘多拉魔盒”。

去年EE Times美国版报道了ISSCC会议上，由Prophesee和索尼联合推出的一款“基于事件的”视觉传感器。当时EE Times称其“在AI感知上开启了潘多拉魔盒”。这款传感器应用于工业设备、机器人、自动驾驶汽车等领域时，能够“更好地看见和感知环境”。

这种基于事件的视觉传感器，其工作方式已经和一般的视觉或图像传感器有了本质上的差别。Prophesee在技术介绍中谈到其视觉系统“可以感知场景的生命力”，“产生的数据量比传统图像传感器减少近千倍，同时实现大于10,000fps的更高帧速率”。这些在传统视觉和图像传感技术上，都是难以想象的。

Luca Verre | 联合创始人兼CEO

我们所知的常规图像或视觉传感器，以帧为单位来记录动态影像画面。从机器视觉的角度来看，这种传统的方案有两个比较大的问题。其一是即便是高帧率，帧与帧之间都仍可能存在重要的未记录信息；其二，对于画面中始终处于静止状态的对象而言，每一帧都可能重复地记录了大量无意义信息——这对后端计算会构成更大的负担，并带来对数据通讯、存储更大的负担。

Prophesee开发的视觉传感器又叫“硅视网膜（silicon retinas）”。对应的，Prophesee“还开发模拟人类大脑的计算机视觉AI算法”；以及对应的智能套件（包括SDK、代码示例、算法、即用型应用等的视觉工具包）。（产品详情可添加微信kinli0925咨询）

Luca表示，基于事件的视觉感知这样的设计，有三个优势：产生数据量更少；反应速度更快；以及实现更高的动态范围（120dB）。这其中的任意一项对于当代机器视觉而言都是相当有价值的，尤其在减少数据量的问题上，对于有限的通信、存储与计算资源显得相当友好（比如以前高帧率和有限的存储资源，始终是个矛盾体）。最终落地到自动驾驶汽车、人工智能、工业自动化、IoT、医疗等领域，都会成为机器视觉的重要组成部分

这种基于事件的视觉传感技术，有很多特性实则都是相当值得深究的。比如说如何实现在场景发生变化时，像素才做出反应；以及更重要的，如何理解不是逐帧记录，而是连续信息流捕获事件信息。

首先“基于事件”中所谓的“事件”究竟是怎么定义的。Luca告诉我们，“‘事件’是指，一个像素激活自身并发送事件检测到发生的X、Y坐标和时间戳。”如此看来，这种传感器的像素结构是有探讨余地的。“我们说这样的传感器等效于实现了10,000fps的帧率。其实我们的传感器并不是基于帧的，但传感器所产生事件的时间精度就是1/10或者1/100μs的级别。”

另外Luca大致谈到了这种传感器的像素结构。“传感器上的像素是智能的，因为每个像素都嵌入了level crossing sampling电路。”其读出过程并不是我们常规理解中，成像系统带卷帘门快门、全局快门这样的设定。“其读出过程就是基于事件的。”Luca说。

不过Luca补充说，读出策略是会根据不同的应用而有差异的。“传感器的时间精度达到了μs级别，也就是前面提到等效能做到10,000fps的程度。但具体的精度还是要看应用。比如说工业应用对高速有要求，而IoT应用就要求低功耗了。”

时间精度实际上还受到计算平台能力的限制。因为我们的传感器最终需要集成到计算机平台进行数据处理。所以在某些情况下，我们经常需要降低传感器的速度，让它能够平滑地融入到传统计算平台之上。

“对我们来说，最佳方案应该用基于事件的计算平台，比如像Intel Loihi、Brainchip（Akida）。”Luca表示，“如此一来，就能以高速处理基于事件传感器产生的高速数据了。这也是我们的最终目标。”

Prophesee与索尼合作的这款720p分辨率、基于事件的视觉传感器应该是相对比较知名的了。Luca说这是Prophesee的第四代产品，“现在正与不少客户做测试，主要是针对工业应用和而物联网应用。预计今年年底能够大规模量产。”

此外，第三代产品也已经量产，主要用于工业应用，“尤其在高速机器视觉领域，比如高速计数、激光焊接监控、震动测量等行业应用。”Luca说，“比如日本的Century Arks、德国的Imago已经将第三代传感器集成到了工业级相机系统中，用于工业自动化应用。而且这一代产品，我们已经开始盈利了。”

我们认为，这种基于事件的视觉传感器实际的应用潜力还会更大。至少在机器视觉领域，由于对通讯、计算、存储的资源需求都显著更低，替代传统视觉或图像传感方案显得顺理成章。Luca也谈到，“我相信在机器视觉领域，Prophesee的技术是可以替代传统基于帧的技术的。”

此前，Prophesee已获得了超过6500万美元的融资。现有产品受到包括索尼在内的合作伙伴的青睐表明，在机器视觉、AI领域其市场前景是广阔的。

“在人工智能快速发展的今天，特别是在图像视觉领域，融合了AI技术的图像视觉处理对数据带宽、存储功率及计算成本等产生了更高的要求。”Luca说，“我们相信，借助Prophesee的技术，受生物启发的神经形态传感器及AI算法，能够让人工智能及计算机视觉未来效率更高。”

科通芯城作为SONY的合作伙伴，欢迎所有对Prophesee最新视觉技术感兴趣的企业前来沟通产品，详情可添加微信：kinli0925

点击阅读原文·查看完整文章