分享

嵌入式、深度学习和计算机视觉

 openlog 2016-01-21

前言:

公司最近引入了新设备,这两天我做了一些背景研究和前景预测,写出来跟大家分享一下。

说句题外话,之前提到过,非常欢迎大家分享广涵的原创文章,但是商业转载需要联系我取得授权。最近发现《微头条》把我的公众号(广涵部落阁,guanghan-blog)和文章转载了,虽然没有联系我,但是至少标注了来源和公众号二维码。而某些网站(暂不点名),同样是未经许可进行转载,却连文章来源都没有。如若故技重施,或采取法律手段。希望今后这些网站的运营者能够尊重原创作者的知识产权。

 

1. 关于背景——什么是Jetson TX1?

它是一个装有GPU的系统级芯片,可以嵌入在移动设备上。利用GPU强大的运算能力,可以利用到人工智能(artificial intelligence)领域最先进的算法——深度学习(deep learning)。

开发者套件11月16日才发售,我们也刚刚拿到手不久。开发者套件的零售定价为 599 美元,学生价格为 299 美元。独立模块版本则定价 299 美元,2016年首季度发货。

下面图片展示的是开发者套件。

Jetson TX1 development kit

公司配置的新玩具——继TitanX之后,又祭出一件神器:Jetson TX1 development kit。果然有时候公司比实验室更有资源之优势。

这个开发者套件是开箱即用的,自带ubuntu14.04的操作系统,只需简单几行命令就可以set up。

安装JetPack (Jetson Development Pack)之后,就有了所有需要的东西:

  • CUDA
    •  cuDNN (Nvidia CUDA Deep Neural Network Library,是经过CUDA加速的深度学习库)
  • Opencv4Tegra (from Opencv community,一般是做实验时快速实现用,此版本是针对Tegra开发板的优化版)
  • VisionWorks( from Nvidia,是production的工业级工具,可以直接投入应用)
    •  OpenVX(from Khronos,是计算机视觉应用跨平台加速的标准)
VisionWorks

VisionWorks把CUDA和OpenVX封装好,把OpenVX经过CUDA进行GPU运算的优化。而OpenVX具有跨平台特性,所以开发者在编写代码时相当”舒适“。

其中,VisionWorks官方给出了两个workshop的视频,可以帮我们初步了解它。

OpenCV vs OpenVX

OpenVX似乎优势明显,虽然作为一个研究者,平时更多地是接触opencv。

 

 

2.关于前景——Jetson TX1能带来什么革命 :

未来机器人、遥控无人机、监控摄像头、智能汽车都将获得突破。

机器人可以进行人脸核实(face verification)、物体识别(object detection and recognition)、场景识别(scene recognition)、动作识别(action recognition)等等,更好地与人进行交互。

无人机在鸟瞰的视角可以进行动态移动物体的检测和监控。

监控摄像头可以扫描人群,进行人脸识别(face recognition),同时进行异常行为检测(abnormal activity detection)和暴力场景检测(violence scene detection)等等。

智能汽车可以通过车载摄像头获取一个或多个视频录制的街景信息,经过分析综合,实现场景文字识别(scene text detection and recognition),分析路牌店名等。可以结合GPS进行更深层次的信息挖掘(data mining)。还可以利用基于深度学习(deep learning)的计算机视觉(computer vision)算法和其他传感器(sensor)的信息融合(information fusion)实现更棒的自动驾驶。

官方给出了一些初步成功案例,印证了我的期待,比如social robot JOBO,还有遥控无人机Kespy.

 

除此之外,我预言体育实况转播也将获得突破。与增强现实(AR)结合起来,更直观地表现内容。

这个网页中,Viz Libero展示了目前可以做到的顶尖水准,但它仍然需要专业的人工干预。

我预测,未来或许会提供虚拟现实(VR)的赛事转播,使得用户戴上虚拟现实设备,能够获得现场观众的视角,像在现场一样可以左顾右盼,和现场其他球迷一样为自己钟爱的球队欢呼。

更进一步,VIP用户可以在某个精彩进球回放时,通过无人机的录制画面,获取球员视角,从主观视角(egocentric view)来”体验“进球的快感。应用在体育教学领域,可以成为更好的教学工具。当然,类似地,也可以成为体育教练更好地讲解分析的工具。

有些公司(比如,VRSE)已经推出了手机和平板电脑上的虚拟现实(VR)app,让我们可以初探究竟。身临其境的演唱会,视频游戏,这些领域最先引起了产业界的重视。

虽然目前的state-of-the-art还不能达到我期待的水准,但不久的未来一定会成为现实。

很高兴我是其中众多研究人员中的一个。当这些都能成为现实的时候,希望我个人的商业计划也可以在那时部署实施。(因为是前所未有的东西,所以暂且卖个长远的关子)

对未来充满期待!

 

宁广涵

2015年12月2日

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多