|
被业被誉为“IC设计教父”的联发科董事长长蔡明介有个著名的S曲线战略，就是联发科总会选择在一个新技术普及爆发的前夜进入市场，享受技术大爆发带来的红利，这个战略屡试不爽，从DVD芯片到功能机方案到3G、4G手机平台，联发科在享受一次次技术红利的同时不断壮大，近日，联发科公布了人工智能战略，虽然比其他家晚点但是灵活性和效率更高，依据联发科过往的成功经验看，这意味着人工智能大普及时代就要来临了！盆友们，准备好了吗？ 2017年是人工智能元年，多家公司推出了瞄准终端应用的人工智能平台，华为，苹果推出的方案中有独立的神经网络处理器单元，对人工智能做辅助处理，而高通的骁龙845则没有独立的神经网络处理单元采用DSP完成人工智能处理，瑞芯微则用优化的DSP做人工智能处理，业界在对待端侧人工智能处理方面也分化为两个阵营，一个认为用平台中的DSP处理人工智能算法已经足够，一个认为要用独立的神经网络单元做人工智能加速，现在，联发科的策略公布，它采用独立的神经网络单元做人工智能加速，看来，独立加速方案是未来主流，我看联发科方案的灵活性更高。 联发科技 CTO 办公室协理林宗瑶在联发科AI策略沟通会上表示联发科的人工智能平台NeuroPilot 采用的是异构架构，最底层的处理器有CPU，GPU和APU，APU--是人工智能处理单元的缩写，“CPU 负责控制功能， GPU 负责运算，APU 对整个 AI 运算做特殊加速，从灵活性来看，CPU 灵活性好什么都能做，但效率最差，而 APU可以对AI优化做到效率最高，实际上，我们考虑一些AI 功能都可以放在 CPU、GPU、APU 上，根据工作特质，系统自动分配到APU、CPU、GPU上。如果操作运算量高，而且需要浮点运算，我们就把它放 GPU上。如果它需要定点运算，且需要长时间运算，需要低功耗就放到 APU上。如果是一个多控制运算，就把它放到CPU上。我们会根据它下下一个指令与下下一个工作的分配，确定放到 CPU、GPU 还是 APU上，这跟CorePilot 的大小核分派类似。”他详细介绍了底层处理单元的功能，“APU是人工智能处理单元，它不是一个固定架构的处理器，可以是DSP 也可以是硬件加速单元，例如针对语音识别可以放置2个DSP ，针对其他应用可以放置几个加速单元，它的架构根据需求而定，因此灵活性很高。” 林宗瑶继续解释说这个NeuroPilot平台最上面是应用端，包括脸部识别、美化、人脸辨识、手势检测等等功能。有些功 能 是 在 APP 商店上可以下载下来的应用，有的是 Pre-built 应用。因为有些应用需要跟软件深度结合，例如手机人脸解锁以及手机人脸支付，这就是 pre- built 应用，因为它需要跟软件整合来避免一些安全性问题。“联发科的NeuroPilot平台既可以支持 APP store 里的应用，也可以支持 pre-built 应用。 要支持这样的应用，需要做一些架构上的优化和设计。”他表示。 NeuroPilot 支持目前很多常用的AI framework，例如谷歌的tensorflow、 Facebook 的 caffe1/2、像亚马逊的 MXNet、Sony的NNabla等等，这样可以让合作伙伴开发属于自己的算法和应用。“例如国内的商汤科技、旷世科技等等，他们一方面希望可以定制化，另一方面也希望可以复制到其他平台，所以联发科开发了一个叫Runtime的中间层，把一些比较常用的AI 应用运算概念装在里面。再提供一些定制化的接口给合作伙伴。“他强调。“这样做的好处是，第一 、合作伙伴希望可以定制化的AI指令不希望别人知道， 第二，他们定制化的AI指令能更有效的运行，所以他们希望直接从上面对接到最底层。”Runtime其实是针对深度优化的合作伙伴，可以同时兼顾到垂直应用和定制化。 “联发科的产品覆盖面很广，从手机到电视到穿戴、物联网很多领域，所以我们的人工智能平台考虑的要覆盖很广的领域，”林宗瑶说，“所以我们不是一个固定的平台架构，你可能看到有针对智能音箱的，APU可能采用DSP ，有针对穿戴的，APU又采用了其他处理架构。” 对于人工智能开发者来说，平台架构很重要，但是开发工具包更重要，工具包要有很好的兼容性和完整性，便于开发者进行移植和使用，联发科的NeuroPilot 的工具包就考虑这因素。 “我们的工具包是一个跨操作系统的通用架构，因为这要考虑到联发科产品覆盖很多领域，我们的工具包从系统层级到中间的 Runtime 层再到底层的加速器级都有覆盖（这加速器包括 CPU、GPU、APU）。NeuroPilot是一个跨平台、跨产品线的架构，所以在不同的操作系统上（Android，Linux等等…）AI应用开发者看到的NeuroPilot架构是一样的，当然这个架构会只会在最底层做一些差异化。也就是说，今天我们在Android平台的开发一个AI应用，它可以直接搬到Linux上做运行，可以大幅度减少开发商工作，开发一次就可以在很多平台用。”林宗瑶特别指出。 通过系统级debug 的profiler，AI开发者可以比较把任务派给CPU,GPU和APU的运行情况--电压是多少?频率是多少?各种情况怎么样等。并能看出这个 AI 到底有没有放到错误地方去了？如果一个 AI 应用， 本来是派给 CPU 的，结果系统派给 GPU 了，这样就会有问题。 第二层 Runtime 中间层，开发者可以观察到运行细节信息，例如感觉有些运算单元花的时间 比较多，到底这个花时间多是下达指令错误还是因为在 CPU 上面运行时间比久（因为存储器不给力）。最后 CPU 效率低是什么原因造成的？合作伙伴就可以很容易的去做一些 debug 的开发工作。 第三层加速器层级，工具包可以发现处理器在完成AI任务时候的性能瓶颈，如下图示例。 通过工具包，开发者可以轻松完成开发。 林宗瑶表示联发科一直关注人工智能技术的发展，基本上从 2012 年深度学习开始到 2016 年、2017 年，人工智能应用还是在云端开发。但是考虑快速响应、隐私保护、连接成本以及功耗四个因素，联发科技认为在端侧AI有很大机会。 他认为从云端发展到终端AI有四大提升： 1)端侧响应快，图像识别，图像变化，车载系统都需要快速响应，发送云端然后返回结果显然不会有好的响应。“像最近很红的亚马逊 echo，它的响应就慢，要解决这个问题，就要把云端计算放到终端来。”他解释说。 2)隐私。很多人不想放到云端去，因为放到云端去基本上就没有个人隐私。而在 Edge 这边隐私性会更好 3)连接。连接包括连接的成本和连接有效性。显然任何材料都传至云端成本很高，而且很多地区宽带有限，而Edge AI 的体验会更好。 4)功率。现在整个云端功耗已经占整个地球电力的 5%，所以如果AI在终端实现则可以降低整体能耗。 基于这四点，他认为Edge AI 将为主流。 他强调Edge AI 其实就是 AI anywhere 或 AI everywhere，需要产品布局够广，才能造成很大的影响力。另外因为有这么多产品线，所以除了传统的 Android 之外，还需要考虑到 Linux 或其他的 RTOS， 这样应用广度才会高。 “AI 好比一个人的大脑，一个人既需要大脑，还需要眼睛，需要嘴巴传递信息。你的眼睛就相 当于 camera IC 的功能。你的资料需要跟其他 edge 沟通，需要跟云端沟通，那么就需要各种无线技术，而因为资料量很大因此需要编解码技术。” 他解释说，“基于这些考虑形成了联发科的NeuroPilot 平台。” 他指出目前全球 IC 设计公司中，唯一能够同时拥有智能手机、数字电视、AP Router、VAD、物联网设备、 车载电子的就是联发科一家，“其他有些公司可能 AI 不错，但 缺乏互补性技术。有些是有互补性技术可是 AI 比较差，有些有核心技术和互补性技术，但产品线布局不够广。”他结合联发科的优势来解释平台，“以下图来看，AI 核心搭配互补性技术，就可以构成一个 AI 平台。有 AI 平台之后，在考虑移植哪些产品上，那就要看 可以应用到什么样的产品上面去，比如智能手机、数字电视、AP Router、VAD、物联网设备、 车载等等。所以联发科技的 AI 策略就是从基本的 AI engine 做起，然后搭配其传统强项 - ISP, 连接和WiFi 等技术, 再应用到联发科的产品线上面。” “联发科不做人工智能的先行者，我们做AI的普及者。我们要做的就是把AI技术普及到更多领域、更多产品上。”林宗瑶指出，“联发科技在AI 的策略跟过去不一样，过去提供turn key方案，现在我们的 AI 是一个平台的策略 ，而且这个平台是个开放的平台，我们会开放给所有合作伙伴 ，包括一些非专业用户都可以来我们平台做开发。” 他特别指出联发科技 AI平台有三个优势： 1)能够同时拥有很多技术，同时又可以应用这么多产品线的，放眼全球就联发科技一家公司。因AI 的平台除了提供最基本 AI 功能之外，还搭配一些技术，一起去支持这些产品线。而在开发上只需一次变化，就可以同时分散到很多产品线，因此可以把AI的应用扩散到很多领域。 2)开放性更高，NeuroPilot 平台同时支持支持高中低阶 API，所以可以兼顾到客户可移植性和客制化的需求。 3)异构运算优势--有自己的 APU，系统还可以根据不同的 CPU、APU、GPU 架构选出最适合进行处理。 “我们的架构支持安卓、Linux 和其他的操作系统通用架构。我们的产品线则从电视到语音助手设备、智能手机到发展平板，甚至是汽 车 电 子 ， 我们都会用一样的架构。合作伙伴一次编程就可以处处部署，可以大幅度减少合作伙伴的开发时程。”他指出，“以上就是我们在 AI 这边的策略、想法跟布局，未来AI应用会非常火爆。” 林宗瑶透露联发科第一款采用这样架构的AI芯片将在2018世界移动通信大会（MWC2018）上亮相，另外，今年还会有针对其他领域的AI芯片推出，敬请期待。 联发科全面发力人工智能，我看人工智能大普及时代真的来了！（end） 欢迎投票或者留言说出你对联发科人工智能平台的建议和需求 |
|
|
