边缘智能，AI应用的最后一里路

事实上，许多具有传感器的装置早就存在我们的生活里，如摄像机、数码相机、喇叭与麦克风等也在过去十年左右数位化并连上网络。但连接网络摄像机与网络连接储存装置（NAS）所组成的数字监控系统相较于过去闭路式、类比讯号的监视装置，除了储存资料数字化之外，在本质上并没有太大的不同，一样需要人监控、回放，并判断实际现场情况。但当人工智能应用普及，影像识别、语音识别转成文字不在遥不可及，网络摄像机或现场麦克风所传回的资料都可以即时通过自动识别，判断画面中的物体，加上搜集人脸资讯及现场收音，AI都足以自动综合解读更多现场状况，让安防业者不再需要配置人力长时间全神贯注的监控，仅需排除异常状态。

数字监控系统配上人工智能应用，仿佛在机器中加上了灵魂。如果可以透过人工智能学习辨识不同内容组合的场景，并应对相应的处理机制，数字监控系统就能协助安防管理，并达成真正的智能化。

然而，要能够让摄像机进行影像辨识，除了可以将影像即时传输回主机上再进行计算判读外，也可以想办法透过摄像机上的处理器直接进行计算与辨识。前者需要占用大量网络传输资源，也有延迟时间的限制，但如果可以在摄像机里加上适当设计、低功耗的处理器与作业系统，直接现场进行计算辨识，不但可以降低传输成本，也能减少辨识结果的延迟时间，并加快即时反应。“边缘智能”就是指在终端装置上的处理器与全套作业系统，也可以说是人工智能落实到真实生活未来应有的最后一里路。

---

从训练到推论，芯片是最后一块拼图！

对于企业来说，深度神经网络（Deep Neural Networks）所带起的人工智能浪潮，就如同遥远的国度发生了大海啸，要把如今相对成熟的图像识别、语音识别或文本翻译等功能，放进真实环境做为商业应用还有一段距离。

由于深度学习的演算法与相关应用还在快速演进的过程中，无论是智能城市、智能零售、智能音箱或无人车等应用，仍在大量收集数据，让深度学习演算法辨别这些资料特征与模式的阶段，这个系统过程我们称为训练（Training)，让电脑尝试从我们所搜集的资料来学习。

训练的过程需要极大的运算量，以图像识别为例，要训练电脑模型认识一个特定物体，例如花朵或猫咪，可能需要至少上千张、多则数万张各种不同角度、不同场景、不同光线下所拍摄的照片，因此这样的运算往往在云端或数据中心进行。如果要求同样一个模型能够识别各种不同品种的猫，除了需要更多的照片之外，更需要人工对这些照片中的猫咪品种进行分类标注，再交给深度学习相关的演算法进行训教，才能得到最终可应用的模型。

训练是整个人工智能应用里，最耗计算资源的工作步骤，所以通常通过绘图处理器（GPU）擅长的平行运算来进行加速。尤其是现在最热门、超过百层、复杂度极高的深度神经网络，都会希望使用可针对大型矩阵运算做平行处理的特殊计算芯片来加速训练过程。然而，人工智能的真实应用往往发生在终端，无论是图像、影像、语音识别或文本翻译，通过深度学习所训练出来的模型如果放在云端，意味着每次应用发生时，终端必须先传输图像、影像、语音或文本，等云端判读后再将结果回传。就算网络频宽再大、速度再快，这段传输与回传过程都要占用资源，并造成反应延迟。

所以能够在终端接收实体资料，并快速预测回应的过程称为推论（Inference）。对推论来说，在终端应用上减少那些对预测不必要的模型或是合并对结果无足轻重的运算，来缩小计算规模是非常重要的。就算推论相对不消耗资源，但多数推论应用仍需特殊计算芯片的加速来缩短反应时间，也就是说，若终端要能进行推论，每一台装置都将以芯片来加强能力。