【产品与技术】嵌入式视觉系统：NX图像处理平台

随着机器视觉和图像处理技术的快速发展，传统的基于PC的图像处理系统的图像算法实现一般依赖于软件，存在体积大、便携性差等局限性。目前随着电子工艺水平的不断提高，和普通的计算机系统相比，嵌入式视觉系统在图像处理方面具有启动速度快、性能强、支持实时操作系统等明显优势，并且携带方便，可以应用于振动等复杂应用场景。

NX图像处理平台是四川雷得兴业信息科技有限公司基于NIVDVI Jetson Xavier NX和Xilinx FPGA设计的一款嵌入式图像处理系统，整体尺寸为168x54x147mm。主要基于FPGA和NX平台进行图像算法处理，具有高性能、低功耗，外围硬件接口丰富和体积小巧等特点。可以广泛应用于无人机、自动驾驶、智能机器人、智能摄像头、高分辨率传感器、自动光学检测、智能工厂和其它需要嵌入式视觉系统的场合。

该图像处理平台可分为三部分

FPGA模块、NX模块与图像处理算法模块

→ FPGA包含超过50000个逻辑处理单元(CLBS)，840个数字信号处理单元(DSP)，可实现高速的数据传输和处理。

→ NX核心板包括了384个NVIDIA CUDA Cores、48个Tensor Cores、6个CPU、2个NVIDIA深度学习加速器（NVDLA）引擎，加速计算能力为21个Tops，可以并行运行多个现代神经网络，并同时处理来自多个图像传感器的高分辨率数据。。

→ 图像处理算法可实现多目标提取、多目标跟踪、自动跟踪、图像增强、图像稳像、目标检测识别等功能。

嵌入式图像处理系统相比传统的图像处理系统的

优势可以体现在下面四个方面：

→ 丰富的硬件接口

NX图像处理平台集成了千兆网口、万兆光纤接口、CameraLink接口及USB接口，可支持多种不同数据接口的相机；在串口通讯方面，除了常用的RS232（2路），还搭载了传输速率更高，距离更远的RS422接口（4路）；并且还拓展了4路IO接口，便于与外设的连接。

→ 强大的算法库与灵活的编程模式

NX图像算法模块中包含了大量封装好的功能函数，如基于质心和形心的目标提取算法。部分底层图像算法可集成到FPGA中，数据并行处理，运行高效。NX图像处理平台使用先进的算法和技术，可以实现高精度、智能化的视觉检测任务。

→ 支持远程、多系统操作

NX图像处理平台支持远程操作，可以使用不同的操作系统，便于工程师开发与技术支持。

→ 体积小巧

NX图像处理平台体积小巧，携带方便，并且可以与多种移动终端相结合，特别适合于医疗、交通管理以及工业生产等场景中。

NX图像处理系统的

性能强大、体积小、成本低以及功耗低等特点

使它在实际应用场合中都有着不俗的表现

特别是在下列的应用场合中：

→ 数据采集存储应用

NX图像处理平台，可以对Camera link BASE/ FULL，USB3.0，千兆网，光纤等不同接口的数据进行采集存储，NVME接口硬盘为海量数据的实时存储提供了可靠保证，实现了高速度、高分辨率、长时间的图像无损存储。

NX模块还可以对采集到的数据进行压缩,有效地减少存储时的数据量,使得高速数据流可以被实时存储下来，满足高速图像（视频）采集以及存储的要求。

→ 图像处理应用

NX图像处理平台为软件编程、各类数据流控制及复杂对象的识别算法提供硬件保证。其图像处理模块融合了深度学习与传统图像处理方法。

基于深度学习的图像处理算法与NIVDVI Jetson Xavier NX的强大算力相结合能够满足图像处理的要求，快速实现图像分辨率提升、图像修复、图像增强、图像分类、特征识别等功能。满足复杂多变的生产环境与多种多样的监测对象的应用需求，例如缺陷检测，可以同时对多目标进行识别与检测并分类，基于GPU的数据并行处理，通过硬件加速，使任务完成更高效

→ 车载/机载应用

NX图像处理平台具有灵活应变的架构，可以与各式各样的终端结合，并行处理多个传感器的数据，为车载/机载应用提供了有力的支持。

可以实现环境感知、图像融合、地形匹配、高精度定位、决策规划、智能控制等功能，适应大场景应用，可以实现负载整合、异构计算、实时连接等需求。例如在无人机测绘应用中，NX图像处理平台可以收集图像传感器信息，实时计算无人机的位姿信息，为无人机安全降落提供保障。

《机器视觉》杂志征文通知

《机器视觉》杂志是一本报道中国机器视觉行业最新技术发展状况科技刊物，主要读者为图像领域的工程技术人员、产业管理人员、专家学者以及在校大学生。该刊致力于报道机器视觉及图像处理领域的新产品、新技术、新应用以及市场等诸多方面的最新发展状况。

《机器视觉》杂志是配合VisionChina三地展览会的召开而出版的会员内部交流刊物，将在每年VisionChina展会期间向业内观众免费发放。

【主要栏目】

行业新闻、专家综述、特别策划、封面故事、人物访谈、产品技术、应用案例等专栏。