全体感沉浸式移动机器人

全体感操纵机器人总览

本作品集移动机器人终端、可穿戴体感数据手套、虚拟现实眼镜、电脑监控终端于一身，利用NI LabVIEW以及NI MyRIO等进行设计开发，采用NUI交互方式体感控制，并通过机器人终端摄像头可同时进行远程摄像，通过头戴显示器实时显示，增加操作者沉浸感。通过基于Internet的UDP协议通信，可实现人机异地的实时控制，并且通过上位机的3D虚拟现实来实时了解移动终端的情况，实现远程操控的灵活性、可靠性和实时性。

以下是第一代体感机器人的Solidworks模型和实物图：

第一代全体感操纵机器人

经过改造，诞生了第二代全体感操纵机器人，它在功能和性能上更优于第一代机器人。第二代体感机器人的Solidworks模型和实物图如下：

第二代全体感操纵机器人

硬件模块功能介绍

系统框图

1、人体姿态采集和视觉反馈终端：

采用STM32+MPU9250九轴加速度计、陀螺仪、磁强计传感器，利用卡尔曼滤波并基于四元数计算欧拉角自制可穿戴姿态传感器，设计紧凑，尺寸仅为2cm*2cm，采用全双工SPI通信，方便多传感器数据采集；

姿态采集分为三部分：人体手臂姿态传感部分（右臂），机器人移动控制摇杆（左手），虚拟现实眼镜及头部姿态传感器（头部）。手部通过Arduino Nano单片机采集人体手臂（用于控制机械臂）、和手势（控制机器人小车移动）的姿态信息，体积小，便于集成，并通过蓝牙将数据汇总到头部进行统一信号处理及姿态控制运算；头部采用Arduino MEGA单片机，通过算法将姿态传感器信号值转换成机器人舵机控制量，达到实时同步效果；虚拟现实眼镜利用手机屏幕作为显示屏，增加视频反馈以及机器人控制的沉浸感，此外姿态采集部分利用蓝牙将数据传送给手机App，并通过WiFi推送到服务器端。

人体手臂姿态采集

手势姿态采集

机器人前置视频采集

2、LabVIEW上位机控制中心：

作为系统的控制核心以及监控平台，上位机程序主要包括了机器人实时3D模型仿真、摄像头实时视频采集以及上位机机器人控制三大部分，其中采用了NI LabVIEW Robotics模块，顶层采用队列消息处理器架构进行基于消息的程序控制，并利用基于Internet的UDP协议与服务器端进行通信，实时获得姿态采集信号从而控制3D模型，更加直观清楚了解移动机器人状态；同样，NI LabVIEW上位机控制中心采用基于TCP/UDP的STM协议进行视频传输，可显示移动机器人反馈的实时视频，并同时可进行移动物体识别，进行拍照以及录像。

LabVIEW控制框图

3、服务器通信枢纽：

利用Apache搭建通信服务器，上传至云端和利用本地树莓派来实现通信枢纽，可通过路由器自组局域网连接，也可通过Internet访问云端服务器进行连接。服务器主要传输传感器控制信息和实时监控视频，可实现人机远程异地操作。

4、体感控制移动机器人：

采用NI MyRIO作为移动终端主控，充分发挥Zynq架构的优势，利用实时处理器进行摄像头视频采集，并采用NI FPGA模块，利用内置NI FPGA进行机械臂以及轮子电机的控制。与此同时，还采用树莓派和前置1080P高清摄像头作为视频记录存储，弥补远程实时系统的视频质量问题。

机械臂

创新亮点

1.运用人体自然的体感操纵技术，实时控制并减少了传统操纵方式的复杂；

2.可支持人体体感控制和计算机键鼠控制模式，且可自由切换；

3.利用蓝牙、WiFi以及UDP协议传输，可接入Internet，扩大了数据传输范围，增强了信息交互能力；

4.搭建云端服务器，可便捷高效实现人机异地控制；

5.自制可穿戴式姿态监测传感器，融合加速度、角速度和地磁强度解算姿态；

6.利用3D Max建立移动机器人终端模型，利用虚拟现实，远程操控亦可清楚了解机器人姿态；

7.头戴显示器增强远程操控沉浸感和临场感，使远程操控高效实用；

8.利用设计模式队列消息处理器、生产者/消费者循环等实现系统框架和Plugins式功能VI的有机结合；

9.采用Xcontrol控件和Metro UI，界面更加美观实用。

看完全体感沉浸式移动机器人的具体介绍，是否感觉见到了电影里的画面？是否对机器人有了新的认识？这就是这部作品带来的全新体验。