|
向大家安利一篇CVPR 2020的论文 HOPE-Net: A Graph-based Model for Hand-Object Pose Estimation，基于自适应图卷积技术，作者提出了一种称之为HOPE-Net的“人手-物体”姿势估计模型，在这个问题上不仅计算结果精度更高、速度也更快，GPU上达到实时！而且代码已开源。 以下是作者信息： 作者来自美国印第安纳大学和华盛顿大学。 何为“人手-物体”姿势估计？ 如下图所示： 在手拿物体这个动作时，对人手和物体分别进行3D检测，输出物体的2D和3D顶点和手部的关节点。对于理解场景中的人-物交互可以带来很多信息。 提出算法 下图为作者提出算法的流程图： 作者的核心思想是使用轻量级CNN网络 + 两步图卷积级联网络。 如上所示，图片经过ResNet10网络进行特征编码，并预测初始2D坐标点（人手关节点和物体8个顶点），然后将得到的2D坐标点和图像特征进行图卷积，得到提精的2D坐标点，然后再将得到结果输入作者提出的自适应图U-Net网络（Adaptive Graph U-Net），得到最终的人手和物体的3D坐标。 自适应图U-Net架构如下： 损失函数分三部分： 实验结果 作者在First-Person Hand Action 和 HO-3D 数据集上进行了实验，并与之前的方法进行了比较。 下图分别代表与其他方法在2D 关键点和3D关键点上的结果比较： 可见，该文方法在精度上取得了一致的提高。 部分检测结果可视化： 该方法计算速度很快，在Nvidia titan Xp GPU上运行，整个推断过程仅需要0.005s。 值得一提的是，该文使用的两步自适应图卷积的方法不仅适用于“人手-物体”姿态估计，在其他需要将2D坐标点3D化的场合都可以使用。 论文地址： https:///abs/2004.00060 代码地址： https://github.com/bardiadoosti/HOPE/ 喜欢这样的论文分享吗？欢迎文末点在看鼓励我^_^ END  备注：姿态 姿态估计交流群 人体姿态估计、手势识别等更多新鲜资讯，若已为CV君其他账号好友请直接私信。 欢迎点在看，鼓励更多分享 |
|
|
