第二十二届中国虚拟现实大会 (ChinaVR 2022)

        为了解决目前单目手势重建的设备成本高、响应速度迟缓等问题，本文提出了一种新的以单目摄像机获取手部形状和姿态估计来进行手部3D重建的方法。该方法是一种新的基于学习的架构，使用带有2D和3D注释的图像数据，以及手部动作捕捉（MoCap）数据来进行训练。架构设计包含一个3D手部关节检测模块和一个逆运动学模块，不仅能够准确的回归3D关节位置，而且能在一个单一前馈通道内将它们映射到关节旋转中。通过引入生物力学约束以达到高质量的网格图像对齐，并驱动模型以提供实时预测。与仅回归3D关节位置相比，这种输出使该方法更直接地可用于计算机视觉和图形学中的应用。在现有的数据集上获得了实时运行性能（90fps）和精度（95.6%）。在基准数据集上的大量定量和定性测试结果表明，本文提出的算法在手部网格/姿态精度和手部图像对齐方面均优于目前的方法。