第二十二届中国虚拟现实大会 (ChinaVR 2022)

88 / 2022-10-08 17:26:08

VVPNet：基于深度图的 3D 手部和人体姿态估计

现有的基于深度学习的单深度图3D手和人体姿势估计方法大多基于一个通用框架，该框架采用2D深度图，并通过2D卷积神经网络（CNN）直接回归关键点（例如手或人体关节）的3D坐标。这种方法的第一个缺点是2D深度图中存在透视失真。虽然深度图本质上是3D数据，但许多以前的方法将深度图视为2D图像，通过从3D到2D空间的投影可以扭曲实际对象的形状。这迫使网络执行透视失真不变估计。传统方法的第二个缺点是，直接从2D图像回归3D坐标是一种高度非线性映射，这会导致学习过程中的困难。为了克服这些缺点，我们首先将3D手和人体姿势估计问题从单个深度贴图转化为使用3D体素化网格的体素到体素预测，并估计每个关键点的每体素可能性。我们将模型设计为3D CNN，在实时运行时提供准确的估计。通过实验验证，我们的方法具有较强的实用性。