苹果新专利：可通过多个可穿戴设备预估用户全身姿势

近日，美国专利商标局公布了苹果一项专利申请，标题为“通过从多个可穿戴设备提取特征进行全身姿势估计”。

苹果在其专利背景中指出，可穿戴设备现在在社会上很普遍，许多消费者每天都佩戴智能手表和耳机设备。这些可穿戴设备中的许多都包括可以感知用户运动的惯性传感器。例如，嵌入在智能手表中的惯性传感器可以捕获用户的手臂运动，然后健身应用可以使用该运动来计算各种健身指标，如用户在运动期间燃烧的卡路里量。一些耳部设备（例如耳机）包括用于控制音频播放的惯性传感器、提供用于波束成形以减少背景噪音的麦克风方向数据，以及用于固定通过耳部设备播放的空间音频声场的头部追踪。

苹果的发明涵盖了通过从多个可穿戴设备中提取特征来估计全身姿势。

在实施例中，一种方法包括用至少一个处理器从用户同时佩戴的多个可穿戴设备获取视点（POV）视频数据和惯性传感器数据；使用至少一个处理器获取捕获用户全身的深度数据；使用至少一个处理器从 POV 视频数据中提取 2D 关键点；使用至少一个处理器从 2D 关键点重建全身 2D 骨骼模型；使用至少一个处理器，根据深度数据生成用户全身?3D 网格模型；与至少一个处理器合并 3D 网格模型的节点与惯性传感器数据；使用至少一个处理器，将?2D 骨骼模型和 3D 网状模型在共同参考框架中的各自方向对齐；使用机器学习模型，根据对齐的 2D 骨架模型和 3D 网格模型预测分类类型。

在实施例中，至少一个可穿戴设备是佩戴在用户身上或耳朵中的耳机，并且至少一个可穿戴设备是佩戴在用户手腕上的智能手表。

在实施例中，该方法由无线耦合到可穿戴设备的中央计算设备执行。

在实施例中，从多个可穿戴设备获得的高度计数据用于在公共参考框架中对齐 2D 骨骼模型和 3D 网格模型的各自方向。

其它实施例可以包括装置、计算设备和非暂时的、计算机可读的存储介质。

所公开的具体实施方式提供了以下一个或多个优点。所公开的实施例提供了一种更准确的全身骨骼模型，可以提供对用户运动的详细见解，从而允许改进各种健身活动或健康监测的进度跟踪。

例如，可以在用户的智能手机或智能手表上向用户提供锻炼总结，其中包括各种锻炼的重复数据（例如，负重深蹲或俯卧撑的次数）以及趋势数据，例如运动范围的改善。

苹果专利图 1 是通过从多个可穿戴设备中提取的特征进行全身姿势估计的系统框图；图 2 显示了用于各种锻炼的可穿戴设备的不同位置。

苹果专利图 3A 是使用从多个可穿戴设备中提取的特征进行全身姿势估计的系统框图；图 3B 是机器学习（ML）模型的训练过程流程图，该模型使用从多个可穿戴设备中提取的特征进行全身姿势估计。

苹果专利图 4 是使用从多个可穿戴设备中提取的特征进行全身姿势估计的流程图。