Sapiens - Meta推出的AI视觉模型，能理解图片和视频中的人类动作

Sapiens是什么

Sapiens 是 Meta 实验室的视觉模型，专门看图片和视频里人的动作。二维姿势预估、身体部位分割、深度估计、表面法线预测这几类任务都做，架构用的是视觉转换器。参数量从3亿到20亿不等，原生支持1K高分辨率推理，换个任务调起来也方便。标注数据少的情况下它也能泛化，虚拟现实、增强现实这些应用正好用得上。

Sapiens的主要功能

• 2D姿态估计：关节这类人体关键点它能标出来，姿势和动作就能接着分析。
• 身体部位分割：头、躯干、手臂、腿这些部位能分开切出来，虚拟试穿、医学成像都用得上。
• 深度估计：每个像素的深度能预测，平面的图就有了三维感，增强现实、自动驾驶这类应用少不了这一步。
• 表面法线预测：表面法线的方向也能预测，三维重建和判断物体几何形状时，这是关键信息。

Sapiens的技术原理

• 视觉变换器架构：用的是视觉变换器（Vision Transformers, ViT）架构。图先切成固定大小的小块（称为patches），高分辨率输入处理得动，特征也能提得细。
• 编码器-解码器结构：编码器-解码器的结构：编码器提特征，解码器拿特征去做具体任务。编码器用预训练权重初始化，解码器不重，按任务单独配。
• 自监督预训练：预训练走自监督，方法是遮掩自编码器（Masked Autoencoder, MAE）：遮住一部分图像，让模型把原图重建出来，特征表示就这么练稳了。
• 大规模数据集训练：预训练用了超过3亿张野外人类图像，数据够杂，泛化能力也就上来了。

Sapiens的项目地址

• GitHub仓库：https://github.com/facebookresearch/sapiens

如何使用Sapiens

• 环境准备：先把环境配好，Python、PyTorch 这类软件和库装齐。
• 获取模型：去 Sapiens 的项目页或者 GitHub 仓库，把预训练模型或源码下下来。
• 数据准备：图片或视频数据先备好。实际场景里还得预处理一下，调分辨率、转格式之类。
• 模型加载：把预训练的 Sapiens 载进环境。要针对特定任务微调的话，自己的数据集也一并读进来。
• 任务选择：按需要挑任务，2D姿态估计、身体部位分割这些可以选一个，也可以多选。
• 模型微调（如果需要）：拿数据集微调，让它贴合自己的场景，模型参数、损失函数这些都要动。
• 模型推理：模型加载好、微调完，就可以对输入数据跑推理，做选定的视觉任务。

Sapiens的应用场景

• 增强现实（AR）：AR 里，人体姿态和部位信息给得准，虚拟物件跟真实场景的交互才自然。
• 虚拟现实（VR）：VR 里用它实时追踪、渲染用户的身体动作，沉浸感会强不少。
• 3D人体数字化：3D 建模和动画制作时，Sapiens 对人体姿态和形态能捕捉得比较准，3D 内容做得快。
• 人机交互（HCI）：HCI 系统里拿它读身体语言和手势，交互体验能顺一些。
• 视频监控分析：安防监控里分析人的动作，异常行为检测、人流统计都能做。
• 运动捕捉：体育训练、游戏开发时，运动员或角色的动作能捕下来做分析。
• 医学成像与康复：医疗里可以分析病人的体态和运动，诊断和康复训练都能当参考。