Move AI翻译站点

Move AI是什么

Move AI 是一家总部位于伦敦的初创公司，致力于实现 3D 动画的民主化。该公司利用人工智能和计算机视觉技术，开发了一款无需标记的运动捕捉工具。Move AI 可以从视频中提取运动数据，将真人动作同步到数字模型上，实现高保真运动追踪。其核心功能包括无标记运动捕捉、任意环境捕捉、高质量运动数据提取等，适用于 3D 动画师、游戏开发者等专业人士。Move AI 的技术降低了运动捕捉的门槛和成本，为行业带来了新的可能性。

Move AI 的核心目标是通过计算机视觉和深度学习技术，捕捉并理解视频中的动作，从而实现自动化动作捕捉（Motion Capture）。

Move AI工作原理

1. 视频输入与预处理

   • 视频输入：Move AI 系统接收输入的视频数据，这些视频可以是多种格式（如 MP4、AVI、MOV 等），并且可能包含不同帧率（FPS）和分辨率。视频输入模块需要支持多种视频格式，并能够处理不同来源的视频数据（如摄像头、文件、网络流等）。
   • 预处理步骤：包括帧提取（将视频分解为一系列连续的帧）、帧率调整（根据需要调整视频的帧率）和分辨率调整（调整视频的分辨率以适应后续处理的需求）。

2. 多摄像头捕捉

   • 通过多个摄像头从不同角度同步捕捉运动数据，提高捕捉的精度和完整性。
   • 内参校准：校准摄像头的内部参数，如焦距、主点坐标、畸变系数等。
   • 外参校准：校准摄像头的外部参数，包括摄像头之间的相对位置和旋转角度。
   • 通过硬件或软件同步机制，确保多个摄像头同时捕捉图像。

3. 深度学习模型

   • OpenPose：使用卷积神经网络（CNN）从图像中提取人体关键点（如肩膀、肘部、膝盖等），生成二维关键点坐标。
   • DensePose：在 OpenPose 的基础上进一步细化，生成人体表面的密集点云数据，实现三维姿态估计。
   • MediaPipe Hands：使用深度学习模型从图像中提取手部关键点（如指尖、指关节等），生成二维或三维的手势数据。
   • FaceNet：从图像中提取面部关键点（如眼睛、鼻子、嘴巴等），生成面部表情和动作数据。

4. 运动数据分析

   • 使用统计方法（如均值、方差、标准差等）对运动数据进行初步分析，生成基础运动指标。
   • 通过聚类分析、主成分分析（PCA）等技术，对运动模式进行分类和降维处理。
   • 训练监督学习模型（如随机森林、支持向量机）和非监督学习模型（如 k-means、DBSCAN）对运动数据进行预测和分类。
   • 使用深度学习模型（如 CNN、RNN）对复杂的运动数据进行高级分析，生成运动轨迹、速度、加速度等高级指标。

5. 动画生成

   • 正向运动学（Forward Kinematics, FK）：通过关节角度直接计算骨骼末端位置，适用于简单的运动控制。
   • 逆向运动学（Inverse Kinematics, IK）：根据目标位置反推关节角度，适用于复杂的运动控制，如手臂的抓取动作。
   • 将捕捉到的关键点数据映射到虚拟角色的骨骼结构中，生成对应的骨骼动画。
   • 通过关节旋转矩阵和四元数计算，实现精确的骨骼姿态和运动。
   • 将多个捕捉到的动作数据进行融合，生成连续、流畅的动画过渡。

Move AI主要特点

1. 无标记运动捕捉：支持单相机和多相机配置，使用手机和标准相机进行捕捉，无需穿戴任何复杂的动作捕捉套装或标记。
2. 任意环境捕捉：可同时捕捉多达 22 人，适用于任何环境。
3. 高质量运动数据：通过 AI、计算机视觉和物理模型捕捉高质量的 3D 人类运动数据，包括手指追踪。
4. 大量捕捉空间：Move One 允许在 5m x 5m 空间内捕捉，而 Move Multi-Cam 允许在 20m x 20m 空间内捕捉。
5. 实时运动追踪：提供实时无标记运动捕捉以及后处理功能。
6. 轻松重定向：可以导出 FBX 和 USD 格式，与用户首选的 3D 动画软件兼容。

Move AI应用领域

Move AI 为体育训练、动画制作、游戏开发和医疗康复等领域提供了强大的工具和解决方案，帮助用户实现高质量的运动捕捉和应用。

Move AI发展历程

• Move AI 是一款由同名公司开发的 AI 工具，旨在为 3D 动画师和工作室提供无标记运动捕捉技术。
• 2023 年 10 月 4 日，Move AI 宣布已从 Play Ventures、华纳音乐集团、RKKVC、Level2 Ventures 和 Animoca Brands 募集到 1000 万美元种子轮融资。
• 2023 年夏天，Move AI 曾透露计划在 9 月推出一款单摄像头应用程序“Move One”，该应用目前正在接受仅限邀请的 Beta 测试模式的申请，并计划于当年晚些时候公开发布。
• 2025 年 3 月，Move AI 提出了第二代 AI 动作捕捉技术（Gen 2 spatial motion），旨在解决遮挡和复杂动捕环境下的捕捉问题，进一步提升捕捉的稳定性和准确性。