人体运动指令调优
Human Motion Instruction Tuning
Lei Li, Sen Jia, Jianhao Wang, Zhongyu Jiang, Xuechang Zhou, J. P. Dai, Tianfang Zhang, Zongkai Wu, Jenq–Neng Hwang
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2025-06-10
摘要
本文提出了LLaMo（大型语言与人体运动助理），这是一种用于人体运动指令调优的多模态框架。与传统的指令调优方法将视频或运动序列等非语言输入转化为语言标记不同，LLaMo在指令调优过程中保留了运动的原始形式。该方法能够保存那些在标记化过程中常被丢失的运动细节，从而提升模型对复杂人类行为的理解能力。通过同时处理视频、运动数据与文本输入，LLaMo能够实现灵活且以人为中心的分析。在包括人类行为与专业活动在内的高复杂度领域的实验评估表明，LLaMo能够有效捕捉领域特定知识，增强运动密集型场景中的理解与预测能力。我们希望LLaMo能为未来多模态人工智能系统的发展奠定基础，其在体育分析到行为预测等诸多领域都具有广阔的应用前景。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出 LLaMo（Large Language and Human Motion Assistant），一个面向人体运动指令微调的多模态框架，其核心主张是运动数据应在指令微调中保持原生形态，而非被量化为离散 token 或转译为类语言表征。作者指出，MotionGPT 依赖的量化过程会遮蔽细粒度运动信息，MotionLLM 的运动—文本转译会丢失对深度行为解读至关重要的运动专属细节，而运动数据内在的 3D 结构信息与人体行为关联性难以由语言 token 完整承载。论文的第二个论断是视频与运动长期被当作孤立模态处理，忽视了视频所提供的环境语境与交互线索；LLaMo 通过 Motion Estimator、Enhancer 与 Cross Talker 模块，同时接受视频与运动输入，形成文本感知的细粒度运动表征与统一的人本分析管线。研究的问题域集中于高复杂度场景下的人体行为识别与专业活动理解，在 MoVid-Bench、BABEL-QA、Mo-RepCount 与自建 Swing 数据集上验证其在运动密集型任务中的领域知识捕获与预测能力。应用指向被明确列为体育分析、医疗健康与行为监测。
- 研究方法
- 研究采用模块化架构设计与基准对照实验相结合的路径，LLaMo 由多模态特征提取模块、Cross Talker 与行为生成模块构成：运动估计器从视频帧估计运动信息，运动编码器与视频编码器分别独立编码，特征增强模块以运动特征为 query、通过跨注意力从视频特征中抽取语义并以残差与前馈网络融合。Cross Talker 以文本特征为 query、运动特征为 key/value 计算注意力矩阵，经最大池化得到逐帧相关性分数并选取 top-K 视角帧，再用感受野回归模块预测自适应窗口做局部注意力、以分段平均池化做全局注意力，最后通过双向跨模态注意力与文本对齐融合。训练采用监督学习微调预训练语言模型，运动与视频编码器保持冻结，目标函数为全部样本上真实 token 的负对数似然最小化。数据构成包括 MoVid、自建 Swing 数据集（20,000 段棒球与高尔夫挥拍视频，配运动捕捉数据与专家问答指令）、HumanML3D、KIT-ML 以及 RepCount 的过滤子集 Mo-RepCount。评估在 MoVid-Bench 的运动与视频两个部分展开，指标涵盖身体部位意识、序列性、方向分析、推理能力与幻觉共五项，BABEL-QA 沿用原文献指标，Mo-RepCount 使用 OBO、MAE、OBZ、RMSE，Swing 由 GPT-4 按合理性、连贯性、贴切性、适应性以 0—5 分评分。
- 学术贡献
- 贡献首先落在方法范式层面：论文把运动数据确立为 LLM 内的独立模态并保留其原生空间—时间特性，区别于 MotionGPT 的码本量化路线与 MotionLLM 的运动—文本转译路线，为多模态指令微调提供了非 token 化的对齐思路。架构层面提出 Cross Talker 这一文本引导的关键帧选择与聚合机制，将自注意力复杂度由 O((LT+T)²) 降至 O((LT+K)²)，并辅以逐帧自适应感受野，对长运动序列的推理效率与注意力稀释问题给出具体解法。材料发掘层面构建了 Swing 数据集，含 20,000 段棒球与高尔夫挥拍视频、配对运动捕捉数据与专家问答指令，补充了专业运动指导这一稀缺的多模态指令数据。领域拓展层面，其同时接受视频与运动输入、并可在运动数据缺失时由估计器从视频推断运动的设计，对运动理解、隐私敏感的骨骼数据分析与专业活动分析等议题有直接价值。实验结果中 BABEL-QA 总体得分 0.458、Action 类别 0.525 并在 Before/After 时序推理任务上取得最优，可作为该框架在运动问答子任务上的量化证据。
- 存在局限
- 训练阶段冻结运动编码器与视频编码器、仅优化语言模型，跨模态对齐的上限因此被冻结编码器的表征能力所约束，材料未讨论这一设计对细粒度对齐的制约。Swing 数据集为作者自建且集中于棒球与高尔夫两类挥拍动作，其专业活动结论能否迁移到其他运动门类与不同技能水平人群，材料中未明确提及。Swing 的评分完全交由 GPT-4 以 0—5 分执行，材料未报告人工评分与模型评分的一致性检验或评分者间信度。所提供的节选中未呈现消融实验，Motion Enhancer、局部窗口注意力、全局分段注意力、双向跨模态融合各模块的独立贡献在材料中未明确给出，因而无法判断性能增益的具体来源。BABEL-QA 总体 0.458 的绝对水平仍偏低，论文未对错误类型与失败案例作分解分析。
- 进一步研究方向
- 可设计系统的消融实验，逐一移除或替换特征增强模块、局部注意力窗口、全局分段注意力与双向跨模态融合，在 MoVid-Bench 五项指标与 BABEL-QA 上量化各组件对精度与时序推理的边际贡献。可对 Cross Talker 的 top-K 取值做敏感性扫描，测量 K 与推理延迟、身体部位意识及幻觉率之间的权衡曲线，以验证效率—精度折中点。可将 Swing 的采集与标注流程扩展到更多运动项目、不同技能水平与不同拍摄视角，检验模型在跨项目、跨水平条件下的领域知识迁移能力。可在 Swing 上并行采集人工专家评分，与 GPT-4 评分做相关性与一致性分析，验证现有评价指标的效度。可针对运动数据缺失场景，人为降级或注入噪声到估计器输出的运动序列，测量估计误差向行为描述生成传播的衰减规律。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications