利用多模态大语言模型实现多模态序列推荐
Harnessing Multimodal Large Language Models for Multimodal Sequential Recommendation
Yuyang Ye, Zhi Zheng, Yishan Shen, Tianshu Wang, Hengruo Zhang, Peijun Zhu, Runlong Yu, Kai Zhang, Hui Yun Xiong
Proceedings of the AAAI Conference on Artificial Intelligence · 2025-04-11
摘要
近年来，大语言模型在推荐系统领域展现出巨大潜力。现有研究大多致力于将用户行为日志转化为文本提示，借助提示调优等技术使大语言模型能够胜任推荐任务。与此同时，融合图像、文本及其他来源数据的多模态推荐系统逐渐受到学界关注，这类系统采用模态融合技术，给仅依赖文本模态信息的现有基于大语言模型的推荐范式带来了新挑战。尽管能够处理多模态输入的多模态大语言模型已然问世，但如何赋予其多模态推荐能力仍鲜有探讨。鉴于此，本文提出多模态大语言模型增强型序列多模态推荐模型。为捕捉动态变化的用户偏好，我们设计了两阶段用户偏好总结方法：首先利用基于多模态大语言模型的物品总结器提取物品的图像特征并将其转化为文本；随后借助基于大语言模型的用户总结器，采用循环式用户偏好总结生成范式来捕捉用户偏好的动态变化。最后，为使多模态大语言模型能够执行多模态推荐任务，我们提出采用监督微调技术对基于多模态大语言模型的推荐器进行微调。在多个数据集上的大量实验验证了MLLM-MSR模型的有效性，该模型在捕捉并适配用户偏好的动态变化方面表现优异。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对仅依赖文本模态的LLM推荐范式与多模态序列推荐之间的落差，提出MLLM-MSR模型，目标是在多模态序列推荐中利用MLLM处理图像与文本。其核心论点是：通过两阶段用户偏好摘要——先用MLLM-based item-summarizer把物品图像转写为文本，再用LLM-based user-summarizer以循环式生成方式捕捉用户偏好动态变化——可缓解MLLM处理多张有序图像时的序列建模困难。进而用SFT微调MLLM-based recommender，将用户偏好、物品文本描述与图像、系统指令组合进提示，以预测用户与候选物品的交互概率。论文声称在多个数据集上验证MLLM-MSR有效性，并展示其在捕捉和适应用户偏好演变动态方面的优势。关键术语包括Multimodal Sequential Recommendation、Multimodal Large Language Models、Item Summarization、Recurrent User Preference Inference、Supervised Fine-Tuning等。
- 研究方法
- 论文采用初步研究、模型构建与对比实验相结合的路径：初步研究用简单提示「Please summarize the image」让LLaVA生成图像摘要，经BERT转为潜在向量后输入GRU4Rec，并与VGG19直接图像特征在AUC上比较，以论证图像摘要能保留语义信息。模型技术细节上，多模态物品摘要分文本摘要提示、图像描述提示与融合提示三步，并将两模态输出长度校准；循环用户偏好推理把物品交互按会话分块，块内物品数设为3，用提示驱动序列建模迭代更新偏好摘要。MLLM推荐器以LLaVA1（Llava-v1.6-mistral-7b）为基座，采用SFT与LoRA（rank=8）、AdamW优化器（学习率2e-5）、batch size=1、梯度累积8、训练10轮、Deepspeed ZeRO stage 2，最大token长度512。训练数据构造采用负采样，训练正负比1:1，评估正负比1:20；损失为下一词预测的负对数似然，输出被限制为yes或no，并以p(yes)/(p(yes)+p(no))计算交互概率。实验使用三个开源真实数据集：Microlens、Amazon-Baby、Amazon-Game，均含用户-物品交互、文本描述与图像；预处理剔除低频用户和物品，统计包含用户数、物品数、交互数、平均序列长度与稀疏度。评价指标为AUC、HR@5、MRR@5，采用5折交叉验证与多种随机种子并达到95%置信水平；基线涵盖GRU4Rec、SASRec、MMGCN、MGAT、GRU4RecF、SASRecF、Trans2D、MMSR、LLaVA w/o SFT与TALLREC；硬件为八张A800 80GB GPU。
- 学术贡献
- 在模型建构层面，论文提出MLLM-MSR，将MLLM引入序列多模态推荐，并设计两阶段用户偏好摘要与MLLM推荐器微调的组合框架，针对的是多张有序图像输入难以被MLLM有效处理、用户偏好时序动态难以捕捉、微调易过拟合且需保持预训练泛化性等具体问题。在方法创新层面，论文提出基于MLLM的图像摘要方法，并通过LLM-based recurrent user preference summarization生成可读的用户偏好描述，替代传统表示式方法，从而提升推荐可解释性。在实验材料层面，论文在Microlens、Amazon-Baby、Amazon-Game三个公开数据集上对比基础序列推荐、多模态推荐、多模态特征增强序列推荐与LLM推荐等多类基线，验证了性能提升。在领域拓展层面，论文自称是首次尝试微调多模态大模型以解决序列多模态推荐挑战，其贡献对多模态序列推荐、LLM与MLLM推荐系统、用户偏好摘要及可解释推荐等子领域有直接价值。论文还公开了代码链接。
- 存在局限
- 实验模态覆盖有限：材料在引言与相关工作中提到图像、视频、音频等多模态来源，但实际数据集与模型主要使用图像与文本，Microlens虽含视频介绍与封面图像，实验未验证视频流或音频模态的序列建模。样本代表性受预处理影响：作者剔除低频用户与物品以保证历史序列长度，这使评估偏向有足够交互记录的用户与物品，材料未报告冷启动、长尾或短序列场景的表现。初步研究仅用GRU4Rec和AUC对比VGG19，且图像摘要提示为简单的「Please summarize the image」，材料未说明提示模板、摘要长度或摘要质量的敏感性分析，削弱了图像摘要保留必要语义信息这一论证的稳健性。模型设计中的关键超参，如块内物品数=3、最大token长度=512、负采样训练1:1与评估1:20，未在提供材料中给出选择依据或消融结果，组件贡献难以分解。基线中LLM-based SR只有TALLREC与LLaVA w/o SFT，未见其他面向多模态序列推荐的MLLM微调基线，因此材料无法支持MLLM-MSR相对同类MLLM方法的比较优势判断。材料未明确提及对生成式用户偏好摘要的可解释性做人工评价或忠实性检验。
- 进一步研究方向
- 针对模态覆盖不足，可构造包含视频帧序列或音频转文本的物品多模态摘要数据集，沿用MLLM item-summarizer与recurrent user-summarizer流程，在AUC、HR@5、MRR@5上比较图像摘要、视频摘要与图文融合摘要的增益，验证视频或音频模态是否改善动态偏好捕捉。针对样本代表性，可在不剔除低频用户与物品的原始数据上划分冷启动、长尾与短序列子集，检验MLLM-MSR的AUC、HR@5、MRR@5是否稳定，并分析负采样比例1:1与1:20对排序指标的影响。针对组件贡献不明，可设计消融实验：移除item-summarizer、替换user-summarizer、改变块内物品数如3与其他取值、改变最大token长度、替换LLaVA或Llama3基座，观察AUC、HR@5、MRR@5变化，从而定位性能来源。针对可解释性主张，可对生成的用户偏好摘要做人工评分或与真实交互序列的一致性检验，考察其是否忠实反映用户动态偏好，并检验其是否被SFT推荐器实际利用。针对微调泛化性挑战，可设置跨域迁移与零样本评测：在一个数据集上SFT后直接在另两个数据集上测试，或比较LoRA微调前后模型在非推荐任务上的表现，以验证是否出现灾难性遗忘或过拟合。针对同类MLLM基线缺失，可将其他公开MLLM推荐微调策略在相同数据、相同负采样与评价指标下复现，与MLLM-MSR进行控制变量比较。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Recommender Systems and Techniques