WSDM2024: 论大模型(LLM)在多模态推荐系统上的新范式文章: Large Language Models with Graph A
ugmentation for Recommendation代码: github LLMRec一.问题与解决方案引入side in
formation能够帮助缓解推荐系统的数据稀疏性问题，目前主流的推荐系统(比如：亚马逊，网飞)都引入模态side informa
tion来提升推荐的结果。但是，side information的使用不可避免地会引入一些问题，比如：噪声，低质量。受启发于LLM
的知识储备和自然语言理解能力，用LLM增强side information为上述问题提供了解决方案。具体地，我们使用LLM增强：i
) u-i交互和 ii)文本模态的信息（包括user画像和item属性）。此外，为了保证增强的数据的可靠性，我们分别针对上述i)和
ii)设计了u-i交互剪枝和item feature的MAE。二.多模态推荐数据集(适用模型代码框架LLMRec, LATTICE
, MMSSL, MICRO)该工作制作并公开了Netflix和MovieLens两个多模态数据集。1. Netflix数据集Ne
tflix是使用Kaggle网站上发布的原始Netflix Prize数据集制作的多模态数据集。数据格式与多模态推荐的最新方法（如
MMSSL、LATTICE、MICRO等）完全兼容。对于文本模态，基础的信息包括‘title’，‘year’；视觉模态的图片则是根
据电影的信息从网络爬取的海报。(1) 文本模态以下三幅图片代表了（1）Kaggle网站上描述的有关Netflix的信息，（2）来自
原始Netflix Prize数据的文本信息，以及（3）由LLM增强的文本信息。 视觉模态视觉信息通过网络爬虫得到。以下图片展示了
通过使用Netflix Prize Data中的项目信息进行网络爬虫获取的海报。 2.MovieLens数据集MovieLens数
据集是由明尼苏达大学的GroupLens发布的。我们收集了 ''title''、''year'' 和 ''genre'' 作为基本的与项目相关
的文本信息，而视觉内容是通过MovieLens上的每个项目的URL获取的。该工作同样提供了一个经过预处理的MovieLens数据集
，可直接供LLMRec、MMSSL、LATTICE和MICRO等baseline使用，无需额外的数据预处理，包括（1）原始图像和文
本，（2）基本用户-项目交互和多模态信息，（3）以及LLM增强的内容。 三. 原始的数据集和增强的数据集增强的数据包括增强的u
-i交互边和u/i节点的attributes和feature。针对user增强的信息有“age, gender, liked ge
nre, disliked genre, liked directors, country, and language”; 针对i
tem增强的信息有“director, country, language”。然后，文本形式的信息会被编码成feature供rec
ommender encoder使用。 CLIP-ViT和 Sentence-BERT分别是视觉和文本信息的编码器。 四.隐式反馈
增强 和 Feature增强.1.用LLM进行隐式反馈的增强用LLM进行隐式反馈的增强的过程是：LLMRec首先利用user u的
历史交互item及其side information和candidates集构建prompt。此处需注意，因为受 ‘max_tok
en_length’的限制，LLM不可能完成all-item rank, 所以LLM要选择的item从基础模型(LATTICE,M
MSSL)提供的candidate得到。然后，需要将prompt输入给LLM为该user u从candidates中选出一个正样本
和一个负样本作为BPR的一个样本对。最后，将用LLM从自然语言角度选出样本集与原始的BPR训练数据合并，以得到最终的增强的BPR训
练数据。这种基于LLM的数据增强有以下优点：i）它充分利用了数据集中的side information, 避免只用ID-based
交互造成的已有信息的浪费。ii)它基于语义文本信息进行user-item交互的预测，能够直观地建模用户的交互偏好。iii)未交互的
item不一定是user不喜欢的但常常被当做负样本，已交互的item也有可能是误选。基于LLM的隐式反馈增强是基于真实知识和记录进
行样本选取，可以一定程度地修正这些错误。2.用LLM进行Side Information的增强用LLM进行side informa
tion的增强的过程是：首先，利用数据集中的文本信息和交互记录构建prompt。然后，将prompt输入LLM得到生成的item
attribute/user profile。接着，将数据增强得到的item attribute/user profile用有em
bedding能力的LLM进行编码。最后，将编码得到的增强了的feature用作推荐系统的user和item的feature。五.
数据增强的去噪为了确保要使用的增强了的数据的可靠性和有效性并避免噪声的影响，该工作包含分别针对隐式反馈和feature的去燥。1.
隐式反馈的剪枝将BPR loss数值进行升序排序只取一定比例较大数值以得到可靠行较高的loss，即，剪枝掉了可靠性较低的隐式反馈
。2. Feature的MAE对增强了的feature进行MAE能让encoder对feature不那么敏感以增强模型对featu
re中噪声的鲁棒性。这个过程包含两步，i)mask掉一定数量的feature, 用mask token替代。ii)用回归loss约
束还原被mask掉的feature。六.实验结果1.主实验LLMRec对比的baseline主要general CF和多模态推荐的
方法。更细致地可以划分为general CF, 有side information的推荐系统，有数据增强的推荐系统，自监督推荐系统
。我们的LLMRec通过显式增强用户-物品交互边缘和提升辅助信息的质量，优于基准模型。值得一提的是，我们的模型基于LATTICE的
编码器，包括ID对应编码器和特征编码器。这一改进凸显了我们框架的有效性。2.消融实验消融实验主要针对数据增强和去燥两个部分。w/o
-u-i在消去LLM增强的隐式反馈的情况下，结果显著下降。这表明LLMRec通过包含上下文知识增加了潜在的监督信号，从而更好地把握用户的偏好。w/o-u移除我们的用户建模增强器会导致性能下降，这表明我们基于LLM的用户辅助信息能够有效地通过历史交互和物品端知识总结有用的用户偏好概况。w/o-u：去除噪声剪枝会导致性能下降。这表明去除嘈杂的隐式反馈信号的过程有帮助。 |
|
