WSDM 2024: 通过提示大语言模型实现个性化推荐如何有效用LLMs助力推荐系统？数据增强Paper: LLMRec: Large La
nguage Models with Graph Augmentation for RecommendationCode: htt
ps://github.com/HKUDS/LLMRec一． 简要介绍1. Motivation & Issue & Contri
bution现代推荐系统（比如：X, Netflix, 微博，朋友圈）很大程度依赖于平台的内容。即，比起只使用user-item的
交互的general CF，一个有效的推荐系统还依赖于文本的，图片的，甚至是音频的内容。这些辅助的内容能够缓解稀疏交互导致的use
r-item关系建模不足的问题。但是，side-information的引入不可避免地还带来了其他问题，比如：噪声，side in
formation可得性与完整性, 辅助信息的质量问题。这些问题的存在会损伤用户偏好的建模，恶化推荐的结果。LLMs惊人的自然语言
理解能力和知识为解决上述问题提供了可能性。因此，一个新的推荐框架LLMRec被提出以用LLMs有效地协助推荐系统。具体地，LLMR
ec提出用三种基于LLM的数据增强策略来强化使用side information的推荐系统，这三种数据增强策略是: i) 隐式反馈
的增强 ii) item-attribute的增强 iii) user-profile的增强。这三种数据增强的方式不仅充份地利用了
数据集的文本信息和LLMs的知识储备，还借助了LLMs的自然语言理解能力从现实语义(并非数字ID)的角度建模用户偏好。除此之外，L
LMRec为了保证被增强数据的可靠性，还设计了增强数据的去燥机制：针对i)的噪声边修剪和针对ii)iii)的MAE-based f
eature增强。2. 推荐系统的数据增强范式原始的拥有side information的推荐系统的输入包括: i) 由side
information编码而成 feature F ii) 隐式反馈：LLMRec的数据增强同时增强了F和隐式反馈：二． 存在的挑
战1. 挑战1---如何让LLM进行推荐？首先，LLMs没有在推荐任务和推荐相关的数据集上训练过；其次，LLMs的''max_tok
en_length''受限，这使得LLMs无法像正常的推荐系统一样进行all-item rank或者为包含许多items的数据集进行
推荐任务。为了解决这个问题，我们提出利用基础模型(比如:LightGCN)为每个user提供item candidates, 以解
决LLMs的输入受限问题。同时，我们通过让LLMs从item candidates中选出liked item何disliked i
tem来数据增强BPR训练数据，以让LLMs能够参与增强推荐系统。2. 挑战2---如何确保增强的数据的可靠性？从外部引入的知识不
可避免地存在着噪声，即，不能保证增强得到的数据是对最终任务有效的。为应对这个问题，我们专门针对上述提到的边的增强i)和节点feat
ure的增强ii)iii)进行去燥。 具体地，对于i)我们直接刨除了可能存在影响的部分，对于ii)iii)我们引入MAE使得模型不
敏感于feature, 并拥有较强的鲁棒性。 三． 方法框架与细节对于模型框架的具体设计，我们主要针对解决以下问题: 如何让LL
Ms预测u-i交互边？ 如何让LLMss生成有用的side information？ 如何让增强的数据整合进推荐系统的框架？
如何让模型更鲁棒于被增强的数据？1. LLM增强隐式反馈LLMRec通过直接增强潜在的交互的方式应对推荐系统数据稀疏性的问题。做
法是LLMRec将LLMs作为knowledge-aware采样器以增加pair-wise的BPR训练数据。这种方式充份利用了数据
集中的文本信息和LLMs的优势，从自然语言的角度建模用户偏好，而不是仅仅只依赖于ID-based的交互。具体地，LLMRec首先为
每个user构造prompt, 它是由每个user u的历史交互和candidates组成。这里，我们引入candidates，因
为LLMs不能对所有item rank。而使用MMSSL, MICRO替代地先提供有限的有效的candidates可以作为解决方案
。用LLM进行隐式反馈的数据增强可以分为以下步骤： 对每个user u生成用以增强u-i边的prompt。 将生成的promp
t输入LLM为每个user选出一个正样本和一个负样本作为伪BPR训练数据。 将生成的训练数据取一定数量与原始的训练数据进行合并。
将最终合并的推荐数据用推荐系统的训练。除此之外，用LLM从语义的角度增强u-i交互能够一定程度地缓解增强隐式反馈中“false
positive”和“false negative”的问题。具体来说，user历史交互过的item可能不是真的用户偏好，比如新闻
推荐系统中被文本标题或者图片误导进而进行的，而未交互过的item虽然会被作为负样本，但是其实不一定代表用户不喜欢。而用LLMs利用
真实已有的信息从自然语言的角度重新选出用户可能偏好或者不偏好的item能够一定程度地缓解上述问题。2. LLM增强Side Inf
ormation在以往的使用side information的推荐系统中，辅助信息往往是以item attributes的形式存在
的，他们可能存在着信息不全，低质量和难以获得等问题。并且，user profile往往因为隐私问题难以获得。LLMs拥有着丰富的k
nowledge base和令人印象深刻的reasoning capabilities, 因此十分适合用来增强side infor
mation。 对于item, side information可以直接通过item原有的side information直接进行
增强；对于user, side information则是可以通过与item的历史交互，通过总结交互过的item的特点进行增强，比
如总结出用户喜欢的内容，使用的语言，所在的国家和可能的年龄。对user和item的side information增强的过程可以总
结如下： 为每个user/item生成用以进行数据增强的prompt。 将生成的prompt输入LLM为每个user/item
生成额外辅助的side information。 将生成的side information输入有编码能力的LM(如：text-e
mbedding-ada-002， Sentence-BERT)进行embedding。 将生成的embedding送入推荐系统
encoder作为feature辅助user/item表征的学习。3. 模型训练与增强的数据的去燥得到了增强的数据，我们将它们使用
在模型的inference和训练中。但是，增强的数据并不一定都是有效的，噪声甚至可能损害推荐的结果。为此，LLMRec设计了noi
se pruning和MAE分别用于u-i交互和u/i feature的去燥。隐式反馈去燥的具体过程是将负号之前的loss val
ue进行生序排序，取前top-N。这样可以避免不可靠的梯度回传有较大影响，进而使优化更加稳定有效:Feature去燥的具体过程是先
用mask token掩码掉一定数量的feature, 然后使用回归loss重构这些被mask掉的feature。这里，mask
token可以是可学习的向量，也可以用mean pooling。四．原始的数据集与增强的数据集1. 原始数据集的文本属性 对于N
etflix数据集，原始的文本信息只包含item的‘year’, ‘title’ 对于MovieLens数据集，原始的文本信息只
包含‘title’，‘year’和‘genre’ 两个原始的数据集并不包含user的任何内容。2. 增强数据集的文本属性Netf
lix和MovieLens都使用了同样的数据增强策略。 对于user，生成的内容有''age'', ''gender'', ''liked
genre'', ''disliked genre'', ''liked directors'', ''country'', and ''lan
guage''. 对于item生成的attibute有，''director'', ''country'', ''language''.制作并
公开的多模态数据集该工作制作并公开了Netflix和MovieLens两个多模态数据集。 Netflix数据集: Netflix
是使用Kaggle网站上发布的原始Netflix Prize数据集制作的多模态数据集。数据格式与多模态推荐的最新方法（如MMSSL
、LATTICE、MICRO等）完全兼容。对于文本模态，基础的信息包括‘title’，‘year’；视觉模态的图片则是根据电影的信
息从网络爬取的海报。 MovieLens数据集: MovieLens数据集是由明尼苏达大学的GroupLens发布的。我们收集了
''title''、''year'' 和 ''genre'' 作为基本的与项目相关的文本信息，而视觉内容是通过MovieLens上的每个项目
的URL获取的。该工作同样提供了一个经过预处理的MovieLens数据集，可直接供LLMRec、MMSSL、LATTICE和MIC
RO等baseline使用，无需额外的数据预处理，包括（1）原始图像和文本，（2）基本用户-项目交互和多模态信息，（3）以及LLM
增强的内容。1.文本模态以下三幅图片代表了（1）Kaggle网站上描述的有关Netflix的信息，（2）来自原始Netflix P
rize数据的文本信息，以及（3）由LLM增强的文本信息。 2. 视觉模态视觉信息通过网络爬虫得到。以下图片展示了通过使用Netf
lix Prize Data中的项目信息进行网络爬虫获取的海报。 2.多模态数据的EncoderCLIP
-ViT和 Sentence-BERT分别是视觉和文本信息的编码器。 增强的数据1. 增强的隐式反馈对于每个被增强的user, 0
代表正样本，1代表负样本。2. 增强的user profile对于每个被增强的user, 字典里存储了增强的''age'', ''gen
der'', ''liked genre'', ''disliked genre'', ''liked directors'', ''countr
y'', and ''language''。3. 增强的item attribute对于每个被增强的item, 字典里存储了增强的''di
rector'', ''country'', ''language''。 七. 实验结果1. 主实验结果LLMRec对比的baseline主
要general CF和多模态推荐的方法。更细致地可以划分为general CF, 有side information的推荐系统，
有数据增强的推荐系统，自监督推荐系统。我们的LLMRec通过显式增强用户-物品交互边缘和提升辅助信息的质量，优于基准模型。值得一提
的是，我们的模型基于LATTICE的编码器，包括ID对应编码器和特征编码器。这一改进凸显了我们框架的有效性。2. 消融实验：数据增强&数据去燥消融实验主要针对数据增强和去燥两个部分。w/o-u-i在消去LLM增强的隐式反馈的情况下，结果显著下降。这表明LLMRec通过包含上下文知识增加了潜在的监督信号，从而更好地把握用户的偏好。w/o-u移除我们的用户建模增强器会导致性能下降，这表明我们基于LLM的用户辅助信息能够有效地通过历史交互和物品端知识总结有用的用户偏好概况。w/o-u：去除噪声剪枝会导致性能下降。这表明去除嘈杂的隐式反馈信号的过程有帮助。3. 参数实验：Text Generation&Recommendation4. Model-agnostic 实验 |
