作者:周杰 前言原理DSSM模型最初来源于微软(Microsoft) 在搜索业务的应用,其实际的原理很简单,即将用户搜索词 (query) 与文档(document) 先进行多层全连接(MLP),然后将他们转化为同一尺度的embedding,从而映射到同一语义空间,然后再根据距离公式 (这里使用的是余弦相似度) 计算搜索词与文档的相关性,从而得出用户搜索的展示结果。那么为什么DSSM模型能很好地在搜索业务应用呢,这是因为,大量用户在使用搜索引擎时,其输入关键字以及结果页点击行为,会自动地为我们的模型训练导出一份优秀的样本数据,即搜索词与结果的匹配以便模型的训练。 而在原文中训练集的构建也十分简单,例如一个搜索词下对应15个关联文档,那么可以根据用户日志,聚合这15个文档的点击统计,然后使用softmax,去计算后验概率: DSSM模型在小米收音机业务的应用为什么DSSM在个性化业务有效?DSSM在小米收音机个性化业务中的改造模型架构改造样本构造策略修改召回模型≠CTR模型后期优化改造 DSSM召回的线上部署(DSSM on Word2Vec)总结[1] P. Sen Huang, X. He, J. Gao, L. Deng, A. Acero, and L. Heck, “Learning deep structured semantic models for web search using clickthrough data,” Int. Conf. Inf. Knowl. Manag. Proc., pp. 2333–2338, 2013, doi: 10.1145/2505515.2505665. [2]“负样本为王:评Facebook的向量化召回算法,” pp. 1–9, 2020. 扫码观看! 本周上新! 征稿啦! 想让你的工作获得更多关注? 想与更多大佬进行学术交流? |
|