|
大家好我叫刘凯鹏，花名治平，是阿里妈妈的算法专家和技术总监，今天我来和大家聊一聊搜索营销算法模型的演进。 在阿里，人人都会有一个花名，我的花名很简单，取自“修身齐家治国平天下”中的治平两字，借此表达一下对古代诗人家国情怀的憧憬之情。 我与阿里的缘分也一样的简单，从哈工大博士毕业以后就进入了阿里，一路也算顺风顺水，只不过区别在于，我毕业的时候工业界还是以传统机器学习方法为主，而到了现在，短短六七年间人工智能已经遍地开花，这给业界造就了巨大的机会，也衍生出了大量的挑战，因此我才来此讨论这样的一个话题。 在入职阿里之前，我在很多国内外的互联网公司实习过，在经过了多个角度的审视感觉，淘宝这一领域将来肯定会有所发展，我入职阿里后的 7年里就见证其从一个简简单单的购物网站，发展成今天的巨大规模。 在阿里工作的技术人普遍更关心两个方面，一是在今天的环境下，所面临的数据业务到底是怎样的，阿里有着丰富完整闭环的大数据体系，能够随时看清行业会面临着哪些挑战，这是我工作中最兴奋的一点；电商是一个以数字化为基础的商业设施，技术是其不断发展的核心驱动力，这给技术人提供了一个广阔的舞台。 举例来讲，我初入阿里时是从事模型类的工作，会接触到大量的数据特征，从特征量级和样本量级等方面都无法达到世界顶尖，但在师兄的引导下，我所在的团队不断思考应该如何达成世界顶级的技术，数据规模、训练平台、数据处理方案不断的讨论，结果发现好像事情也没有想象中的困难，经过了几个月的讨论和着手模型制作之后甚至发现我们的一些技术甚至已经达到世界顶尖。 我觉得这并非因为我们是天才，而是因为我们获得了这样一个舞台，梦想、舞台和这些条件激发了我们的潜力，阿里这种世界级的舞台就为那些聪明皮实乐观自省、有技术基础、技术热情和技术成果的人敞开大门。 我的团队主要负责阿里的搜索营销业务。传统购物需要人找货，当用户在平台搜索想买的商品时，搜索引擎会找用户感兴趣的产品进行展现，这些商品就获得了展现流量。商家获取流量只能通过被动的分配。搜索营销业务就是希望给商家提供一些主动获取流量的手段，加快其触达到用户的速度和发展速度。提高购物效率，帮助商家完成货找人的过程。 搜索营销并非一开始就能达到这一目的的，其发展分为了三个阶段。第一个阶段是传统的基于竞价词营销阶段。商家购买关键词，系统通过关键词来完成用户匹配，通过排序模式运作，在这个时代里最核心的工作是对于关健词的理解，把用户的意图去改写成相关的关键词进行匹配，进行点击率的预估，然后去把最终的排序做到面向平台收益最大化。这种模式的问题很明显，在相对较小的样本规模和特征下才能完成。 第二阶段是伴随着移动时代所造成的个性化服务时代。这个时代面临的两大难题一在于如何让匹配和排序有个性化表现；二则是如何帮助商家更好的定位消费者。这就需要深入的理解用户意图，个性化的分配流量；同时，还要帮助商家解决好流量的控制问题，帮助他们更好的表达营销意图。在受众选择、出价、预算、创意制作等各方面适应个性化变化？。 第三个阶段以人工智能技术为代表的智能营销时代。这个时代深度学习驱动新工具和技术理解非结构化数据，以用户整个的行为序列完成基于记忆的深度学习，推动购物体验的完善；在商家层面，对用户意图更好的理解，对长中短用户兴趣的刻画都会更精准，营销更高效。 但这个时代依然有很多挑战，比如如何利用深度学习的技术对用户认知过程进行更好的建模和学习、如何更精准的了解商家诉求、如何进行宏观调控、如何优化市场机制等问题依然存在，在这种情况下，技术与业务将会结合的更为紧密。 我们现在面临的很多业务问题都需要最顶尖的技术手段来解决，所以同工业界和学术界保持良好的互动关系就很有必要。希望能形成一个学习、应用到创新循环。 第一，从业务问题出发，去研究界找到最佳匹配研究领域，把研究成果应用到业务问题里，这就是一个借鉴过程。第二就是应用的过程，把它具体应用到我们业务里，然后产生自己的想法，能够去让整个业务发展的更好；第三，从本身的业务问题出发，找到所借鉴技术可提升的点，基于丰富的数据和技术平台得到更加具有创造性成果，进而反馈到学术界，这样就形成了一个循环。在这种方式下，对团队个人的技术能力成长会有很强的驱动力，对团队的业务目标贡献也会形成正向循环。 那么应当如何理解阿里妈妈的技术水平在世界上的地位呢？我认为技术应该是能够完整、系统化解决业务问题的。阿里妈妈的技术是依托于阿里的闭环数据和业务挑战而产生的，这是世界上独一无二的业务场景，因而我们构建了一个完整的技术栈，从最底层的数据处理到中间的实时系统、训练平台、模型应用再到一系列的平台分析等，从而形成一个完整的技术图谱。在搜索营销的场景中，建立了高水准的技术体系，回馈到业务诉求中。 如果来看未来技术的发展趋势，我觉得可以从搜索的趋势来入手就会明晰。最初的 PC时代，搜索承载着互联网的绝大部分流量，而移动时代到来后，场景碎片化、数据个性化使得获取信息的方式趋向于推荐等被动获取。但随着技术的发展，被动获取信息并不是最高效的一种手段，因此在未来随着人工智能的发展，甚至是语音交互、人机交互等方式的普及，主动获取信息将又成为主流。届时，搜索可能会再次成为主流，这时可以结合物联网等新的技术让用户更主动更好的获取所需信息， 搜索营销也会有相应的变化。 技术的发展越来越快，想走在时代的前沿就需要不断的学习。我个人学习的方式比较简单，一种是知识驱动，一种是问题驱动。所谓知识驱动就是在当前最流行的领域，紧跟时代的发展学习各类知识、算法和编程语言等。但我个人更看好的是问题驱动，这需要去看当前面临的核心问题是什么，解决这个问题需要怎样的知识网络。从问题出发不仅可以帮助建立健全的知识体系，弥补不足，还可以进而激发自身潜力结合到实践当中。 对于技术人来讲，我希望大家能够做到听的清楚，想的深刻，说的明白，干的认真。也就是说能够在任何场景下听清楚别人说的话，然后进行思考，想通问题所在，接下来去训练自己，去让别人也能够听清楚，过程中可以通过别人的反馈完成对自己能力的提升，最后投入到实干之中，以认真的态度完成业务，不断进步。 以我目前的团队来看，目前分为了算法策略团队和工程架构团队。算法策略团队主要负责深度学习、强化学习、自然语言处理、图形处理等技术领域，然后将这些技术应用到业务场景中，一方面帮助用户找到合适的商品，另一方面帮助商家提升营销效果和效率。而工程架构团队则主要负责解决高并发条件下如何提升系统服务性能，保障系统服务的稳定性。这就包含了机器学习的内容，如从简单的线性模型的机器学习升级到深度模型的机器学习，增强计算力应对更大挑战。 在团队的人才培养方面，首先会建立团队的愿景和使命，需要让所有人都明确我们的愿景使命是什么，然后再制订出团队的文化。我们鼓励个人自我超越，让个人找到自我超越的方向，然后给予动力，帮他们找到自己成长的主要舞台。另一方面整个团队希望能够共同成长。团队中有各种各样的分享机制，内部分享的内容可以接受团队成员的意见，建立团队内部的共同学习共同成长的机制，形成这样的循环。在团队的共同愿景下，达到共同成长这样一个循环，让团队成员能够找到成长的路径。而且，目前团队的成员基本上都是来自国内外顶尖的学校和公司，有超过百分之三四十的同学都是博士毕业的，这种情形可以帮助团队快速的成长。 在公司层面来看，阿里对人才有一个通用的描述：聪明、皮实、乐观、自省。而我们团队对人才的观念是，第一要有创新力。目前团队面临巨大的数据挑战，日新月异的业务变化场景下，团队希望所有人有对技术和业务高度的敏感性，这种情况下创新力尤为重要；第二能够有信念力。相信技术的力量，相信技术能够改变世界，也相信世界能够因为我们这样的人而变得不同。 近日，我们阿里妈妈联合国际人工智能联合会议（IJCAI-2018）以及阿里云天池平台举办了国际广告算法大赛。赛题是搜索营销场景下的转化率预估。转化率是衡量商家营销效果的一个重要指标。对转化率的准确预估是我们提高平台营销效率的重要一环。在这次大赛中，我们会提供平台积累的海量真实交易数据，希望和学界、业界一起来探索这里面的技术问题。 我发起这次大赛的初衷有三个。第一，我希望通过这样的一个算法大赛去让更多的业界和学界能够了解我们的业务形态和我们在这里面真正关心的一些核心的技术问题。第二。从工业界和学界关系来讲，学界没有数据，他们很少能拿到数据，我们把这些数据脱敏，让大家可以利用这些数据来进行研究。从中看到挑战在哪，技术的关注点在哪，这里面重点难点是什么样的，这样能够吸引大家对技术关注。同时也希望通过这个去对外输出阿里妈妈的一些技术成果，扩大和大家的交流合作，把技术做的更好。第三，我们希望能够鼓励创新，也能发现人才，这次的赛题与我们工作中的很多题目类似，我们希望能够发现一些队伍和选手有更多新的想法，也希望能够找到优秀的人才。 |
|
|
