智能数字化门店的探索与思考

据国家统计局2020年1月公布的数据显示，2019年，社会消费品零售总额为411649亿元，全国网上零售额106324亿元，比上年增长16.5%；实物商品网上零售额85239亿元，比上年增长19.5%。这表明，网上“买买买”已然给传统零售业带来了巨大冲击，传统零售业向新零售转型势在必行。

互联网时代，碎片化的消费行为令传统的零售方式难以为继。然而，传统零售向新零售的转型并不是简单地开个网店，网上销售这么容易。新零售是要以互联网为依托，运用大数据、人工智能等先进技术，重新定义人、货、场，实现商品快速流通与销售模式的升级改造，达到线下体验、线上消费与现代物流的深度融合。其中，人工智能则是连接在线电商与实体门店，打通线上线下场景的桥梁。

1 “端-边-云”相结合的智慧零售

作为联想人工智能创新的发动机，联想研究院人工智能实验室依托联想大脑（联想全自研人工智能开放创新平台）在人工智能、智能数据等领域的技术积累，深入调研分析传统零售业数字化转型的痛点和难点，联合联想中国消费业务团队、BT/IT智能零售产品团队、市场产品团队和电商产品团队共同构建了一整套智慧零售解决方案。

方案运用计算机视觉、语音技术、自然语言理解、智能数据等多领域人工智能算法，采用“端-边-云”相结合的方式，针对应用场景进行定制化的端到端系统优化，提供多平台、高精度、高效率系统服务。核心技术包括头肩检测和跟踪、人脸检测、人脸识别、人脸属性（性别、年龄）识别，关键技术指标达到了业界领先水平。

智慧零售解决方案架构图

目前，我们将智慧零售解决方案应用于联想中国区门店数字化&智能化转型项目中，助力联想集团再次跻身2019 CIO 100企业名单前五。该奖项由全球科技媒体营销和数据服务公司（IDG）旗下的CIO杂志评选，旨在世界范围内表彰100个通过技术创新，创造商业价值增长的IT企业。

2 精准捕捉消费者的“小心思”

对于消费者和店铺运营者来说，他们最期待在智慧店铺中得到什么？他们的痛点在哪里？我们能在多大程度上解决这些痛点？只有想明白这些问题，才能在沸腾的新零售业中，找到理想与现实的平衡。

我们认为，对于消费者而言，最关心的无疑是价格、质量、创新体验和贴心的服务。依托多种先进人工智能算法，我们可以捕捉消费者的特征及行为数据，精准洞察消费者的每一个“小心思”。

我们针对不同的场景，实现了一系列算法的优化和改善。

用于客流分析的头肩检测和跟踪算法：

当前算法存在的问题：

• 对于智能零售业务，客户的店内轨迹跟踪是实现对客户理解的重要技术。然而目前基于传统人脸/头部的跟踪算法不够鲁棒，整个人体的跟踪容易因为遮挡而导致跟踪ID频繁跳变；
• 在业界，检测和跟踪往往作为独立的任务顺序执行。这样往往导致计算代价过高、处理速度过慢，不适合在低成本的边缘设备上部署。

我们应用多种人工智能技术，对以上问题进行了改善：

• 利用头肩模块对客户进行跟踪，采取半监督方案，从零开始生成高效头肩数据；
• 创造性地融合检测和跟踪功能至一体化模型，在一个深度网络同时进行检测和特征提取，利用提取到的高维特征直接实现跟踪。构建消费者热力、动线图，从时间和空间两个维度分析消费者消费行为轨迹；
• 通过模型裁剪和蒸馏技术，大幅降低模型的计算复杂度以及内存占用。

头肩检测跟踪融合模型

人脸检测算法：

人脸检测在零售场景中存在以下问题和难点，使得当前算法检测精度不高：

• 人脸姿态变化大：人在侧脸，低头，仰头时，人脸可能呈现出多种大角度姿态
• 遮挡：人脸可能被其他人、展台、口罩或者帽子等遮挡物遮挡
• 人脸尺度变化大：需要检测多种尺度下的人脸，特别是一些微小的人脸

我们针对以上问题进行了如下优化：

• 数据方面，通过对公开数据集和我们自己收集的数据集进行统计分析，针对大角度人脸、微小人脸做定向数据增强，以解决数据不平衡问题，使算法具备在不同角度、尺度等维度都能均衡表现的数据基础；
• 算法方面，采用了高精度的基础网络，优化损失函数，并进行在线困难样本挖掘，以及多尺度训练等策略。

人脸识别算法：

当前算法存在的问题：

在零售业务场景下，因顾客的性别、年龄、表情和姿态的不同，客流人脸具有多样性以及低质量的特征，精准识别具有极大的挑战性。

我们针对以上问题进行了如下优化：

• 基于业界前沿人脸技术，融入创新算法，包括注意力机制、生成对抗网络、优化损失函数和多级特征向量融合等，实现了针对零售场景的大幅优化；
• 从用户性别、年龄、产品偏好（热力、动线的数据反馈）等多维度构建消费者用户画像。

热力与动线技术：

目前业界热力动线解决方案存在的问题：

• 摄像头架设较随意，摄像头覆盖区域及遗漏区域无法可视化；
• 以核心区域热力动线为主，热力动线数据粒度较大；
• 跨摄像头行人跟踪链断裂较多，合并难度大；
• 单目摄像头测距受外界影响因素多，坐标定位误差较大。

我们针对以上问题，采用多摄像机定位+人脸特征值+跟踪链合并技术进行优化：

• 设计并实现了基于平面图的摄像头部署安装工具，摄像头覆盖区域100%可视化，为无死角监控提供了重要保障；
• 通过无死角的摄像头覆盖，实现热力动线数据全方位采集；
• 通过多摄像头交集图像定高算法，实现行人精准测高，一定程度上避免了单目摄像头坐标定位误差大的问题；
• 结合头肩检测特征值跟踪链算法，与平面坐标映射合并算法，并辅助人脸特征值进行动线校正，攻克了智慧零售领域行人跟踪难的问题；
• 创造性地利用云边端结合的智能设备和算法，将线下零售店的“人”与“货”在时间、空间、体验、评价和销售的五个维度上进行统一，形成一套“人”、“货”、“场”相结合的新零售整体解决方案。

智慧零售门店热力图

人脸属性识别：

年龄和性别是消费者用户画像的重要要素，我们的人脸属性识别也是从这两个维度进行识别。

当前算法存在的问题：

• 在不同族群中，算法精度差异大，对于老人和小孩等困难族群属性识别精度不高；
• 在零售场景中，客流人脸呈现大角度、低分辨率等低质量特性。

通过融合多种先进算法，我们对以上问题做出了优化：

• 我们通过分析人脸属性特点，优化数据处理流程，在模型结构和损失函数方面加入针对性创新；
• 引入多任务学习机制，将零售场景的性别、年龄识别准确性提升到业界领先水平。

人脸识别进店提醒：

通过端边云协同，可将用户进店的信息实时推送到店员。基于用户画像，利用智慧数据算法，为消费者快速匹配“最合适”的产品。

3 智慧零售解决方案赋能店铺管理者

我们洞察到，正确的客流判断、精准的产品营销和高效的运营管理，无疑是店铺管理者们非常关心的问题。

智慧零售解决方案依托摄像头360度精准部署，和联想大脑人工智能推荐算法等技术，将这一切变为可能。

门店选址：

门店的选址对于智慧零售店的成功与否至关重要，我们通过融合多维度大数据的智慧数据选址算法，边端智能摄像头采集的门店路过客流，和建店团队的专家经验，来分析构建选址商圈的人群画像，有效提升店铺选址成功率。

千人千面，千店千面：

我们基于线下体验和线上消费的海量数据，精准绘制产品画像和用户画像，从而实现千人千面的用户定制化消费推荐，千店千面的店面展陈规划和用户动线规划等功能。

• 基于用户画像的进店引导性销售推荐（店员去重、VIP客户标识等）；
• 结合销售数据，分析客流在某种商品、品牌、品类产品的热力图，可以深入挖掘出产品畅销、滞销的原因，从而对商家在商品选择、组合上进行调整，提升整体销售转化率；
• 依托用户动线图，通过时间和空间相结合的模式，来分析进店顾客的主要行走路线，从而有计划地调整商品陈列、货架陈列，甚至可以通过调整装修来改变用户的行动路线，增强商品曝光率，提升消费者的产品体验、消费频次及消费额。

摄像头部署推荐工具

除了提高店铺管理效率，联想智慧零售解决方案还大大地提升了店面管理带来的价值，通过Migos云边端管理系统，可以实现全国门店状况实时监控；远程巡店也极大地节省了人力物力成本；还可以通过横纵向多维度数据对比，定位销售症结，提升销售业绩。

联想智生活武汉体验店

4 全方位保障消费者数据隐私

对于消费者的数据隐私保护，我们从多方面进行了考虑和总体设计，包括利用数据脱敏、加密、定期删除等多种手段来解决用户隐私问题。在存储上，我们脱敏了人的身份信息，通过特征值来进行记录。对于必要的图片文件，我们采用了一件一密的高强度加密方式。同时，我们还采用组合运算方式来保护用户隐私，在本地边端处理隐私数据，在云端处理非隐私数据。

总体来看，联想智慧零售解决方案可以为运营者和消费者带来全新的店面管理方式，和智能零售体验。未来，我们还会进一步升级方案，比如在摄像头360度无死角精准部署的同时，将误差范围控制在20cm以内；在云边端平滑移动切换边缘服务器集群管理与人工智能算力；在联想大脑的多人工智能模型组合情况下，实时计算海量结构化数据与非结构化数据等。