国美深度学习初体验，开启社交电商的智能时代！

人工智能、机器学习与深度学习的关系

从冯诺依曼体系结构的提出开始，人类使用计算机就有了智能化的诉求。也就是使用计算机或机器人能够帮助人类做繁杂或者做不到的事情，从根本上来说，就是提升整个社会的生产效率。

相对于机器学习和深度学习，人工智能的概念更为宽泛。在机器学习方法兴起之前，大部分的人工智能应用都是基于逻辑推理实现，即设定N多规则，在不同场景，让机器或者程序做选择。

作为人工智能的一个分支，机器学习利用统计或者几何表达的形式处理问题，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识和技能。直到上世纪90年代，伴随着互联网行业的兴起，机器学习掀起了人工智能领域一个新的热潮。

深度学习属于神经网络模型的范畴，本身并不是一个新的概念，早在上世纪四、五十年代，就有了最简单的神经网络——感知机模型。

2006 年，Geoffrey Hinton 提出了 LayerwisePre-Training 方法训练多层 RBM 网络(即 DBN)，神经网络在大数据规模上的效果取得了长足的进展。

深度学习本身就是对训练数据进行分层表达，将低层级特征逐步抽象成高层级特征的过程，同时拟合出非常复杂的高维非线性函数，这是大多数机器学习模型难以望其项背的。

机器学习在国美的应用实践

目前机器学习在国美的应用，常规阶段已经趋近成熟，如基础数据收集、数据处理、特征工程、模型部署等方面，目前的主要工作是算法和业务逻辑的快速迭代。

接下来我们会在深度学习、计算机视觉、自然语言处理、语音识别等方面继续加大研发力度，除了搜索、推荐、广告等线上业务外，还会重点支持线下门店的新兴购物场景，实现国美社交电商的新零售平台落地。

我入职时，国美在机器学习方面还比较薄弱，之后团队建设、整套算法和架构部署等都由我亲自建设起来。相比之前的效果，GMV 提升幅度非常大。举例来说，在商品推荐过程中，利用机器学习排序和传统的排序方式相比，各方面都有很大改变。

初期针对 Web 首页、手机 APP 首页等一些推荐位置，系统基于冷启数据，做一些归类、统计等，展示到页面上，这时每个用户访问的时候，看到的效果毫无差别。

这样就会使得用户对推荐产品不感兴趣，毫无粘性可言，同时将其他商品宝贵的曝光机会浪费掉了。那么如何做到推荐个性化?这里就涉及到利用机器学习进行推荐的个性化排序。

如下图，是机器学习排序工作流：

先要对海量的数据进行训练，基于用户、查询、商家数据找特征，之后做模型训练，经过线上部署之后，正式上线。

如下图，是推荐排序的训练流程：

推荐排序训练流程分别为场景恢复、训练样本构建、模型训练和线上实验这四部分。

推荐离线模型的构建流程：

• 收集用户行为，包括点击、加购、关注、下单等。
• 对行为进行过滤，比如：join(白名单)、统计截断、position-bias、多次加/删购等处理。
• 制定行为评分规则，生成评分矩阵。
• 训练矩阵分解模型。
• 导入缓存，请输入文案。

如下图，是推荐离线模型的评分规则：

这里值得提醒的是在打分之前，必须要对数据进行清洗，去除“点击狂人”、“用户误点”、“买后查单”等情况。其中，对非常活跃的用户要对他的行为进行降采样。

深度学习在国美的应用实践

传统计算机视觉工作流是由计算机视觉专家进行特征的设计，如 SIFT，KAZE，HoG，SURF 等。之后是训练分类器，进行多目标识别。

如下图，是传统计算机视觉工作流程：

传统计算机视觉领域不仅需要领域知识，还需要耗费巨量时间，深度学习的发展给这个领域带来了新的变革。

深度学习工作流是根据训练数据自动构建特征，将特征抽取和分类/检测任务同时进行。深度学习专家需要做的事情就是定义神经网络架构，并进行训练。

如下图，是深度学习工作流：

深度学习会自动训练出好的特征，并且很多方法可以在各个领域中通用。在国美的做法是深度学习+CV 工作流，也就是将计算机视觉特征和深度学习特征相结合。

同时，抽取计算机视觉特征和 DNN 特征，之后进行多目标的识别。如下图：

深度学习与视觉特征

利用机器学习对图像视觉特征进行提取的过程，可以分为四步，分别是图像标注、提取特征、降维和匹配检索：

图像标注。对国美全站的商品图像进行标注，这个过程中最主要的工作是数据清洗，即把不能和品类对应的图片删除或者重新进行品类校准。

先统计国美全站最近一年内各品类下商品总数的分布，然后按照分布进行图片抽样。

提取特征。图片的特征分为通过深度学习得到的特征和图像局部的特征。可利用 caffe 训练 CNN。

将倒数第二层输出作为 Feature Learning 的结果提取出来(Deep Learning + Transfer Learning)，可利用局部特征算子(SIFT，kaze等)提取出图像的局部特征。

降维。用积量化(ProductQuantization)的方法对深度学习得到的特征进行降维，用 Fisher Vector 对图像局部特征进行降维。

匹配检索。采用最近邻搜索的方法找出每一个商品的相似商品集合。

深度学习构建 GomePlus 新场景：“拍照购”

基于深度学习构建的“拍照购”场景在国美已经上线，它可以实现根据用户上传的图片预测品类，推荐相关商品。具体步骤如下图：

当用户拍照或者从 PC 和手机选取商品图片上传成功以后，系统就会进行特征向量的计算及匹配。之后猜测用户想要的商品，根据商品图片库的相关结果进行展示。

深度学习构建 GomePlus 新场景：搭配购推荐

基于深度学习的检索技术可以得到一套通用的商品特征学习框架。

在此基础上，针对不同种类商品，尤其是服装类商品，可以进行搭配推荐。同时有待进一步研究分布式检索引擎、特征压缩、CNN 模型移动端部署等。

深度学习构建 GomePlus 新场景：相似推荐

进行拍照购的同时，我们还在个性化推荐场景下尝试了基于图片的相似推荐，因为目前主流的推荐召回方法都是在大规模用户协同行为数据上进行建模，会造成召回结果比较集中的问题。

从用户的角度，相似推荐的场景诉求还是想找到和主商品“相貌相同或者相似”的商品。因此利用图像找相似更符合用户的需求，同时还提高了推荐结果的多样性和新颖性。

写在最后

利用机器学习和深度学习构建推荐场景时，最大的难点是数据源头，即数据收集问题。现在，大多数企业做算法，基本是如何做特征、如何训练模型。

正确的做法应该是从数据收集、前端进行埋点，数据科学部门就应该参与，而不是被动的等待数据进来，基于提供的数据做事情，这是非常关键的点。

未来国美在前沿技术方面的布局着重在计算机视觉和语言识别两大方向，如线下店铺的人脸识别、商品识别、深度学习的云平台、智能辅助购物等。同时，国美还将在图片描述生成、图像 2D 转 3D、以及深度学习个性化排序等方面进行尝试。