2019杭州云栖大会大师零距离大咖有约，由达摩院高级算法专家渊捷带来以“看图时代：图像搜索与识别技术的迭代”为题的演讲。本文以拍立淘为例对大规模图像搜索和识别技术以及在图像搜索中的应用进行了详细的描述，另外，还对图像的实拍图匹配和海量数据这两大挑战的解决方案进行了阐述。

以下为精彩视频内容整理：

一、阿里巴巴数字生态系统

在阿里巴巴的整个生态系统中，包括电商、数字娱乐、物流、本地服务中，无时无刻都在产生着大量的数据。借助阿里云这个大规模平台，以及这个平台上先进的AI相关技术，可以对这些大数据进行一个实时的处理，从而可以不断的提升商品的价值和用户的使用形态，以及能够不断的创造用户的价值。

接下来以电商领域中的拍立淘AI产品为例，对看图时代的图像搜索与识别技术的迭代进行分享和介绍。

二、拍立淘

为什么需要图像搜索呢？由于传统的搜索都是基于文字进行搜索的，而在电商领域有许多非标准的商品，例如衣服、鞋子、包、挂饰很难通过文字精准的描述出来是什么。比如想要搜索图中的包，用文字搜索就是输入“红色的真皮手提包”，可以看到搜出来的东西和自己想要的并不一样，总会有很多的差别。但是用以图搜图的形式进行搜索的话，就可以精准的描述商品，同样可以精准的搜索出自己想要的商品。

以下是以图搜图的几种比较典型的场景：

场景一：第一个场景是街拍场景，比如说在街上看到别人穿的衣服，想要买同款，就可以拍下来进行搜索购物了。

场景二：第二个场景是网络爆款场景，比如说看到微信朋友圈、微博有很多人分享这个商品，如果想要买同样的商品，就可以通过拍立淘进行搜索和比价。

场景三：第三个场景是海淘场景，当我们在海外时，可能碰到好多不认识的牌子，这样就可以通过拍立淘进行拍照搜索获取信息。

拍立淘是从2014年开始上线的，到现在已经有五年的历程了。最开始拍立淘要解决的是识别图像难的问题。随着用户的需求和时间的推进，拍立淘团队为了能够不断的迭代线上的效果，开始不断的扩大数据规模，以及扩大引擎容量。同时，团队也不断地对用户反馈数据和可点击数据进行挖掘，用以提高整个系统的响应速度。

接下来讲一下为什么需要对图像进行识别，对于搜索而言，其实是不能理解用户传的图像是什么，只能找出相近的图像。但是如果有了识别能力，那么就可以告诉计算机是什么，进而搜索到对应的商品。

这是拍立淘的类目，类目包括服饰类、包类、鞋类、装饰类等等，在淘宝上成交比较多的类目就是服饰类。

为了比较清晰的展示算法能力，接下来对拍立淘效果展示示例进行详细介绍。

示例一：示例一是一个连衣裙实例，拍立淘能够对不是正面拍出的连衣裙图像进行识别，进而得出连衣裙图像的类目。

示例二：示例二是一个包的实例，很明显这个包的图像是倒着拍的，传统的算法很难识别出是包，但是基于深度学习的算法就能够解决这个难题。

示例三：示例三是一个不均匀光照的鞋子图像，通过算法也可以找到同款。

示例四：在示例四这种情况下，我们并不难找出同款，我们这个有很强的语义信息和表达能力，能够容易的找到相似的款式。