O'Reilly、Cloudera 主办
Make Data Work
2017年7月12-13日:培训
2017年7月13-15日:会议
北京,中国

机器学习平台赋能企业创新应用 (A machine learning platform that enables enterprise innovation applications)

此演讲使用中文 (This will be presented in Chinese)

施兴 (阿里云)
13:10–13:50 Saturday, 2017-07-15
AI应用 (AI applications)
地点: 紫金大厅B(Grand Hall B) 观众水平 (Level): 中级 ()

必要预备知识 (Prerequisite Knowledge)

具有基本的机器学习背景,对深度学习有一定了解,以及知道深度学习一般使用在哪些领域

您将学到什么 (What you'll learn)

思想:了解深度学习,人工智能是未来趋势,需要把握这项技能 技能:可以通过这次分享,简单实现一个机遇深度学习的demo例子

描述 (Description)

PAI人工智能平台经过这几年的沉淀,除了传统的特征工程,统计分析,机器学习等组件,主要是新增了深度学习,图像相关的组件,使得没有能力开发或者没有计算资源调用深度学习算法的用户,方便地提交各种深度学习任务。现在,深度学习组件里面已经支持TensorFlow, MXNet和Caffe。

和单机开源版本相比,我们的PAI版本需要用户的输入数据在OSS上。OSS是阿里云推出的一个面向图像,语音,文本等对象的存储系统。用户可以把需要训练的数据存储在OSS上,可以是原始数据,比如原始图片,也可以是二进制数据,比如lmdb,hdf5等格式的数据,也可以是用户自定义格式的数据。在训练流程上,如果是Caffe,那么只需要像单机上运行一样,在OSS上传solver.txt和proto.txt,然后选择需要的资源即可。如果是TensorFlow和MXNet,那么用户完全可以编写CNN, LSTM,DNN等算法代码,然后提交给PAI来运行。我们刚刚提到的Caffe也好,TensorFlow, MXNet也好,用户还是需要编程或者指导怎么配置网络,阿里云赋能给用户的是存储和计算资源。

更进一步地,我们提供了通用领域算法相关的组件。往往,我们遇到的真实的应用场景是这样子的。企业用户会抛出各种很具有画面感的问题,他们也评估过知道用算法可以解决这些问题,但是直接使用Caffe, TensorFlow, MXNet时,他们是完全不知道怎么使用的。为了能让这类用户登上深度学习这艘大船,让他们只需要准备数据和目标,就可以在PAI上找到对应的组件直接训练。我们提供了两种模型的解决方案,一个是Saas,一个是Paas。

Saas的输出主要是通过API的形式,比如我们比较成熟的证件OCR识别产品,比如身份证,驾驶证等产品,用户完全不需要知道API背后的实现原理和技术,直接通过API就可以调用。而本身这些服务的实现是通过PAI上面开发和部署的。

Paas其实就是PAI平台上,我们基于最底层的算法再抽象一些不同领域的算法。领域算法指的是这些算法具有一定领域的通用性,但还不是特别的专用。用户可以通过这些领域算法的模块,达到自己专用领域算法的功能。这里以解决风控的深度学习组件举例,用户可以根据自己的数据,具体去降低虚假交易问题,或者减少套现交易量,或者控制贷款风险等不同具体场景的问题。但是这个风控组件本身是对这几个场景都可以适用的。再比如图像类,我们经常接到不同用户需求,一个场景的用户期望识别图像里面的牛,另外一个场景的用户的需求这是识别图像里面的车的数量,还有的是识别图片里面是什么文字。这几种需求背后都可以被抽象成图像分类问题,只是具体分类的差别而已,因此我们提供了一个图像分类的组件。这类不同领域内通用的算法组件我们也正在实际应用中沉淀。

最后,以识别银行卡卡号举例,描述下如何基于PAI的图像领域的通用组件来训练。
1. 收集银行卡图片数据
2. 标注这些银行卡图片的位置和内容,标注可以按字标,也可以整行卡号标,我们这里标注整行
3. 找到图像类组件,因为标注的是整行的,因此可以用深度学习里面的1. 检测模块,2. 整行识别模块
4. 训练出来两个模型,检测模型和识别模型,进行直接部署即可
这样整个检测和识别两个流程就都可以了,后面只需要简单的调用这两个接口即可。

本次的主题是人工智能赋能企业,授人以鱼不如授人以渔
1. 基于云平台的深度学习能力的输出;
2. 将互联网企业独有的深度学习算法能力,赋能给更多传统的企业用户



The PAI artificial intelligence platform has recently added deep learning and image-related components, in addition to its traditional engineering components, statistical analysis components, and machine learning components. This enables users who have no development experience or computing resources to use deep learning algorithms for a variety of deep learning tasks. And now the platform supports TensorFlow, MXNet, and Caffe. 施兴 offers an overview of these new features and uses recognition of bank card numbers as an example to describe how to use the image-specific components for a deep learning task.


Compared with the standalone open source version, the PAI version requires the user’s input data to be on the OSS storage system for images, voices, text and other object data, provided by the Alibaba Cloud. Users can upload their training data to the OSS, which could be raw data, such as the original images, binary data, such as data in lmdb, hdf5 and other formats, or data in user-defined formats. In the training stage, if using Caffe, users only need to upload solver.txt and proto.txt to the OSS and then select the required resources, just like running in a stand-alone machine. If using TensorFlow or MXNet, users can code their own CNN, LSTM, DNN, and other algorithms and then submit them to the PAI to run. In any case, users still need to program or configure the neural networks.


In addition, PAI provides algorithm-related common and domain-independent components. Usually, the real-use scenarios are like this: Business users have problems they know could be resolved by algorithms. However, they have no idea of how to directly use Caffe, TensorFlow, or MXNet. In order to enable these users to board the “deep learning ship,” PAI offers two models: a SaaS model and a PaaS model.


The SaaS model’s output is mainly through the form of APIs. Users do not need to know the implementation principles and technologies behind APIs and can directly call the APIs. These services are developed and deployed on the PAI platform. The PaaS model offers some domain-specific algorithms abstracted out of the base algorithms, which have a certain commonality for a given domain but are not dedicated to a specific problem. Users can use these domain-specific algorithm modules, such as the deep learning component for risk management, to implement their own domain algorithm functions.

Photo of 施兴

施兴

阿里云

阿里云大数据事业部iDST

施兴,现任阿里云大数据事业部iDST团队高级算法专家,负责分布式机器学习平台的研发和应用。

曾任职于百度,从事Hadoop分布式存储和计算,主要开发了基于Hadoop的大规模分布式索引库的计算,支持动态增加输入和支持二进制数据的bistream,降低30%建库机器成本,同时计算时间缩短了50%。

2010年加入阿里巴巴参与Hadoop, Hbase的开发,后专注机器学习算法平台的调度和算法开发,支撑了广告,搜索的MPI机器学习算法任务。目前带领团队主要从事算法平台产品的开发和机器学习算法再一些垂直领域的应用。

联系OReillyData

关注OReillyData微信号获取最新会议信息并浏览前沿数据文章。

WeChat QRcode

 

Stay Connected Image 1
Stay Connected Image 3
Stay Connected Image 2

阅读关于大数据的最新理念。

ORB Data Site