O'Reilly、Cloudera 主办
Make Data Work
2016年8月3-4日:培训
2016年8月4-6日:会议
北京,中国

针对大规模机器/深度学习的分布式参数服务器

15:30–16:10 2016年8月06日
数据科学与高级分析
地点: 紫金大厅A(Grand Hall A)

必要预备知识

机器学习、深度学习基本知识,Spark基本知识。

描述

在大规模的机器学习和深度学习中,例如逻辑回归, 卷积神经网络中,模型的参数维度可能非常大,对于我们常用的分布式机器学习框架,比如Spark, 内存和网络会成为比较大的瓶颈。在每轮训练之前,Spark driver都会把模型参数广播到executor端, 每个task分区训练完本地分区数据后,会把算出的梯度或weights增量聚集到driver端对模型参数(weights)进行更新。当模型参数维度比较高时,网络广播和聚集都需要比较长的时间,也需要耗费比较多的内存,同时更新计算时间也会比较长。

参数服务器将模型参数(一维或多维数组)划成多个分区分布地存储在多个节点上, 支持并行地对模型参数进行获取、更新等操作,它具有高性能、可扩展、容错等特点。

在机器学习和深度学习中,通过使用参数服务器,每个task分区可以只获得自己需要的那部分参数,这样只需要更少的内存和网络传输。 同时参数的更新也可以并行地在所有参数服务器节点上进行,从而提高了性能。

本议题同时会介绍使用Spark和参数服务器的实际案例。

Photo of Zhichao Li

Zhichao Li

Intel

利智超来自于Intel大数据技术团队,专注于大数据分析领域, Spark contributor。他的同事和他致力于在Apache Spark平台上开发分布式机器学习算法,以满足大数据背景下的机器学习需求。他还为这些分布式机器学习算法在Intel平台上进行优化,以及帮助Intel的客户为他们的业务开发大数据分析程序。

联系OReillyData

关注OReillyData微信号获取最新会议信息并浏览前沿数据文章。

WeChat QRcode

来自全球Strata+Hadoop 会议的照片。

Stay Connected Image 1

北京

Stay Connected Image 3

新加坡

Stay Connected Image 2

伦敦

阅读关于大数据的最新理念。

ORB Data Site