O'Reilly、Cloudera 主办
Make Data Work
2016年8月3-4日:培训
2016年8月4-6日:会议
北京,中国

从TDW-Hive到TDW-Spark-SQL: 腾讯TDW数据引擎演进之路

15:30–16:10 2016年8月05日
Spark及更多新发展
地点: 紫金大厅B(Grand Hall B)
平均得分:: *****
(5.00, 1 次得分)

必要预备知识

了解离线大数据处理平台。

描述

腾讯分布式数据仓库(Tencent distributed data warehouse,简称 TDW),是腾讯工程技术事业群数据平台部基于开源软件研发的大数据处理平台,已经成为公司最大的离线数据处理平台 。2016年开始,TDW数据引擎开始从TDW-Hive切换到TDW-Spark-SQL,无论从整体的任务运行效率和资源消耗,都得到了很大的优化。 本次分享,着重介绍:

  1. 腾讯TDW平台的介绍与应用。
  2. 数据引擎由TDW-Hive切换到TDW-Spark-SQL的实践。
  3. TDW-Spark-SQL的功能完善,高可用和稳定性加强,性能和成本优化经验分享。
Photo of Hong Shen

Hong Shen

腾讯

腾讯数据平台部高级工程师,2015年加入腾讯,参与过大规模数据处理平台Hadoop与Spark集群的建设与优化。现主要专注在分布式计算引擎的研究与优化。

联系OReillyData

关注OReillyData微信号获取最新会议信息并浏览前沿数据文章。

WeChat QRcode

来自全球Strata+Hadoop 会议的照片。

Stay Connected Image 1

北京

Stay Connected Image 3

新加坡

Stay Connected Image 2

伦敦

阅读关于大数据的最新理念。

ORB Data Site