O'Reilly、Cloudera 主办
Make Data Work
2016年8月3-4日:培训
2016年8月4-6日:会议
北京,中国

基于Mesos DCOS的大数据云计算平台架构

11:55–12:35 2016年8月06日
Spark及更多新发展
地点: 多功能厅2(Function Room 2)

必要预备知识

云计算

描述

现在越来越多的公司基于Mesos的基础设施搭建自己私有数据中心,提供弹性计算能力。Mesosphere推出的DCOS作为新兴的数据中心底层架构平台提供了兼容各种计算应用的能力。而另一方面Hadoop一直以来都是用物理机器集群进行部署,内部是用YARN进行资源管理。对于越来越多的大数据应用,分别搭建多个独立不能共享资源的Hadoop集群不能充分利用服务器资源。使用Mesos DCOS作为底层资源共享平台,上层运行不同Hadoop,资源能在不同的Hadoop集群之间共享,同时也能动态的增加和限制Hadoop能力。
在本议题中,演讲者将讲解如何在DCOS上运行Hadoop的不同组件,如Spark,HDFS等。同时,分享在实际生产环境中的部署实践以及应用效果。

Photo of Biao Chen

Biao Chen

Cloudera

Cloudera售前技术经理、行业领域顾问、资深方案架构师,原Intel Hadoop发行版核心开发人员。2006年加入Intel编译器部门从事服务器中间件软件开发,擅长服务器软件调试与优化。2010 年后开始Hadoop 产品开发及方案顾问,先后负责Hadoop 产品化、HBase 性能调优,以及行业解决方案顾问。

联系OReillyData

关注OReillyData微信号获取最新会议信息并浏览前沿数据文章。

WeChat QRcode

来自全球Strata+Hadoop 会议的照片。

Stay Connected Image 1

北京

Stay Connected Image 3

新加坡

Stay Connected Image 2

伦敦

阅读关于大数据的最新理念。

ORB Data Site