O'Reilly、Cloudera 主办
Make Data Work
2016年8月3-4日:培训
2016年8月4-6日:会议
北京,中国

Apache Hadoop十周岁:展望前方

11:55–12:35 2016年8月05日
Hadoop 内核与开发
地点: 报告厅(Auditorium)

必要预备知识

本议题将主要面向Apache Hadoop的用户、开发者和管理员。同时适合于任何希望了解下个Hadoop版本新功能的听众。

描述

过去十年,Apache Hadoop从无到有,从一纸论文演变到如今支撑起若干全球最大的生产集群。接下来的十年,Hadoop将继续壮大,并发展支撑新一轮的更大规模、高效和稳定的集群。

之后的发展都将始于Apache Hadoop 3.0主版本。我们将向大家介绍版本发布状态、背后的故事,并向用户讲解一些主要功能:
HDFS erasure coding,节省高达50%的存储花销
YARN federation, 让YARN可以扩展到十万节点级别
* Application Timeline Server v2, 为应用级别的事件和性能指标提供动态存储和聚合
* YARN的节点标记 (Node labels),让用户可以灵活的定义节点的资源类型,更好的和Hadoop任务匹配
* 更好的支持长期运行的YARN服务。
* NameNode k-safety, 支持多个待用NameNode,让HDFS的“大脑”拥有更好的容错性
* 诸多从用户和可维护角度的改进,如JDK8的支持,Shell脚本的重构,Java classpath隔离,更好的状态报告和更严格的兼容性指标。

所有的这些功能,以及Hadoop社区的工作,都致力于将Hadoop 3打造成能吸引从用户、开发者到管理员兴趣的,令人期待的下一代产品。用户可以得益于更高效的存储和处理能力,开发者和维护者也可以得益于更加先进的监控工具、脚本以及兼容性。

Photo of Xiao Chen

Xiao Chen

Cloudera

Xiao Chen is a software engineer at Cloudera working on HDFS, as well as an Apache Hadoop committer. Prior to Cloudera, he worked in Thomson Reuters’ time series team, focusing on real-time in-memory databases. Xiao was born in Beijing, China. He holds a bachelor’s degree from Beihang University and a master’s degree from New York University.

Photo of Zhe Zhang

Zhe Zhang

LinkedIn

Zhe Zhang is an engineering manager at LinkedIn, where he’s currently leading an excellent engineering team to provide big data services (HDFS, YARN, Spark, TensorFlow, and beyond) to power LinkedIn’s business intelligence and relevance applications. Zhe is an Apache Hadoop PMC member; he led the design and development of HDFS Erasure Coding (HDFS-EC).

联系OReillyData

关注OReillyData微信号获取最新会议信息并浏览前沿数据文章。

WeChat QRcode

来自全球Strata+Hadoop 会议的照片。

Stay Connected Image 1

北京

Stay Connected Image 3

新加坡

Stay Connected Image 2

伦敦

阅读关于大数据的最新理念。

ORB Data Site