O'Reilly、Cloudera 主办
Make Data Work
2016年8月3-4日:培训
2016年8月4-6日:会议
北京,中国

基于Kafka以及Spark Streaming的高扩展性数据质量保证平台

13:50–14:30 2016年8月06日
企业应用
地点: 多功能厅2(Function Room 2)

必要预备知识

对于大数据有基本认识,对开源大数据框架有基本理解。

描述

微软的ASG (应用与服务集团)包含Bing, Office, Skype。每天产生多达5 PB以上数据,如何构建一个高扩展性的data audit服务来保证这样量级的数据完整性和实时性非常具有挑战性。 在这个议题里,我将介绍微软ASG大数据团队如何利用Kafka, Spark以及Elasticsearch来解决这个问题。

  1. 微软应用与服务集团简介
  2. 微软数据与服务集团数据平台简介
  3. 数据完整性与实时性挑战
  4. 基于Spark, Kafka, Elasticsearch的高扩展高可用数据审计服务架构与应用
  5. Q&A
Photo of Tony Xing

Tony Xing

Microsoft

负责微软应用与服务集团的大数据平台构建,数据产品与服务

联系OReillyData

关注OReillyData微信号获取最新会议信息并浏览前沿数据文章。

WeChat QRcode

来自全球Strata+Hadoop 会议的照片。

Stay Connected Image 1

北京

Stay Connected Image 3

新加坡

Stay Connected Image 2

伦敦

阅读关于大数据的最新理念。

ORB Data Site