PB级Hadoop集群跨机房迁移实战

董西成

Hulu大数据部门负责人

资深Hadoop技术实践者和研究者,拥有超过8年的大数据平台平台研发经验;曾在中国云计算大会(CieCloud),世界软件大会(WOT),中国架构师大会(SACC)等担任主持人和演讲嘉宾;《Hadoop技术内幕》系列丛书作者。

演讲概要

随着数据量的增大和机器规模的增加,hadoop多数据中心建设必然会成为一个大数据公司必经之路。由于hulu业务的快速发展,原有数据中心已远远不能满足,这使得hulu不能寻求多数据中心建设,为此,hulu在开源hadoop软件栈基础上,增加了多机房支持以及分布式高性能数据迁移模块,这使得hadoop能够很容易迁移或部署到多个数据中心。本报告将介绍hulu在hadoop多数据中心方面的设计与落地经验。提纲:* 大数据平台多机房的必要性* 大数据平台多机房的可行方案探讨* hulu在Hadoop多机房方面的实战* PB级Hadoop集群机房迁移实战* 经验分享

听众收益

了解大数据平台多机房的必要性,常见的企业级多机房实现方案,学习和借鉴hulu在hadoop多机房实战经验以及如何完成hadoop跨数据中心的迁移。