XLeaning:360深度学习调度平台架构设计

李远策

360大数据基础架构团队负责人

2013 年加入奇虎 360,先后参与公司 Hadoop、Spark 、深度学习等平台的建设,历经公司 Hadoop 平台高速发展及Spark 平台从无到大规模实践及深度学习平台的落地。曾主持 数据仓库索引、MPI on Yarn、XLearning 等多个项目。爱好开源,乐于学习和分享。

演讲概要

XLearning是360公司最近开源的深度学习调度系统,基于Hadoop Yarn完成了对TensorFlow、MXNet、Caffe、Theano、PyTorch、Keras、XGBoost等常用深度学习框架的集成。平台上线运行近一年时间,经多次版本迭代更新,为各类深度学习框架的使用者提供了统一、稳定的作业提交平台,实现了资源共享,极大提高了资源利用率,并且具有良好的扩展性和兼容性,在公司已经得到广泛使用。

听众收益

1、了解XLearning的架构设计
2、了解XLearning的功能和使用方法
3、共同探讨大数据+人工智能平台的建设思路