进击的巨人:基于 Angel 的高维度在线机器学习

黄明(明风andymhuang)

腾讯数据平台部 T4 专家

Spark早期的研究者和布道者,对分布式计算和机器学习,有独到的经验和研究。担任海量计算组Leader,负责构建大规模并行计算和智能学习平台,助力腾讯各种数据和机器学习业务快速发展。

演讲概要

Angel是一个源于参数服务器(Parameter Server)理念开发的开源分布式机器学习平台,它的核心设计理念围绕模型,将高维度的大模型合理切分到多个参数服务器节点,并通过高效的模型更新接口和运算函数,以及灵活的同步协议,轻松实现各种高效的机器学习算法。另外基于 PS Service,它还支持 Spark on Angel,无缝切换。模型维度越高,Angel优势越明显。本次演讲将围绕 Angel 的核心框架与设计,让用户对 Angel 有一个全面的认知,并介绍 Angel 上进行算法的开发和优化,让算法工程师轻松开发出可以在 Yarn 集群上高速运行的高维度机器学习算法,并介绍其最新Python接口以及其对在线学习的支持。
1.整体介绍2. Angel的架构3. Algorithms on Angel4. Spark on Angel5. 性能和比较6. 开源与规划

听众收益

听众可以了解到在机器学习和人工智能中,一个通用的PS(参数服务器)的意义,以及设计开发它所需要考虑的点,并基于Angel如何开发高性能的高维度机器学习算法,最后,会介绍包括Spark on Angel,Python接口,FTRL等最新进展