蘑菇街作业调度系统Jarvis的架构与实现

刘洋(炎寻)

蘑菇街高级技术专家

硕士毕业于中国科技大学,现就职于蘑菇街大数据平台部门,负责蘑菇街大数据平台任务调度系统Jarvis的架构设计和研发工作。此前还深入研究过分布式内存和计算系统,包括Spark,Hazelcast的架构原理和实现等,对分布式系统理论和大规模高并发高可用系统的设计原理有自己的理解,致力于研发世界一流的数据系统。

演讲概要

蘑菇街大数据作业调度系统Jarvis,其设计目标定位是一个高可用的可拓展的工作流作业调度系统,同时在整体系统设计中始终以易用性和可维护性为目标导向。该系统当前承载着全公司每天4W+大数据任务的调度运行工作。Jarvis支持种类丰富的任务依赖和定时调度策略;可以通过插件的方式自定义拓展和支持各类作业任务类型;支持灵活的任务负载均衡策略,支持多租户环境,可以根据配置调整不同的资源配比;提供灵活的并发控制和队列优先级调控手段;对外提供各种服务化手段,可以灵活对接和支持周别各类业务系统。本次分享将介绍Jarvis的架构和实现,包含核心调度逻辑,并发控制,灰度发布,消息队列等模块。

听众收益

1.了解大数据调度系统解决了什么问题,如何工作,在大数据平台中扮演什么角色;
2.深入了解大数据调度系统Jarvis是如何解决任务依赖,定时调度,多租户资源管理这三个核心调度问题的;
3.了解蘑菇街是如何根据自己的业务场景对核心调度功能进行扩展,不断提升系统易用性的;
4.了解大数据调度系统Jarvis做了哪些努力,不断提升系统可用性,可维护性的