GitHub - analysys/EasyScheduler: Easy Scheduler是一个工作流调度系统,主要解决数...
source link: https://github.com/analysys/EasyScheduler
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
README.md
Easy Scheduler
Easy Scheduler for Big Data
设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用
。
其主要目标如下:
- 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
- 支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
- 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
- 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
- 支持工作流全局参数及节点自定义参数设置
- 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
- 支持任务日志在线查看及滚动、在线下载日志等
- 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
- 支持对
Master/Worker
cpu load,memory,cpu在线查看 - 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
- 支持补数
- 支持多租户
- 支持国际化
- 还有更多等待伙伴们探索
与同类调度系统的对比
系统部分截图
文档
更多文档请参考 easyscheduler中文在线文档
感谢
- Easy Scheduler使用了很多优秀的开源项目,比如google的guava、guice、grpc,netty,ali的bonecp,quartz,以及apache的众多开源项目等等, 正是由于站在这些开源项目的肩膀上,才有Easy Scheduler的诞生的可能。对此我们对使用的所有开源软件表示非常的感谢!我们也希望自己不仅是开源的受益者,也能成为开源的 贡献者,于是我们决定把易调度贡献出来,并承诺长期维护。也希望对开源有同样热情和信念的伙伴加入进来,一起为开源献出一份力!
帮助
The fastest way to get response from our developers is to submit issues, or add our wechat : 510570367
Recommend
-
39
-
33
分布式工作流任务调度系统EasyScheduler正式开源1、背景在多位技术小伙伴的努力下,经过近2年的研发迭代、内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler终于迎来了第一个正式开源发布版本--1.0.0。相信做过数据处理的伙伴们对开源的调度系...
-
23
EasyScheduler的架构原理及实现思路
-
12
在 Kubernetes 中,调度是指将 Pod 放置到合适的 Node 节点上,然后对应 Node 上的 Kubelet 才能够运行这些 pod。 调度器通过...
-
6
周期性调度器scheduler_tick 2014-05-22 16:57:00 周期性调度器由中断实现,系统定时产生一个中断,然后启动周期性调度器,周期性调度器执行过程中要关闭中断, 周期性调度器执行完毕后再打开中断(handle_IRQ_eve...
-
10
I.内容提要 定时调度系统(定时任务、定时执行)算是工作中经常依赖的中间件系统,简单使用操作系统的 crontab,或基于 Quartz,xxl-job 来搭建任务调度平台,行业有很多优秀的开源产品和中间件。
-
7
Kubernetes资源调度——scheduler | 李乾坤的博客 几个主要点 Kubernetes 调度本身的演化
-
6
学习React时间切片,任务调度scheduler如果您发现本文排版有问题,可以先点击下面的链接切换至老版进行查看!!!...
-
6
写在最前:本文章的目标 vue3的生命周期的实现原理是比较简单的,但要理解整个Vue3的生命周期则还要结合整个Vue的运行原理,又...
-
4
一文读懂:开源大数据调度系统Taier1.2版本新增的「工作流」到底是什么? 推荐 原创 数栈DTinsight...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK