简介
PowerJob是全新一代分布式调度与计算框架,能让您轻松完成作业的调度与繁杂任务的分布式计算。
适用场景
- 有定时执行需求的业务场景:如每天凌晨全量同步数据、生成业务报表等。
- 有需要全部机器一同执行的业务场景:如使用广播执行模式清理集群日志。
- 有需要分布式处理的业务场景:比如需要更新一大批数据,单机执行耗时非常长,可以使用Map/MapReduce处理器完成任务的分发,调动整个集群加速计算。
- 有需要延迟执行某些任务的业务场景:比如订单过期处理等。
更新内容
Features
- 新增脚本处理器(Shell、Python)日志实时上报功能(需求来自群友)
- 新增自定义数据库表前缀功能(需求来自群友,感谢贡献者 @dudiao )
- 新增 Akka 死信监听器,系统异常状态早发现
- 新增 TaskTracker “自杀”机制,长时间无法上报结果则放弃,进入自毁流程
- 优化了 Akka 线程池配置以便支撑高强度的调度
- 精简了 powerjob-server 的配置项
BugFix
- 修复了 FatJar 上传报错的 bug(不影响使用)
- 修复了当 worker 与 server 不属于同一个时区时,秒级任务时间显示错误的 bug(不影响使用)
- 修复了极端情况下无法停止工作流实例的 bug(极低概率)
- 修复了工作流配置页面无法分页的 bug(前端)