百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

python定时任务最强框架APScheduler详细教程

toyiye 2024-08-27 22:20 7 浏览 0 评论

APScheduler定时任务

上次测试女神听了我的建议,已经做好了要给项目添加定时任务的决定了。但是之前提供的四种方式中,她不知道具体选择哪一个。为了和女神更近一步,我把我入行近10年收藏的干货免费拿出来分享给女神,希望女神凌晨2点再找我的时候,不再是因为要给他调程序了。

Python中定时任务的解决方案,总体来说有四种,分别是:crontab、 scheduler、 Celery、 APScheduler,其中 crontab不适合多台服务器的配置、scheduler太过于简单、 Celery依赖的软件比较多,比较耗资源。最好的解决方案就是 APScheduler。

APScheduler使用起来十分方便。提供了基于日期、固定时间间隔以及 crontab类型的任务。还可以在程序运行过程中动态的新增任务和删除任务。在任务运行过程中,还可以把任务存储起来,下次启动运行依然保留之前的状态。另外最重要的一个特点是,因为他是基于 Python语言的库,所以是可以跨平台的,一段代码,处处运行!

在这里我来给大家详细介绍一下具体的用法。

一、安装:

安装非常简单,通过 pip install apscheduler即可。

二、基本使用:

先来看一段代码,然后再来给大家详细讲解其中的细节:


其中 BlockingScheduler是阻塞性的调度器,是最基本的调度器,下面调用 start方法就会阻塞当前进程,所以如果你的程序除了调度进程没有其他后台进程,那么是可以是否的,否则这个调度器会阻塞你程序的正常执行。

接下来就是定义一个 my_clock函数,这个函数就是需要定时调度的任务代码。

然后就是实例化一个 BlockingScheduler对象,并把 my_clock添加到任务调度中。然后看 interval参数,这里用的是间隔的方式来调度,调度频率是 seconds=3,也就是每3秒执行一次。

执行结果如下:

可以看到每隔3秒钟的时间会执行一次。说明定时任务已经成功执行了!

在了解了 APScheduler的基本使用后,再来对 APScheduler的四个基本对象做个了解,这样才能从全局掌握 APScheduler。

三、四个基本对象:

1. 触发器(triggers):

触发器就是根据你指定的触发方式,比如是按照时间间隔,还是按照 crontab触发,触发条件是什么等。每个任务都有自己的触发器。

2. 任务存储器(job stores):

任务存储器是可以存储任务的地方,默认情况下任务保存在内存,也可将任务保存在各种数据库中。任务存储进去后,会进行序列化,然后也可以反序列化提取出来,继续执行。

3. 执行器(executors):

执行器的目的是安排任务到线程池或者进程池中运行的。

4. 调度器(schedulers):

任务调度器是属于整个调度的总指挥官。他会合理安排作业存储器、执行器、触发器进行工作,并进行添加和删除任务等。调度器通常是只有一个的。开发人员很少直接操作触发器、存储器、执行器等。因为这些都由调度器自动来实现了。

四、触发器:

触发器有两种,第一种是 interval,第二种是 crontab。interval可以具体指定多少时间间隔执行一次。crontab可以指定执行的日期策略。以下分别进行讲解。

1. date触发器:

在某个日期时间只触发一次事件。示例代码如下:


更多请参考:https://apscheduler.readthedocs.io/en/stable/modules/triggers/date.html

2. interval触发器:

想要在固定的时间间隔触发事件。interval的触发器可以设置以下的触发参数:

  1. weeks:周。整形。

  2. days:一个月中的第几天。整形。

  3. hours:小时。整形。

  4. minutes:分钟。整形。

  5. seconds:秒。整形。

  6. start_date:间隔触发的起始时间。

  7. end_date:间隔触发的结束时间。

  8. jitter:触发的时间误差。


在每天的11点24分触发事件。更多请参考:https://apscheduler.readthedocs.io/en/stable/modules/triggers/interval.html

3. crontab触发器:

在某个确切的时间周期性的触发事件。可以使用的参数如下:

  1. year:4位数字的年份。

  2. month:1-12月份。

  3. day:1-31日。

  4. week:1-53周。

  5. day_of_week:一个礼拜中的第几天( 0-6或者 mon、 tue、 wed、 thu、 fri、 sat、 sun)。

  6. hour: 0-23小时。

  7. minute: 0-59分钟。

  8. second: 0-59秒。

  9. start_date: datetime类型或者字符串类型,起始时间。

  10. end_date: datetime类型或者字符串类型,结束时间。

  11. timezone:时区。

  12. jitter:任务触发的误差时间。

也可以用表达式类型,可以用以下方式:


示例如下:


五、调度器:

  1. BlockingScheduler:适用于调度程序是进程中唯一运行的进程,调用 start函数会阻塞当前线程,不能立即返回。

  2. BackgroundScheduler:适用于调度程序在应用程序的后台运行,调用 start后主线程不会阻塞。

  3. AsyncIOScheduler:适用于使用了 asyncio模块的应用程序。

  4. GeventScheduler:适用于使用 gevent模块的应用程序。

  5. TwistedScheduler:适用于构建 Twisted的应用程序。

  6. QtScheduler:适用于构建 Qt的应用程序。

六、任务存储器:

任务存储器的选择有两种。一是内存,也是默认的配置。二是数据库。使用内存的方式是简单高效,但是不好的是,一旦程序出现问题,重新运行的话,会把之前已经执行了的任务重新执行一遍。数据库则可以在程序崩溃后,重新运行可以从之前中断的地方恢复正常运行。有以下几种选择:

  1. MemoryJobStore:没有序列化,任务存储在内存中,增删改查都是在内存中完成。

  2. SQLAlchemyJobStore:使用 SQLAlchemy这个 ORM框架作为存储方式。

  3. MongoDBJobStore:使用 mongodb作为存储器。

  4. RedisJobStore:使用 redis作为存储器。

七、执行器:

执行器的选择取决于应用场景。通常默认的 ThreadPoolExecutor已经在大部分情况下是可以满足我们需求的。如果我们的任务涉及到一些 CPU密集计算的操作。那么应该考虑 ProcessPoolExecutor。然后针对每种程序, apscheduler也设置了不同的 executor:

  1. ThreadPoolExecutor:线程池执行器。

  2. ProcessPoolExecutor:进程池执行器。

  3. GeventExecutor: Gevent程序执行器。

  4. TornadoExecutor: Tornado程序执行器。

  5. TwistedExecutor: Twisted程序执行器。

  6. AsyncIOExecutor: asyncio程序执行器。

八、定时任务调度配置:

这里我们用一个例子来说明。比如我想这样配置

  1. 执行器:

    • 配置 default执行器为 ThreadPoolExecutor,并且设置最多的线程数是20个。

    • <

  2. 存储器:

    • 配置 default的任务存储器为 SQLAlchemyJobStore(使用SQLite)。

    • <

  3. 任务配置:

  4. 设置 coalesce为 False:设置这个目的是,比如由于某个原因导致某个任务积攒了很多次没有执行(比如有一个任务是1分钟跑一次,但是系统原因断了5分钟),如果 coalesce=True,那么下次恢复运行的时候,会只执行一次,而如果设置 coalesce=False,那么就不会合并,会5次全部执行。

  5. max_instances=5:同一个任务同一时间最多只能有5个实例在运行。比如一个耗时10分钟的job,被指定每分钟运行1次,如果我 max_instance值5,那么在第6~10分钟上,新的运行实例不会被执行,因为已经有5个实例在跑了。

那么代码如下:


  1. 九、任务操作:

1. 添加任务:

使用 scheduler.add_job(job_obj,args,id,trigger,**trigger_kwargs)。

2. 删除任务:

使用 scheduler.remove_job(job_id,jobstore=None)。

3. 暂停任务:

使用 scheduler.pause_job(job_id,jobstore=None)。

4. 恢复任务:

使用 scheduler.resume_job(job_id,jobstore=None)。

5. 修改某个任务属性信息:

使用 scheduler.modify_job(job_id,jobstore=None,**changes)。

6. 修改单个作业的触发器并更新下次运行时间:

使用 scheduler.reschedule_job(job_id,jobstore=None,trigger=None,**trigger_args)

7. 输出作业信息:

使用 scheduler.print_jobs(jobstore=None,out=sys.stdout)

十、异常监听:

当我们的任务抛出异常后,我们可以监听到,然后把错误信息进行记录。示例代码如下:

  1. from apscheduler.schedulers.blocking import BlockingScheduler

  2. from apscheduler.events import EVENT_JOB_EXECUTED, EVENT_JOB_ERROR

  3. import datetime

  4. import logging


  5. # 配置日志显示


以上便是 APScheduler库的详细用法了。如果我们需要在项目中开一个定时功能,完全可以选择 APScheduler,轻量又功能强大。

这次女神再也不用2点跑到公司去加班啦~


相关推荐

# Python 3 # Python 3字典Dictionary(1)

Python3字典字典是另一种可变容器模型,且可存储任意类型对象。字典的每个键值(key=>value)对用冒号(:)分割,每个对之间用逗号(,)分割,整个字典包括在花括号({})中,格式如...

Python第八课:数据类型中的字典及其函数与方法

Python3字典字典是另一种可变容器模型,且可存储任意类型对象。字典的每个键值...

Python中字典详解(python 中字典)

字典是Python中使用键进行索引的重要数据结构。它们是无序的项序列(键值对),这意味着顺序不被保留。键是不可变的。与列表一样,字典的值可以保存异构数据,即整数、浮点、字符串、NaN、布尔值、列表、数...

Python3.9又更新了:dict内置新功能,正式版十月见面

机器之心报道参与:一鸣、JaminPython3.8的热乎劲还没过去,Python就又双叒叕要更新了。近日,3.9版本的第四个alpha版已经开源。从文档中,我们可以看到官方透露的对dic...

Python3 基本数据类型详解(python三种基本数据类型)

文章来源:加米谷大数据Python中的变量不需要声明。每个变量在使用前都必须赋值,变量赋值以后该变量才会被创建。在Python中,变量就是变量,它没有类型,我们所说的"类型"是变...

一文掌握Python的字典(python字典用法大全)

字典是Python中最强大、最灵活的内置数据结构之一。它们允许存储键值对,从而实现高效的数据检索、操作和组织。本文深入探讨了字典,涵盖了它们的创建、操作和高级用法,以帮助中级Python开发...

超级完整|Python字典详解(python字典的方法或操作)

一、字典概述01字典的格式Python字典是一种可变容器模型,且可存储任意类型对象,如字符串、数字、元组等其他容器模型。字典的每个键值key=>value对用冒号:分割,每个对之间用逗号,...

Python3.9版本新特性:字典合并操作的详细解读

处于测试阶段的Python3.9版本中有一个新特性:我们在使用Python字典时,将能够编写出更可读、更紧凑的代码啦!Python版本你现在使用哪种版本的Python?3.7分?3.5分?还是2.7...

python 自学,字典3(一些例子)(python字典有哪些基本操作)

例子11;如何批量复制字典里的内容2;如何批量修改字典的内容3;如何批量修改字典里某些指定的内容...

Python3.9中的字典合并和更新,几乎影响了所有Python程序员

全文共2837字,预计学习时长9分钟Python3.9正在积极开发,并计划于今年10月发布。2月26日,开发团队发布了alpha4版本。该版本引入了新的合并(|)和更新(|=)运算符,这个新特性几乎...

Python3大字典:《Python3自学速查手册.pdf》限时下载中

最近有人会想了,2022了,想学Python晚不晚,学习python有前途吗?IT行业行业薪资高,发展前景好,是很多求职群里严重的香饽饽,而要进入这个高薪行业,也不是那么轻而易举的,拿信工专业的大学生...

python学习——字典(python字典基本操作)

字典Python的字典数据类型是基于hash散列算法实现的,采用键值对(key:value)的形式,根据key的值计算value的地址,具有非常快的查取和插入速度。但它是无序的,包含的元素个数不限,值...

324页清华教授撰写【Python 3 菜鸟查询手册】火了,小白入门字典

如何入门学习python...

Python3.9中的字典合并和更新,了解一下

全文共2837字,预计学习时长9分钟Python3.9正在积极开发,并计划于今年10月发布。2月26日,开发团队发布了alpha4版本。该版本引入了新的合并(|)和更新(|=)运算符,这个新特性几乎...

python3基础之字典(python中字典的基本操作)

字典和列表一样,也是python内置的一种数据结构。字典的结构如下图:列表用中括号[]把元素包起来,而字典是用大括号{}把元素包起来,只不过字典的每一个元素都包含键和值两部分。键和值是一一对应的...

取消回复欢迎 发表评论:

请填写验证码