一、Django项目创建
(一)虚拟环境创建
首先创建一个虚拟环境,用于Django项目使用,在CMD窗口中通过下面的命令:
mkvirtualenv celery_test
其中celery_test 为虚拟环境名称,这里使用的python解释器就是默认安装的,你也可以指定python解释器:
mkvirtualenv [--python==d:\Python3.5.2\python.exe] celery_test
(二)创建项目
最简单的方式是可以通过Pyacharm来进行创建,当然也可以命令行的方式创建,但是在创建前需要在虚拟环境中将Django的包安装上:
(celery_test) C:\Users\Administrator>pip install django==2.0
Collecting django==2.0
Using cached Django-2.0-py3-none-any.whl (7.1 MB)
Collecting pytz
Using cached pytz-2019.3-py2.py3-none-any.whl (509 kB)
Installing collected packages: pytz, django
Successfully installed django-2.0 pytz-2019.3
此时,再创建项目:
只需要填写上面的部分即可完成django项目的创建。
二、Celery的使用
(一)环境配置
Django与Celery可以配合使用,但是需要安装django-celery的包,这样更利于celery中任务的管理,注意这些包的版本:
1、celery安装
(celery_test) C:\Users\Administrator>pip install celery==3.1.26.post2
Collecting celery==3.1.26.post2
Downloading celery-3.1.26.post2-py2.py3-none-any.whl (526 kB)
|███████▌ | 122 kB 20 kB/s eta 0:00:20
2、django-celery安装
(celery_test) C:\Users\Administrator>pip install django-celery==3.2.2
Collecting django-celery==3.2.2
Downloading django-celery-3.2.2.tar.gz (90 kB)
|███████████ | 30 kB 56 kB/s eta 0:00:02
3、redis安装
(celery_test) C:\Users\Administrator>pip install redis==2.10.6 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
4、进行注册
在django的settings文件中将djcelery进行注册:
INSTALLED_APPS = [
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',
'djcelery', #注册
'app01',
]
5、settings中导入celeryconfig
# Internationalization
# https://docs.djangoproject.com/en/2.0/topics/i18n/
LANGUAGE_CODE = 'en-us'
TIME_ZONE = 'UTC'
USE_I18N = True
USE_L10N = True
USE_TZ = True
# Static files (CSS, JavaScript, Images)
# https://docs.djangoproject.com/en/2.0/howto/static-files/
STATIC_URL = '/static/'
#Celery Config
from .celeryconfig import * # celery的相关配置文件
BROKER_BACKEND = 'redis'
BROKER_URL = 'redis://localhost:6379/1'
CELERY_RESULT_BACKEND='redis://localhost:6379/2'
(二)异步任务
1、新建celery相关的文件
- 在工程的根目录下新建celeryconfig文件,用于存放配置参数
- 在appo1目录下新建tasks.py文件,用于存放与app01相关的异步和定时任务
(1)celeryconfig.py
import djcelery
from datetime import timedelta
djcelery.setup_loader()
CELERY_QUEUES = {
#定时任务队列
'beat_tasks':{
'exchange':'beat_tasks',
'exchange_type':'direct',
'binding_key':'beat_tasks'
},
#普通任务队列
'work_tasks': {
'exchange': 'work_tasks',
'exchange_type': 'direct',
'binding_key': 'work_tasks'
}
}
#设置默认的队列
CELERY_DEFAULT_QUEUE = 'work_tasks'
#将每一个app下的tasks进行导入
CELERY_IMPORTS = (
'app01.tasks',
)
#有些情况防止死锁
CELERYD_FORCE_EXECV = True
#设置并发的workers数量,根据cpu的数量
CELERYD_CONCURRENCY = 4
#任务失败允许重试
CELERY_ACKS_LATE = True
#每个worker最多执行的任务数,超过这个就将worker进行销毁,防止内存泄漏
CELERYD_MAX_TASKS_PER_CHILD = 100
#单个任务运行的最大时间,超过这个时间,task就会被kill
CELERYD_TASK_TIME_LIMIT = 12 * 30
首先定义了两个任务队列,一个用于存放异步任务,一个用于存放定时任务;其次将每一个app下的tasks导入,tasks.py中定义的都是任务;最后都是一些参数定义。
(2)app01.tasks.py
from celery.task import Task
import time
class Upload(Task):
name = 'upload-task' #给任务一个名称
def run(self, *args, **kwargs):
time.sleep(2)
print('run upload task')
定义了一个任务并且指定了一个名称,这个名称在定时任务中会用得上。当这个任务执行时会运行run方法,那么如果它是个异步任务,应该怎么触发和执行呢?
我们可以在views.py文件的view函数中进行调用这个任务:
from django.shortcuts import render
from django.http.response import JsonResponse
from app01.tasks import Upload
# Create your views here.
def doTask(request):
print('start task!')
Upload.delay() #异步任务,这里不会卡住,尽管有延时
print('end task!')
return JsonResponse({"type":'success'})
这里定义了一个视图函数,在视图只要访问某个url对应的这个视图就会触发,我们在任务中睡了2s但是这里不会停顿,因为它是是异步任务。
(2)运行异步任务
- 启动django项目
python manage.py runserver 0.0.0.0
- 启动celery worker
python manage.py celery worker -l info
- 访问视图,触发任务
http://127.0.0.1:8000/doTask/
(三)定时任务
定时任务也是需要启动worker的,需要在celeryconfig加入定时任务的配置,假设刚刚那个任务是定时任务:
...
...
#单个任务运行的最大时间,超过这个时间,task就会被kill
CELERYD_TASK_TIME_LIMIT = 12 * 30
#定时任务
CELERYBEAT_SCHEDULE = {
'task1':{
'task':'upload-task', #指定任务名称
'schedule':timedelta(seconds=5), #任务执行时间,每5秒执行一次
'options':{
'queue':'beat_tasks'
}
}
}
指定了定时任务,其中名称upload-task就是刚刚任务中定义的name属性。同样的在我们添加完定时任务后,需要启动celery worker和celery beat。
#celery worker
python manage.py celery worker -l info
#celery beat
python manage.py celery beat -l info
这样就完成了定时任务。
值得注意的是,如果使用crontab来进行定时任务的话。就会存在时区问题,比如在app01.tasks.py中再加入一个任务:
from celery.task import Task
import time
...
...
class scrawl(Task):
name = 'spider'
def run(self, *args, **kwargs):
time.sleep(3)
print('执行爬取任务')
然后再进行配置:
import djcelery
from datetime import timedelta
from celery.schedules import crontab
...
...
#定时任务
CELERYBEAT_SCHEDULE = {
'task1':{
'task':'upload-task', #指定任务名称
'schedule':timedelta(seconds=5), #任务执行时间,每5秒执行一次
'options':{
'queue':'beat_tasks'
}
},
'task2': {
'task': 'spider', # 指定任务名称
'schedule':crontab(minute='19', hour='16', day_of_week='*',day_of_month='*', month_of_year='*'), # 任务执行时间,每5秒执行一次
'options': {
'queue': 'beat_tasks'
}
},
}
在task2中使用了crontab,那么相应的应该在django的settings.py中将TIME_ZONE 参数进行更改:
...
# TIME_ZONE = 'UTC'
TIME_ZONE = 'Asia/Shanghai'
...
这样就ok了。
(四)版本问题及其它问题
1、安装包版本
(celery_test) C:\Users\Administrator>pip list
Package Version
------------- ------------
amqp 1.4.9
anyjson 0.3.3
Babel 2.8.0
billiard 3.3.0.23
celery 3.1.26.post2
Django 2.0
django-celery 3.2.2
flower 0.9.3
kombu 3.0.37
pip 20.0.2
pytz 2019.3
redis 2.10.6
setuptools 46.1.1
tornado 5.1.1
wheel 0.34.2
注意的是celkery、django-celery、Django、以及redis的版本,这是很容易出现各种问题的地方。
2、pip问题
另外下载过程中会出现timeout或者其它问题,一般解决通过:
pip install flower -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
就可以解决。如果永久地替换pip源可以在windows下的user目录下新建pip文件夹,然后新建pip.ini文件:
写入:
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com
三、flower任务监控
通过pip命令直接进行安装:
(celery_test) C:\Users\Administrator>pip install flower -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
接下来可以直接启动flower,在django中可以直接这样启动:
(celery_test) I:\celery_test>python manage.py celery flower
这样就可以直接启动flower了。当然也可以这样执行命令启动。
celery flower --address=0.0.0.0 --port=5555 --broker='redis://localhost:6379/1' #如果加入认证通过--basic_auth=username:password
四、supervisor进程管理
1、安装
(django3) [root@localhost celery_test]# pip install supervisor -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
2、配置文件管理与启动
进入到项目的根目录下,与settings同级:
(1)创建配置文件夹
(django3) [root@localhost celery_test]# mkdir conf
(django3) [root@localhost celery_test]# ls
conf __init__.py settings.py urls.py wsgi.py
(django3) [root@localhost celery_test]#
(2)生成配置文件
(django3) [root@localhost celery_test]# echo_supervisord_conf > conf/supervisord.conf
(3) 开启web服务
...
[inet_http_server] ; inet (TCP) server disabled by default
port=127.0.0.1:9001 ; ip_address:port specifier, *:port for all iface
;username=user ; default is no username (open server)
;password=123 ; default is no password (open server)
...
开启supervisor的web服务,需要将上述配置文件中的注释去掉;另外开启supervisorctl命令行工具的web服务。
...
[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL for a unix socket
serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
...
可以看到这个配置文件最后两行:
;[include]
;files = relative/directory/*.ini
将其打开,并且修改为:
[include]
files = *.ini
也就是说凡是.ini的文件都可以将其当作配置文件包含进来,进行启动。
(4)新建supervisor_celery_worker.ini
(django3) [root@localhost conf]# touch supervisor_celery_worker.ini
写入以下内容:
[program:celery_worker]
command=python manage.py celery worker -l INFO
directory=/root/Envs/celery_test #项目根目录,否则command找不到manage.py文件
environment=PATH="/root/Envs/django3/bin" #虚拟环境目录
stdout_logfile=/root/Envs/celery_test/logs/celery_worker.log
stderr_logfile=/root/Envs/celery_test/logs/celery_worker.log
autostart=true
autorestart=true
startsecs=10
stopwatisecs=60
priority=998
启动supervisor:
(django3) [root@localhost conf]# supervisord -c supervisord.conf
可以通过:
(django3) [root@localhost conf]# ps -ef | grep supervisor
查看进程,另外通过supervisorctl命令查看具体的服务,比如celery_worker服务。
(5)新建supervisor_celery_beat.ini
[program:celery_beat]
command=python manage.py celery beat -l INFO
directory=/root/Envs/celery_test
environment=PATH="/root/Envs/django3/bin"
stdout_logfile=/root/Envs/celery_test/logs/celery_beat.log
stderr_logfile=/root/Envs/celery_test/logs/celery_beat.log
autostart=true
autorestart=true
startsecs=10
stopwatisecs=60
priority=997 #数字越大越优先
这里通过supervisorctl中的update进行添加即可:
(django3) [root@localhost conf]# supervisorctl
supervisor> help
default commands (type help <topic>):
=====================================
add exit open reload restart start tail
avail fg pid remove shutdown status update
clear maintail quit reread signal stop version
supervisor> update
(6)新建supervisor_celery_flower.ini
[program:celery_flower]
command=python manage.py celery flower #这个命令进行了更改
directory=/root/Envs/celery_test
environment=PATH="/root/Envs/django3/bin"
stdout_logfile=/root/Envs/celery_test/logs/celery_flower.log
stderr_logfile=/root/Envs/celery_test/logs/celery_flower.log
autostart=true
autorestart=true
startsecs=10
stopwatisecs=60
priority=996 #注意优先级,它是最后启动
3、总结
supervisor配置文件中将web界面进行开启,另外将最后的include进行开启,然后分别创建不同的ini文件,里面的文件基本上就是命令、日志文件路径、优先级进行了更改,另外如果添加了服务通过supervisorctl中的update进行添加,你也可以通过本地9001端口的web服务进行访问。