RTask
Python3+Huey+Zerorpc+Redis+Flask=RTask 轻量级分布式任务管理系统
系统简介:
只需要将任务执行脚本放在tasks目录或者其他目录，进行简单的配置，即可将任务变成分布式任务，并可通过web界面节点的任务进行监控和控制
运行原理:
将任务脚本放入tasks目录，脚本需要提供main函数并可传入一个参数供系统调用，用来传入任务id，如果需要将任务执行结果进行保存，将保存函数命名为save，并将需要存储的数据当做参数传入，系统将自动调用save函数存储运行结果；本系统利用redis数据库作为数据队列，数据去重数据库，节点监控数据库,配置文件config.py修改后，在节点机器运行python3 server.py即可，节点会自动在配置的redis数据库中注册节点的信息，监控端运行python3 monitor.py即可访问本地端口8888对节点和任务进行管理，管理端通过zerorpc远程调用控制节点，各个节点通过huey开启多个任务，每一个任务都是一个进程，注意任务数量不要太多，推荐使用协程写任务，然后开启适量的进程数量.
功能特点
- 配置部署简单，只需要安装相应的第三方库，对配置文件进行简单的配置，运行server.py文件即可
- 支持redis集群
- 节点监控方便，可通过控制面板添加修改任务，启动指定数量任务，监控节点系统和redis系统状态
- 内置数据去重算法，该系统最初为分布式爬虫而设计，故添加了两种数据去重算法，redis SET集合去重占用内存高，无错误率，适用于千万级别数据的去重，bloomfliter算法去重占用内存低，存在错误率，适用于上亿级别的数据去重
监控端展示
任务队列
节点展示
节点状态展示
工作进程控制
redis状态监控
系统使用配置
1.安装第三方依赖库和redis
2.编写任务脚本并预留main方法和save方法,save方法可选
3.配置任务
#coding=UTF-8
#配置文件，配置系统需要的数据库等参数
#任务配置
TASK_NAME = 'spider'
#任务返回的结果字典中taskid的名称
TASK_ID = 'id'
#是否开启自动扩展功能，如执行一个任务之后会解析出更多的任务
IS_NEXT = True
#任务返回的结果字典中待爬取的taskid的名称,必须是序列
NEXT_IDS = 'nextids'
#任务的模块名和路径
TASK_MODULE = 'tasks.spider'
#redis队列数据库配置
#redis类型，单机redis(single)还是集群redis(cluster)
QUEUE_REDIS_TYPE = 'single'
QUEUE_REDIS_HOST = '192.168.1.100'
QUEUE_REDIS_PORT = 6379
QUEUE_REDIS_DB = 0
QUEUE_REDIS_PWD = '123456'
QUEUE_REDIS_NODES = [{"host": "127.0.0.1", "port": "7000"}, {"host": "127.0.0.1", "port": "7001"}, {"host": "127.0.0.1", "port": "7002"}, {"host": "127.0.0.1", "port": "7003"}]
#是否将任务返回的结果保存，如果保存，则自动调用任务的save方法将数据传入
IS_SAVE = True
#去重配置
#是否开启任务去重功能
IS_FILTER = True
#去重方式，redis集合(set)去重或者bloomfilter算法(bloom)去重
FILTER_TYPE = 'set'
FILTER_REDIS_TYPE = 'single'
FILTER_REDIS_HOST = '192.168.1.101'
FILTER_REDIS_PORT = 6379
FILTER_REDIS_DB = 0
FILTER_REDIS_PWD = '123456'
#redis集群节点
FILTER_REDIS_NODES = [{"host": "127.0.0.1", "port": "7000"}, {"host": "127.0.0.1", "port": "7001"}, {"host": "127.0.0.1", "port": "7002"}, {"host": "127.0.0.1", "port": "7003"}]
#若使用BloomFilter算法去重需要预先知道要去重的数量和错误率
CAPACITY = 100000000
ERROR_RATE = 0.00000001
#RTask配置,只能是单机redis不支持集群,于存放各个节点,worker等信息,无需集群
RTASK_REDIS_HOST = '192.168.1.102'
RTASK_REDIS_POST = 6379
RTASK_REDIS_DB = 0
#RTASK_REDIS_PWD = None
RTASK_REDIS_PWD = '123456'
#RPC远程连接端口
RPC_PORT = 5555
#远程RPC控制认证密码
RPC_PWD = '123456'