首页 > > 网络编程 > 其它 >

pyspider分布式——windows

2018-06-18 03:22:46来源：未知阅读 ()

首先安装redis

安装好后将redis.windows.conf中

bind 127.0.0.1 改为 bind 0.0.0.0 #这样修改是为了让其它机器可以访问本机redis
protected-mode yes 改为protected-mode no  #在redis3.2之后，redis增加了protected-mode，在这个模式下，即使修改掉了bind 127.0.0.1，再访问redisd时候还是报错。

在redis目录下建立redis.6380.conf文件，6380是redis的端口，默认是6379，我这里修改成了6380，在redis.windows.conf也需要修改port 6379为port 6380

port 6380      
loglevel notice    
logfile "D:/Redis/Logs/redis6380_log.txt"       
appendonly yes
appendfilename "appendonly.6380.aof"   
cluster-enabled yes                                    
cluster-config-file nodes.6380.conf
cluster-node-timeout 15000
cluster-slave-validity-factor 10
cluster-migration-barrier 1
cluster-require-full-coverage yes

运行 redis-server.exe redis.windows.conf

master 的config.conf配置:

{
 "taskdb": "mysql+taskdb://pyspider:pyspider-pass@192.168.209.128:3306/taskdb",
  "projectdb": "mysql+projectdb://pyspider:pyspider-pass@192.168.209.128:3306/projectdb",
  "resultdb": "mysql+resultdb://pyspider:pyspider-pass@192.168.209.128:3306/resultdb",
  "message_queue": "redis://127.0.0.1:6380/db",
  "phantomjs-proxy": "10.211.55.23:25555",
  "scheduler": {
    "xmlrpc-host": "0.0.0.0",
    "delete-time": 10
  },
  "webui": {
    "port": 5000,
    "username": "",
    "password": "",
    "need-auth": false
  }
}

在master上运行：

python run.py -c D:/Work/Python/loni/pyspider/config.json

slave的config.conf配置如下：

{
  "taskdb": "mysql+taskdb://pyspider:pyspider-pass@192.168.209.128:3306/taskdb",
  "projectdb": "mysql+projectdb://pyspider:pyspider-pass@192.168.209.128:3306/projectdb",
  "resultdb": "mysql+resultdb://pyspider:pyspider-pass@192.168.209.128:3306/resultdb",
  "message_queue": "redis://192.168.209.128:6380/db",
  "phantomjs-proxy": "192.168.209.128:25555",
  "fetcher": {
    "xmlrpc-host": "192.168.209.128"
  }
}

slave 上运行：

python run.py -c D:/pyspider/config.json fetcher
python run.py -c D:/pyspider/config.json start_processor
python run.py -c D:/pyspider/config.json start_result_worker

以上方法也是我自己瞎折腾出来的，不能确定一定能成功。

很少写博客，文笔不好，请见谅。

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有