如何免费创建云端爬虫集群

安装工具

1. Git
2. Heroku CLI
3. Python client for Redis ：运行 pip install redis 命令即可。

下载配置文件

新开一个命令行提示符：

git clone https://github.com/my8100/scrapyd-cluster-on-heroku
cd scrapyd-cluster-on-heroku

登录 Heroku

heroku login
# outputs:
# heroku: Press any key to open up the browser to login or q to exit:
# Opening browser to https://cli-auth.heroku.com/auth/browser/12345-abcde
# Logging in... done
# Logged in as [email protected]

创建 Scrapyd 集群

1. 新建 Git 仓库

cd scrapyd
git init
# explore and update the files if needed
git status
git add .
git commit -a -m "first commit"
git status

1. 部署 Scrapyd APP

heroku apps:create svr-1
heroku git:remote -a svr-1
git remote -v
git push heroku master
heroku logs --tail
# Press ctrl+c to stop logs outputting
# Visit https://svr-1.herokuapp.com

1. 添加环境变量

   • 设置时区

   # python -c "import tzlocal; print(tzlocal.get_localzone())"
   heroku config:set TZ=Asia/Shanghai
   # heroku config:get TZ

   • 添加 Redis 账号（可选，详见 scrapy_redis_demo_project.zip 中的 settings.py ）

   heroku config:set REDIS_HOST=your-redis-host
   heroku config:set REDIS_PORT=your-redis-port
   heroku config:set REDIS_PASSWORD=your-redis-password

2. 重复上述第2步和第3步完成余下三个 Scrapyd APP 的部署和配置： svr-2 ， svr-3 和 svr-4

创建 ScrapydWeb APP

1. 新建 Git 仓库

cd ..
cd scrapydweb
git init
# explore and update the files if needed
git status
git add .
git commit -a -m "first commit"
git status

1. 部署 ScrapydWeb APP

heroku apps:create myscrapydweb
heroku git:remote -a myscrapydweb
git remote -v
git push heroku master

1. 添加环境变量

   • 设置时区

   heroku config:set TZ=Asia/Shanghai

   • 添加 Scrapyd server（详见 scrapydweb 目录下的 scrapydweb_settings_v8.py ）

   heroku config:set SCRAPYD_SERVER_1=svr-1.herokuapp.com:80
   heroku config:set SCRAPYD_SERVER_2=svr-2.herokuapp.com:80#group1
   heroku config:set SCRAPYD_SERVER_3=svr-3.herokuapp.com:80#group1
   heroku config:set SCRAPYD_SERVER_4=svr-4.herokuapp.com:80#group2

2. 访问 myscrapydweb.herokuapp.com