9

Crawlab Lite 正式发布，更轻量的爬虫管理平台 - 张凯强的技术分享

 3 years ago
source link: https://zkqiang.cn/posts/753ba7a9/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client
Crawlab Lite 正式发布，更轻量的爬虫管理平台

Crawla_

2020年7月15日 下午

476 字

5 分钟

2162 次

Crawlab 是一款基于 Golang 的分布式爬虫管理平台，产品发布已经一年有余，经过开发团队的不断打磨，即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能，使产品更加专业。但与此同时我们也注意到，部分用户并不是分布式爬虫用户，他们更多只是在单机情况下使用 Crawlab。其次目前 Crawlab 逐步加入了丰富的功能，也使整个产品逐渐巨化，大部分用户并不能充分使用所有的功能。

因此 Crawlab Lite 作为 Crawlab 的轻量化版本正式发布，相较于 Crawlab，该版本将专注于解决单机环境下的爬虫管理，并且平台本身不再依赖任何外部数据库，现有以及未来加入的功能都仅限于高频使用的必需功能，做到最大化的功能克制。

首次发布的版本为 v0.0.1 版本，该版本作为首个体验版本，已经具备了 Lite 版规划的核心功能，相较于 Crawlab 主要区别：

  • 仅支持单机环境下的爬虫管理，不再具备分布式功能
  • 内置依赖 Key-Value 文件数据库，运行不再需要配置外部数据库
  • 删减了大量非必需的功能，平台更加轻量与易用
  • 后端代码大量重构，平台的稳定和速度大幅提升

我们依然保留通过 docker-componse 这种最方便的方式：

  1. 在任意目录下创建 docker-compose.yml，内容如下：
    version: '3'
    services:
      master:
        image: zkqiang/crawlab-lite:latest
        container_name: master
        ports:
          - "8080:8080"
  2. 在目录下运行命令：
    docker-compose up -d
  3. 访问 http://localhost:8080

https://github.com/crawlab-team/crawlab-lite


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK