一,安装vm ,centos系统 (测试步骤,正式搭建可以跳过)
1,在win10上,安装vm,centos8.5系统
vm下载(试用版本):https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html
centos8.5系统:
CentOS Mirrors List
2,下载完成之后打开虚拟机
3,点击创建新的虚拟机,然后按照提示,点击自定义安装
4,具体调整参照:(59条消息) 在windows上安装虚拟机以及安装centos7操作系统_dd_hello_的博客-CSDN博客_windows虚拟机安装centos
二,vm上安装docker(安装方式:使用存储库进行安装)
参考文档:安装 Docker Compose |Docker 文档
1,设置存储库
a , 安装软件包(提供实用程序)并设置稳定存储库
sudo yum install -y yum-utils
sudo yum-config-manager
–add-repo
https://download.docker.com/linux/centos/docker-ce.repo
提示: 添加仓库自:******
b ,可选:启用夜间或测试存储库
sudo yum-config-manager –enable docker-ce-nightly
不返回提示
c , 启用测试通道
sudo yum-config-manager –enable docker-ce-test
不返回提示
2,安装 Docker 引擎
a, 安装最新版本的 Docker 引擎和 containerd,或转到下一步以安装特定版本:
sudo yum install docker-ce docker-ce-cli containerd.io
报错:错误:
问题 1: 安装的软件包的问题 podman-3.3.1-9.module_el8.5.0+988+b1f0b741.x86_64
- 软件包 podman-3.3.1-9.module_el8.5.0+988+b1f0b741.x86_64 需要 runc >= 1.0.0-57,但没有提供者可以被安装
- 软件包 containerd.io-1.4.12-3.1.el8.x86_64 与 runc(由 runc-1.0.2-1.module_el8.5.0+911+f19012f9.x86_64 提供)冲突
- 软件包 containerd.io-1.4.12-3.1.el8.x86_64 取代了 runc(由 runc-1.0.2-1.module_el8.5.0+911+f19012f9.x86_64 提供)
- 无法为该任务安装最佳候选
- 软件包 runc-1.0.0-66.rc10.module_el8.5.0+1004+c00a74f5.x86_64 被模块过滤过滤掉
- 软件包 runc-1.0.0-72.rc92.module_el8.5.0+1006+8d0e68a2.x86_64 被模块过滤过滤掉
问题 2: 安装的软件包的问题 buildah-1.22.3-2.module_el8.5.0+911+f19012f9.x86_64 - 软件包 buildah-1.22.3-2.module_el8.5.0+911+f19012f9.x86_64 需要 runc >= 1.0.0-26,但没有提供者可以被安装
- 软件包 docker-ce-3:20.10.12-3.el8.x86_64 需要 containerd.io >= 1.4.1,但没有提供者可以被安装
解决办法:
sudo yum install docker-ce docker-ce-cli containerd.io –allowerasing
提示:Docker CE Stable – x86_64 105 B/s | 1.6 kB 00:15
导入 GPG 公钥 0x621E9F35:
Userid: “Docker Release (CE rpm) docker@docker.com”
指纹: 060A 61C5 1B55 8A7F 742B 77AA C52F EB6B 621E 9F35
来自: https://download.docker.com/linux/centos/gpg
确定吗?[y/N]:
执行y
提示:完毕!
3 ,启动 Docker。
sudo systemctl start docker
4 , 通过运行映像验证 Docker 引擎是否已正确安装。
docker version
三,docker安装crawlab
参考文档:介绍 | Crawlab 中文文档
Docker · Crawlab文档
1,下载crawlab镜像:
a,创建 /etc/docker/daemon.json 文件 (docker-compose.yml也在该目录下)
sudo touch daemon.json
b,编辑文件
vi daemon.json
{“registry-mirrors”: [“https://registry.docker-cn.com”,“https://nrbewqda.mirror.aliyuncs.com”,“https://dmmxhzvq.mirror.aliyuncs.com”]}
c,重新加载daemon.json文件和重启docker
sudo systemctl daemon-reload
sudo systemctl restart docker
d, 拉取镜像crawlab
docker pull tikazyq/crawlab:latest
2 , 查看运行的程序
docker ps
3,安装docker-compose
安装python3:
pip3 install -U docker-compose
错误提示:Command “python setup.py egg_info” failed with error code 1 in /tmp/pip-build-tejcgxtb/cryptography/
解决:python -m pip install –upgrade pip
检查是否安装正常:
docker-compose –version
4, 拉取mongdb镜像
docker pull mongo
5,创建 docker-compose.yml
服务器配置参考文档:
(59条消息) 阿里云服务器 配置 crawlab lite,以及安装 Selenium+Chromedriver_gogobody的博客-CSDN博客
https://docs.crawlab.cn/zh/Installation/Docker.html
5.1单节点
注:正式搭建需要添加对外访问地址和端口
version: ‘3.3’
services:
master:
image: crawlabteam/crawlab
container_name: crawlab_master
restart: always
environment:
CRAWLAB_API_ADDRESS: “https://47.240.111.101:6799” # 后端api, 设置为 http://<宿主机IP>:<端口>,端口为映射出来的端口
CRAWLAB_NODE_MASTER: Y # Y: 主节点
CRAWLAB_MONGO_HOST: mongo # mongo host address. 在 Docker-Compose 网络中,直接引用 service 名称
CRAWLAB_MONGO_PORT: 27017 # mongo port
CRAWLAB_MONGO_DB: crawlab # mongo database
CRAWLAB_MONGO_USERNAME: mongo # mongo username
CRAWLAB_MONGO_PASSWORD: mongo # mongo password
CRAWLAB_MONGO_AUTHSOURCE: admin # mongo auth source
volumes:
– “/opt/crawlab/master:/data” # 持久化 crawlab 数据
ports:
– “6789:8080” # 开放 api 端口 nginx
– “6799:8000” # app
depends_on:
– mongo
mongo:
image: mongo:4.2
restart: always
environment:
MONGO_INITDB_ROOT_USERNAME: mongo # mongo username
MONGO_INITDB_ROOT_PASSWORD: mongo # mongo password
volumes:
– “/opt/crawlab/mongo/data/db:/data/db” # 持久化 mongo 数据
ports:
– “27017:27017” # 开放 mongo 端口到宿主机
运行:
docker-compose up -d
提示:
Creating docker_mongo_1 … done
Creating crawlab_master … done
注:云服务器上的安全端口是否开放
netstat -ano | grep 端口号
netstat -ntlp # 查看所有端口
运维在云服务器加上开安全端口
5.2 同一服务器多节点
参考最新文档:https://docs.crawlab.cn/zh/Installation/Docker.html
version: ‘3.3’
services:
master:
image: tikazyq/crawlab:latest
container_name: master
environment:
# CRAWLAB_API_ADDRESS: “http://47.240.111.101:6799” # backend API address 后端 API 地址. 适用于 https 或者源码部署
CRAWLAB_SERVER_MASTER: “Y” # whether to be master node 是否为主节点,主节点为 Y,工作节点为 N
CRAWLAB_MONGO_HOST: “mongo” # MongoDB host address MongoDB 的地址,在 docker compose 网络中,直接引用服务名称
CRAWLAB_REDIS_ADDRESS: “redis” # Redis host address Redis 的地址,在 docker compose 网络中,直接引用服务名称
ports:
– “6789:8080” # frontend port mapping 前端端口映射
depends_on:
– mongo
– redis
volumes:
– “/var/crawlab/log:/var/logs/crawlab” # log persistent 日志持久化
worker01:
image: tikazyq/crawlab:latest
container_name: worker01
environment:
CRAWLAB_SERVER_MASTER: “N”
CRAWLAB_MONGO_HOST: “mongo”
CRAWLAB_REDIS_ADDRESS: “redis”
depends_on:
– mongo
– redis
volumes:
– “/var/crawlab/log:/var/logs/crawlab” # log persistent 日志持久化
worker02:
image: tikazyq/crawlab:latest
container_name: worker02
environment:
CRAWLAB_SERVER_MASTER: “N”
CRAWLAB_MONGO_HOST: “mongo”
CRAWLAB_REDIS_ADDRESS: “redis”
depends_on:
– mongo
– redis
volumes:
– “/var/crawlab/log:/var/logs/crawlab” # log persistent 日志持久化
mongo:
image: mongo:latest
restart: always
#volumes:
# – “/opt/crawlab/mongo/data/db:/data/db” # make data persistent 持久化 ,添加卷会报权限问题
#ports:
# – “27017:27017” # expose port to host machine 暴露接口到宿主机
redis:
image: redis:latest
restart: always
volumes:
– “/opt/crawlab/redis/data:/data” # make data persistent 持久化
#ports:
# – “63799:6379” # expose port to host machine 暴露接口到宿主机
6, 登录 (ip替换为相应的ip地址)
url : http://47.240.111.101:6789/
user : admin
pw:admin
7,安装插件:消息推送+依赖安装
今天的文章搭建Crawlab爬虫管理平台分享到此就结束了,感谢您的阅读。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/7141.html