文档章节

填坑唯品会分布式调度Saturn

算法之名
 算法之名
发布于 2018/11/06 15:45
字数 1197
阅读 840
收藏 1

唯品会分布式调度Saturn的开发文档见:https://vipshop.github.io/Saturn/#/zh-cn/3.0/quickstart

这里面说要安装node.js 8.7.0+跟npm 5.4.2+

但其实node.js 8.7.0就已经包含了npm 5.4.2,首先下载node.js 8.7.0

wget https://nodejs.org/dist/v8.7.0/node-v8.7.0-linux-x64.tar.gz

解压tar -xzvf node-v8.7.0-linux-x64.tar.gz

mv node-v8.7.0-linux-x64 /usr/local/node-8.7

cd /usr/local/node-8.7/

建立软链接

ln -s /usr/local/node-8.7/lib/node_modules/npm/bin/npm-cli.js /usr/local/bin/npm

ln -s /usr/local/node-8.7/bin/node /usr/local/bin/node

修改vim /etc/profile

PATH=/usr/local/node-8.7/bin:$PATH

export PATH

保存退出,source /etc/profile

[root@host2 node-8.7]# node -v
v8.7.0
[root@host2 node-8.7]# npm -v
5.4.2

这样我们可以看到node跟npm就装好了。

因为我是从docker启动的,而这里需要有一个docker-compose,这里我们需要来安装docker-compose.

要安装docker-compose需要先安装pip.

yum -y install epel-release

yum -y install python-pip

升级pip

pip install --upgrade pip

查看pip版本号

[root@host2 node-8.7]# pip -V   (这里是大写的V)
pip 18.1 from /usr/lib/python2.7/site-packages/pip (python 2.7)

这个时候用pip来安装docker-compose是肯定会报错的

pip install docker-compose

ipapython 4.5.0 requires pyldap>=2.4.15, which is not installed.
ipapython 4.5.0 has requirement dnspython>=1.15, but you'll have dnspython 1.12.0 which is incompatible.

Cannot uninstall 'requests'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.

根据提示我们来安装pyldap也一样会报错

pip install pyldap

Cannot uninstall 'requests'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.

ipapython 4.5.0 has requirement dnspython>=1.15, but you'll have dnspython 1.12.0 which is incompatible.

Cannot uninstall 'python-ldap'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.

根据提示dnspython版本不对,要进行升级

pip install --ignore-installed dnspython

安装yum install python-devel

安装yum install openldap-devel

升级pip install --ignore-installed python-ldap

安装pip install pyldap

现在可以安装docker-compose了

pip install docker-compose --ignore-installed requests

[root@host2 node-8.7]# docker-compose -version
docker-compose version 1.23.1, build b02f130

修改saturn-docker目录下的quickstart-docker.sh

vim quickstart-docker.sh

把docker-compose up改成从后台启动

nohup docker-compose up &

保存退出。

当然我们还要安装docker(如果你没装的话)

yum install docker

修改quickstart-docker.sh为可执行文件

chmod 755 quickstart-docker.sh

运行该文件

./quickstart-docker.sh

我们在浏览器就可以看到管理界面了(端口号9088)

查看docker进程可以看到他启了什么

[root@host1 saturn-docker]# docker ps
CONTAINER ID        IMAGE                   COMMAND                  CREATED             STATUS              PORTS                                            NAMES
d200d64a2b02        saturn/demo-init        "/saturn-executor/..."   27 hours ago        Up 25 hours                                                          demo-init
0a92685fb26c        saturn/saturn-console   "java -DSATURN_CON..."   27 hours ago        Up 25 hours         0.0.0.0:2181->2181/tcp, 0.0.0.0:9088->9088/tcp   saturn_console
08f66a0247e9        saturn/saturn-db        "docker-entrypoint..."   27 hours ago        Up 25 hours         33060/tcp, 0.0.0.0:3308->3306/tcp                saturn_db

Java开发Job填坑

新建一个maven项目(非springboot项目)

pom

<dependencies>
    <dependency>
        <groupId>com.vip.saturn</groupId>
        <artifactId>saturn-job-api</artifactId>
        <!-- 修改成指定版本 -->
        <version>3.1.0</version>
    </dependency>
</dependencies>
<build>
    <plugins>
        <plugin>
            <groupId>com.vip.saturn</groupId>
            <artifactId>saturn-plugin</artifactId>
            <!-- 版本与saturn-job-api一致 -->
            <version>3.1.0</version>
        </plugin>
    </plugins>
</build>

java类

package com.guanjian;


import com.vip.saturn.job.AbstractSaturnJavaJob;
import com.vip.saturn.job.SaturnJobExecutionContext;
import com.vip.saturn.job.SaturnJobReturn;

/**
 * Created by Administrator on 2018/11/5.
 */
public class DemoJob extends AbstractSaturnJavaJob {
    @Override
    public SaturnJobReturn handleJavaJob(String s, Integer integer, String s1, SaturnJobExecutionContext saturnJobExecutionContext) throws InterruptedException {
        return new SaturnJobReturn("我是分片" + integer + "处理结果");
    }
}

Windows开发环境下修改C:\Windows\System32\drivers\etc\hosts

添加192.168.5.129 console的映射(很重要,IP地址为你安装的服务器,教程上没有说)

在linux系统下同样要在/etc/hosts下添加该映射

然后刷新网卡service network restart

添加maven参数

saturn:run -Dnamespace=saturn-it.vip.com -DexecutorName=exec01 -DVIP_SATURN_CONSOLE_URI=http://192.168.5.129:9088

依据教程我就不多说了,可以运行起来

打包:(在Windows CMD命令行下)

E:\saturntest>mvn saturn:zip
[INFO] Scanning for projects...
[INFO]
[INFO] ----------------------< com.guanjian:saturntest >-----------------------
[INFO] Building saturntest 1.0-SNAPSHOT
[INFO] --------------------------------[ jar ]---------------------------------
[INFO]
[INFO] >>> saturn-plugin:3.1.0:zip (default-cli) > package @ saturntest >>>
Downloading from central: https://repo.maven.apache.org/maven2/com/vip/saturn/saturn-job-api/3.1.0/saturn-job-api-3.1.0.pom
Downloaded from central: https://repo.maven.apache.org/maven2/com/vip/saturn/saturn-job-api/3.1.0/saturn-job-api-3.1.0.pom (463 B at 241 B/s)
Downloading from central: https://repo.maven.apache.org/maven2/com/vip/saturn/saturn-job-api/3.1.0/saturn-job-api-3.1.0.jar
Downloaded from central: https://repo.maven.apache.org/maven2/com/vip/saturn/saturn-job-api/3.1.0/saturn-job-api-3.1.0.jar (16 kB at 16 kB/s)
[INFO]
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ saturntest ---
[WARNING] Using platform encoding (GBK actually) to copy filtered resources, i.e. build is platform dependent!
[INFO] Copying 0 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ saturntest ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ saturntest ---
[WARNING] Using platform encoding (GBK actually) to copy filtered resources, i.e. build is platform dependent!
[INFO] skip non existing resourceDirectory E:\saturntest\src\test\resources
[INFO]
[INFO] --- maven-compiler-plugin:3.1:testCompile (default-testCompile) @ saturntest ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ saturntest ---
[INFO] No tests to run.
[INFO]
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ saturntest ---
[INFO] Building jar: E:\saturntest\target\saturntest-1.0-SNAPSHOT.jar
[INFO]
[INFO] <<< saturn-plugin:3.1.0:zip (default-cli) < package @ saturntest <<<
[INFO]
[INFO]
[INFO] --- saturn-plugin:3.1.0:zip (default-cli) @ saturntest ---

[INFO] Packing the saturn job into a zip file: version:3.1.0
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 43.362 s
[INFO] Finished at: 2018-11-06T15:41:16+08:00
[INFO] ------------------------------------------------------------------------

此时我们可以看到

在target目录下多了一个zip包。剩下的坑还有待发现(待续)

© 著作权归作者所有

算法之名
粉丝 38
博文 155
码字总数 221737
作品 0
广州
私信 提问
Saturn(定时任务调度系统)架构文档

saturn开发指引之java · vipshop/Saturn Wiki · GitHub https://github.com/vipshop/Saturn/wiki/saturn%E5%BC%80%E5%8F%91%E6%8C%87%E5%BC%95%E4%B9%8Bjava Saturn架构文档 · vipshop/Sa......

丁建祥
2018/12/19
0
0
如何打造高性能高可用的电商平台

由于主办方不常在线,请参会的小伙伴移步以下地址报名:http://t.cn/Rip97of 活动时间 2017年03月25日13:30—18:00 活动场地 广州市越秀区东风东路733号羊城同创汇印刷楼9楼路演中心 (交通指...

又拍云
2017/03/14
0
0
如何打造高性能高可用的电商平台

由于主办方不常在线,请参会的小伙伴移步以下地址报名:http://t.cn/Rip97of 活动时间 2017年03月25日13:30—18:00 活动场地 广州市越秀区东风东路733号羊城同创汇印刷楼9楼路演中心 (交通指...

又拍云
2017/03/14
6
0
阿里京东之外 电商平台如何凭新技术抢占双11份额

全球狂欢的双十一购物节已然落下帷幕,前几日,阿里巴巴宣布大促成交额锁定1682亿元,京东也首次公布双11销售数据,下单金额锁定1271亿元。 据雷锋网了解,星图数据对20家B2C电商平台进行监测...

吕倩
2017/11/14
0
0
进击的微服务实战派丨 Micro Service Open Talk 上海站

一、活动介绍 2016年10月,Spring Cloud 中国社区(http://springcloud.cn) 作为国内首个 Spring Cloud 构建微服务架构的交流社区正式成立,致力于为 Spring Boot 和 Spring Cloud 技术人员提...

又拍云
2017/09/27
50
0

没有更多内容

加载失败,请刷新页面

加载更多

2019年普通高校在川招生专业及名额介绍文科 带学费

2019年普通高校在川招生专业及名额介绍文科 带学费

asdtiang
12分钟前
0
0
springCloud配置中心config配置svn(踩坑记录)(基于consul)

新建一个config Server模块; 引入如下依赖 <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-config-server</artifactId></dependency>......

为何不可1995
12分钟前
0
0
mysql相关tips(持续更新)

1.字符集:utf8mb4 mysql 5.5.3之后出来的字符集,占用1-4个字节,最大占用的字节数为4.目前这个字段主要应用在(Emoji表情)。utf8mb4兼容utf8(1-3个字节),且比utf8能表示更多的字符。什...

lara_
12分钟前
0
0
微服务开源生态报告 No.1

从关注开源,到使用开源,再到参与开源贡献,越来越多的国内开发者通过开源技术来构建业务。 截止目前,Arthas / Dubbo / ChaosBalde / Nacos / RocketMQ / Seata / Sentinel / Spring Clou...

阿里云官方博客
15分钟前
1
0
MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大

现象:同样的SQL,每天处理的数据行数差不多,但是费用突然暴涨甚至会翻数倍。 分析: 我们先明确MaxCompute SQL后付费的计费公式:一条SQL执行的费用=扫描输入量 ️ SQL复杂度 ️ 0.3(¥/GB...

zhaowei121
17分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部