kettle集群搭建_比kettle好用的开源etl「建议收藏」

以下配置和记录只为学习使用，查看了网上资料进行的实践，这是文档记录的一个章节，提供给大家学习。

现在公司使用的都是8.3稳定版本的开源Pentaho，也就是习惯称呼的Kettle。一般把Pentaho server安装在linux服务器上，使得server稳定运行，在Windows系统下安装客户端PDI使用。

客户端PDI连接Pentaho server的repository存储库后，都会把任务提交到server上或者设置调度计划执行作业。而不会在PDI客户端上调度作业。

但为了提高Pentaho的性能，可以增加多台carte服务器建立一个集群，下图是Pentaho性能扩展方式：

1.使用转换步骤中的多线程

2.建立carte集群

3.使用Hadoop大数据服务

本章节介绍第二种设置PDI集群。

集群技术可以用来水平扩展转换，使它们能以并行的方式运行在多台服务器上。转换的工作可以平均分到不同的服务器上。一个集群模式包括一个主服务器和多个子服务器，主服务器作为集群的控制器。只有在集群模式中，才有主服务器和子服务器的概念。作为控制器的Carte服务器就是主服务器，其它的Carte服务器就是子服务器。

本节将介绍怎样配置和执行一个转换，让其运行在carte集群上。

文章建立carte01位主服务器，carte02和carte03为从服务器，这三台carte服务器都是在同一个物理机上配置的，大家也可以在不同物理机配置carte服务器。

1.Carte的配置

注意事项：需要在/pentaho/.kettle的目录下有repositories.xml 文件，文件里的repository连接信息需要填写在carte配置文件中。

carte-01-config.xml内容为：

carte-02-config.xml 内容：

<slave_config>
	<masters>
		<slaveserver>
			<name>carte-01</name>
			<hostname>carte-server-01</hostname>
			<port>8080</port>
			<username>cluster</username>
			<password>cluster</password>
			<master>Y</master>
		</slaveserver>
	</masters>
	
	<report_to_masters>Y</report_to_masters> <!--配置向master汇报-->
	<slaveserver>
		<name>carte-02</name>
		<hostname>carte-server-01</hostname>
		<port>8081</port>
		<username>cluster</username>
		<password>cluster</password>
		<master>N</master>
		<get_properties_from_master>carte-01</get_properties_from_master> 
		<override_existing_properties>Y</override_existing_properties>
	</slaveserver>
	
	<repository>
		<name>pentaho-repo</name>
		<username>admin</username>
		<password>password</password>
	</repository>
	<max_log_lines>10000</max_log_lines> 
	<max_log_timeout_minutes>2880</max_log_timeout_minutes> 
	<object_timeout_minutes>240</object_timeout_minutes>
</slave_config>

carte-03-config.xml 内容同carte-02-config.xml。

2.Carte的启动

由于配置了carte的master主服务器，所以只有carte 的主服务器启动完成后，才能启动其他从服务器。

在PDI的安装目录data-integration下建立了Carte的一键启动脚本auto_start_carte.sh

#!/bin/bash
DIR_REL=`dirname $0`
cd $DIR_REL
DIR=`pwd`
echo "path is :$DIR"
sh $DIR/carte.sh  carte-01-config.xml >$DIR/carte_log/carte01.log 2>&1 &
sleep 20
sh $DIR/carte.sh  carte-02-config.xml >$DIR/carte_log/carte02.log 2>&1 &
sh $DIR/carte.sh  carte-03-config.xml >$DIR/carte_log/carte03.log 2>&1 &
echo "carte have been started!"