当前位置:首页 > Windows程序 > 正文

多个目录分布在不同的磁盘上可以提高读写性能num.partitions =2 ? 每个tipic的默认分区个数

2024-03-31 Windows程序

为了演示集群的效果,这里筹备一台虚拟机(window 7),在虚拟机中搭建了单IP多节点的zookeeper集群(多IP节点的也是同理的),并且在本机(win 7)和虚拟机中都安置了kafka。

前期筹备说明:

1.三台zookeeper处事器,本机安置一个作为server1,虚拟机安置两个(单IP)

2.三台kafka处事器,本机安置一个作为server1,虚拟机安置两个。

备注:固然你可以直接在虚拟机上安置三个处事器分袂为server1、server2、server3 。

虚拟机和本机网络环境

1.将虚拟机的网络模式调解为桥接模式,将虚拟机的防火墙成果封锁;

2.将主机的防火墙也封锁。

3.互相ping,测试是否能正常连接.。

下载kafka

从Kafka官网下载Kafka安置包。(要下载Binary downloads这个类型,不要下载源文件,便利使用)

下载zookeeper

从zookeeper官网下载zookeeper安置包。

下载JDK

从官网下载(建议下载Oracle官方颁布的Java),,配置环境变量。

zookeeper集群环境搭建 本机配置 改削本机sever1的zoo.cfg文件配置:

#存储内存中数据库快照的位置,如果不设置参数,更新事务日志将被存储到默认位置。 #dataDir=http://www.mamicode.com/tmp/zookeeper dataDir=D:/bigData/zookeeper-3.4.10/data #日志文件的位置 dataLogDir=D:/bigData/zookeeper-3.4.10/zlog #监听端口 clientPort=2181 #集群处事器配置 server.1=192.168.1.130:9000:7000 server.2=192.168.1.103:9001:7001 server.3=192.168.1.103:9002:7002

格局: server.A = B:C:D

A:是一个数字,暗示第几号处事器

B:处事器IP地点

C:是一个端标语,用来集群成员的信息交换,暗示这个处事器与集群中的leader处事器交换信息的端口

D:是在leader挂失时专门用来进行选举leader所用的端口

完整配置文件如下:

# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. #dataDir=http://www.mamicode.com/tmp/zookeeper dataDir=D:/bigData/zookeeper-3.4.10/data dataLogDir=D:/bigData/zookeeper-3.4.10/zlog # the port at which the clients will connect clientPort=2181 # the maximum number of client connections. # increase this if you need to handle more clients #maxClientCnxns=60 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1 server.1=192.168.1.130:9000:7000 server.2=192.168.1.101:9001:7001 server.3=192.168.1.101:9002:7002

View Code

创建serverID

zoo.cfg配置文件中dataDir目录中新建一个没有后缀的myid文件,里边写1

技术分享图片

虚拟机配置

将本机的zookeeper安置包拷贝到虚拟机上,然后在盘中新建两个目录,server2,server3目录。

技术分享图片

改削server2的zoo.cfg配置文件:

#存储内存中数据库快照的位置,如果不设置参数,更新事务日志将被存储到默认位置。 #dataDir=http://www.mamicode.com/tmp/zookeeper dataDir=E:/bigData/server2/zookeeper-3.4.10/data #日志文件的位置 dataLogDir=E:/bigData/server2/zookeeper-3.4.10/zlog #监听端口 clientPort=2182 #集群处事器配置 server.1=192.168.1.130:9000:7000 server.2=192.168.1.103:9001:7001 server.3=192.168.1.103:9002:7002

创建SeverID

在zoo.cfg配置文件中dataDir目录中新建一个没有后缀的myid文件,里边写2。

同理配置server3中的zookeeper,这样zookeeper集群的配置事情已经完成。

温馨提示: 本文由Jm博客推荐,转载请保留链接: https://www.jmwww.net/file/33401.html

Jm-杰米博客Jamie
草根站长的技术交流乐园!IT不会不要紧快来好好学习吧!
  • 20786文章总数
  • 7494585访问次数
  • 建站天数
  • 友情链接