标签：kafka   消息集群   

以前的消息队列（activeMQ）对于大数据吞吐率不行，但kafka很好的解决了此类问题，并且以集群的方式进行扩展，可谓相当强大：

集群搭建方式非常轻量级，只需将tar包拷贝到服务器，，解压，修改配置文件即可：

1、tar -xzf kafka_2.9.2-0.8.1.1.tgz

2、修改配置文件：

节点1：

vim config/server.properties broker.id=1 //所有集群节点中必须唯一 port=9092 //端口号（发送消息） log.dir=http://www.mamicode.com/tmp/kafka-logs-1 //日志存放路径        host.name=datanode    //域名随便取

       zookeeper.connect=datanode:2181,namenode:2181   //节点间地址

节点2：

vim config/server.properties broker.id=:2 //所有集群节点中必须唯一 port=9092 //端口号（发送消息） log.dir=http://www.mamicode.com/tmp/kafka-logs-1 //日志存放路径        host.name=namenode    //域名随便取

       zookeeper.connect=datanode:2181,namenode:2181   //节点间地址

......

3、启动zookeeper（最好每台节点都要启动）

bin/zookeeper-server-start.sh config/zookeeper.properties & 4、启动kafka每个节点（每台节点都要启动） bin/kafka-server-start.sh config/server.properties & 5、新建主题topic（只要建一次就行） bin/kafka-topics.sh --create --zookeeper namenode:2181 --replication-factor 2 --partitions 2 --topic topic1 6、查看主题topic bin/kafka-topics.sh --describe --zookeeper namenode:2181 --topic topic1

7、新建producer发送消息 a.bin/kafka-console-producer.sh --broker-list namenode:9092 --topic topic1 b.输入消息 Ctrl+c终止输入 8、新建consumer消费消息 bin/kafka-console-consumer.sh --zookeeper namenode:2181 --from-beginning --topic topic1 OK 集群搞定 开始检测java客户端的情况： 1、创建生产者：

2、创建消费者：

5、加载partition

6、处理消息

检测完毕