配色: 字号:
kafka搭建
2018-08-16 | 阅:  转:  |  分享 
  
Kafka搭建集群规划安装包的导入根据集群规划,需要在3个节点上进行安装,当然我们可以先在一个节点上安装配置好,然后scp到其他两个节点中
。解压并配置对server.properties文件进行配置以Hadoop2节点上的配置为例第一处:这个地方配置的是kafka在该
节点上的编号,类似于zookeeper我们让Hadoop2为0Hadoop3为1Hadoop4为2对于Hadoo
p3和Hadoop4需要分别在他们各自节点上进行配置。第二处:9092是kafka的默认端口,这个不需要修改第三处:此处需要
你写出当前kafka所在节点的主机名第四处:次处需要写出kafka生成日志数据的地方,这个类似于zookeeper第五处:此处需要
你将全部的zookeeper节点的信息都写上,对于kafka而言,它是紧密的于zookeeper相连的配置kafka的环境变量启动
kafkaKafka在启动以后有点类似于hive的第二种启动模式,它会停留等待在哪里,若你向使用,则可以另外开启一个客户端;同时
对于Kafka的启动命令需要我们传入一个参数,这个参数就是我们配置的那个文件server.properties启动命令:noh
upKafka-server-start.shserver.properties&Nohup。。。。。。&可以将kaf
ka服务运行在后台当然这个命令要在conf目录下执行,否则server.properties文件你是找不到的创建主题kafka
-topics.sh--create--zookeeperlocalhost:2181--replication-fact
or1--partitions1--topictests查看主题:bin/kafka-topics.sh--list
--zookeeperlocalhost:21816.3模拟一个生产者往kafka里面添加数据:bin/kafka-consol
e-producer.sh--broker-listhadoop1:9092,hadoop2:9092--topictes
ts6.4模拟一个消费者,往kafka里面消费数据读数据bin/kafka-console-consumer.sh--z
ookeeperlocalhost:2181--topictest--from-beginning
献花(0)
+1
(本文系实习生101首藏)