Kafka补充2019/4/18目录Kafka说明2kafka是消息系统2kafka的核心部分2消息压缩2kafka镜像3kafka本地目录
结构3kafka的副本机制3kafka支持的副本模型4Kafka说明kafka是消息系统zk//协同系统broker//代理
，kafkaserver，并不维护哪个消费者消费了消息producer//生产者consumergroup//消费者组，
每个组中只有一个消费者可以消费消息Consumer//消费者，维护了消费的消息状态topic//主题kafka的核心部分1
、消息缓存与fileSystem存储。数据被即刻写入os内核页，并缓存已经清理磁盘（可以配置）2、消息被消费后，kafka长时间驻
留消息，如果必要，可以实现重复消费3、对分组消息使用消息set，防止网络过载4、使用消费者保持着消息元数据5、消费者状态默认存储在
zk中，也可以存放在其他oltp中6、kafka中的生产和消费是pull-push模式7、kafka没有主从模式，所有broker
的地位相同。broker数据均在zk中维护,并在producer和cosumer中共享8、kafka的LB(loadbalanc
e)策略运行producer动态发现broker9、producer维护了broker的连接池，并能够通过zk的watcherc
allback调用10、producer可以选择同步或者异步的方式向broker发送消息消息压缩在大数据集群中传递信息的时候可以启
用压缩。1、producer压缩消息(gzip或者snnappy),consumer解压缩2、压缩的消息没有深度限制3、在mess
age的header中有一个compresstypexx-->压缩类型（0:未压缩）----------------------
--------------------|｜|｜|｜|｜---------------------------------
---------kafka镜像类似于maven的处理方式，将源集群的数据副本化到targetkafka集群。kafka本地目录
结构[/home/hadoop/kafka/logs]./.lock..../test-1//主题+分区./test-1/00
000000....log//存放消息数据./test-0kafka的副本机制1、每个分区有n个副本，可以承受n-1个节点故障
。//zk是n-1/22、每个副本都有自己的leader，其余的就是follow3、zk中存放分区的leader和allre
plica的信息。（$zk>get/brokers/topics/test/partitions/1/state）4、每个副本存
储消息的部分数据在本地的log和offset中，周期性同步到disk中去，确保消息写入全部副本或者其中一个5、leader故障时，
消息或者写入本地的log，或者在producer在收到ack消息前，resentpartition给newleaderkafk
a支持的副本模型1、同步复制producer从zk中找leader，并发送消息，消息立即写入本地log，而且follow开始pu
llmessage每个follow将消息写入各自的本地log后，向leader发送确认回执，leader在收到所有follow的
确认回执和本地副本写入工作均完成后，再向producer发送确认回执。消费者的数据pull从leader中完成。2、异步复制lea
der的本地log写入完成，即向producer确认。魁魁语录：山中相送罢，日暮掩柴扉。春草明年绿，王孙归不归魁魁语录：山中相送罢，日暮掩柴扉。春草明年绿，王孙归不归江湖一哥版权所有江湖一哥版权所有 |
|
