| 共 9 篇文章 |
|
Topic:test PartitionCount:5 ReplicationFactor:2 Configs: Topic: test Partition: 0 Leader: 0 Replicas: 0,1 Isr: 0,1 Topic: test Partition: 1 Leader: 1 Replicas: 1,2 Isr: 1,2 Topic: test Partition: 2 Leader: 2 Replicas: 2,0 Isr: 0,2 Topic: test Partition: 3 Leader: 0 Replicas: 0,2 Isr: 0,2 Topic: test Partition: 4 Leade... 阅43 转0 评0 公众公开 18-02-26 16:39 |
使用命令行手动或者向一个不存在的topic发送(生产)消息时都会新创建一个topic 向一个不存在的topic发送(生产)消息时新创建的topic时，其采用为默认的topic-config配置以及server.properties中的topic的配置。bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 1 --replication-factor 2 --config max.m... 阅192 转1 评0 公众公开 18-02-26 16:39 |
public ConsumerGroup(String a_zookeeper, String a_groupId, String a_topic) { consumer = kafka.consumer.<dependency><groupId>org.apache.kafka</groupId><artifactId>kafka_2.11</artifactId><version>0.10.0.0</version></dependency><dependency><groupId>org.apache.ka... 阅150 转0 评0 公众公开 18-02-26 16:38 |
Kafka学习整理六(server.properties配置实践)第二步：在kafka目录下创建目录kafka-logs以及kafka-logs-1并设置读写权限，以保证 Kafka 进程能对这两个目录进行读写。mkdir kafka-logs kafka-logs-1chmod -R 777 kafka-logs kafka-logs-1cp config/server.properties config/server1.properties.bin/kafka-server-start.sh config/server_1.prop... 阅205 转1 评0 公众公开 18-02-26 16:38 |
真实的超时限制是 max.fetch.wait+socket.timeout.ms socket.receive.buffer.bytes 64*1024 socket用于接收网络请求的缓存大小 fetch.message.max.bytes 1024*1024 每次fetch请求中，针对每次fetch消息的最大字节数。num.consumer.fetchers 1 用于fetch数据的fetcher线程数 auto.commit.enable true 如果为真，consumer所fetch的消息的offset将... 阅515 转0 评0 公众公开 18-02-26 16:38 |
Kafka学习整理四(Producer配置) bootstrap.servers 用于建立与kafka集群连接的host/port组。这是最强的保证。， string -1 [all -1 0 1] 高 key.serializer key的序列化方式，若是没有设置，同serializer.class 实现Serializer接口的class 高 value.serializer value序列化类方式 实现Serializer接口的class 高 buffer.memory producer可以用... 阅562 转0 评0 公众公开 18-02-26 16:38 |
Kafka日志本身是由多个日志段组成(log segment)。如果设置为false,你在删除topic的时候无法删除，但是会打上一个你将删除该topic的标记，等到你修改这一属性的值为true后重新启动Kafka集群的时候，集群自动将那些标记删除的topic删除掉，对应的log.dirs目录下的topic目录和数据也会被删除。-1没有大小限log.retention.bytes和log.retention.min... 阅69 转0 评0 公众公开 18-02-26 16:37 |
Kafka学习整理二(定义、特点、应用场景)Kafka是什么Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。Kafka是一个分布式的、分区化、可复制提交的日志服务LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统 Kafaka的特点Kafaka是分布式的，其所有的构件borker(服务端集群)、producer(消息生... 阅189 转0 评0 公众公开 18-02-26 16:37 |
Kafka学习整理一(基础概念)Kafka基础概念。分区中的消息都被分配了一个序列号，称之为偏移量(64字节的offset),在每个分区中此偏移量都是唯一的因为每条消息都被append到该partition中，是顺序写磁盘，因此效率非常高（经验证，顺序写磁盘效率比随机写内存还要高，这是Kafka高吞吐率的一个很重要的保证）每一条消息被发送到broker时，会根据pari... 阅50 转0 评0 公众公开 18-02-26 16:36 |
