|
1、 概述
Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。 传统的日志分析系统提供了一种离线处理日志信息的可扩展方案，但若要进行实时处理，通常会有较大延迟。而现有的消（队列）系统能够很好的处理实时或者近似实时的应用，但未处理的数据通常不会写到磁盘上，这对于Hadoop之类（一小时或者一天只处理一部分数据）的离线应用而言，可能存在问题。Kafka正是为了解决以上问题而设计的，它能够很好地离线和在线应用。 2、 设计目标 （1）数据在磁盘上存取代价为O(1)。一般数据在磁盘上是使用BTree存储的，存取代价为O（lgn）。 （2）高吞吐率。即使在普通的节点上每秒钟也能处理成百上千的message。 （3）显式分布式，即所有的producer、broker和consumer都会有多个，均为分布式的。 （4）支持数据并行加载到Hadoop中。 3、 KafKa部署结构
kafka是显式分布式架构，producer、broker（Kafka）和consumer都可以有多个。Kafka的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存。几个基本概念： （1）message（消息）是通信的基本单位，每个producer可以向一个topic（主题）发布一些消息。如果consumer订阅了这个主题，那么新发布的消息就会广播给这些consumer。 （2）Kafka是显式分布式的，多个producer、consumer和broker可以运行在一个大的集群上，作为一个逻辑整体对外提供服务。对于consumer，多个consumer可以组成一个group，这个message只能传输给某个group中的某一个consumer. 4、 KafKa关键技术点 （1） zero-copy 在Kafka上，有两个原因可能导致低效：1）太多的网络请求 2）过多的字节拷贝。为了提高效率，Kafka把message分成一组一组的，每次请求会把一组message发给相应的consumer。 此外， 为了减少字节拷贝，采用了sendfile系统调用。为了理解sendfile原理，先说一下传统的利用socket发送文件要进行拷贝：
Sendfile系统调用：
（2） Exactly once message transfer 怎样记录每个consumer处理的信息的状态？在Kafka中仅保存了每个consumer已经处理数据的offset。这样有两个好处：1）保存的数据量少 2）当consumer出错时，重新启动consumer处理数据时，只需从最近的offset开始处理数据即可。 （3）Push/pull Producer 向Kafka（push）推数据，consumer 从kafka 拉（pull）数据。 （4）负载均衡和容错 Producer和broker之间没有负载均衡机制。 【参考资料】 【1】Kafka主页：http:///kafka/design.php 【2】Zero-copy原理：https://www.ibm.com/developerworks/linux/library/j-zerocopy/ 【3】Kafka与Hadoop：http:///sna/media/kafka_hadoop.pdf |
|
|
