分享

Zookeeper技术内幕

 行者李敏晗 2017-09-02

一、数据模型

zookeeper和unix非常相似,使用了特有的“数据节点”,称之为ZNode。znode是zookeeper最小的数据单元,,每个节点可以保存数据,同时可以挂载子节点,构成层级化结构,称为树

二、节点特性

1、持久节点PERSISTENT

持久节点,是指该数据节点被创建后,就会一直存在zookeeper服务器上,直到有删除操作才会主动消除这个节点

2、持久顺序节点PERSISTENT_SEQUENTIAL

持久化顺序节点,额外的特性表现在顺序性上,每个父节点会为他的第一级子节点维护一份顺序,用户记录下每个子节点创建的先后顺序

3、临时节点EPHEMERAL

临时节点的生命周期和客户端的会话绑定在一起,也就是说,如果客户端会话失效,那么这个节点就会被自动清除,这里的会话失效,并不代表tcp连接断开,另外临时节点并不能创建子节点,只能作为叶子节点

4、临时顺序节点EPHEMERAL_SEQUENTIAL

基本特性和持久化顺序节点是一样的,只不过周期也是和客户端同生共死

三、版本-保证分布式数据原子性操作

zookeeper为数据节点引入了版本的概念,每个数据节点都具有三种类型的版本信息,对数据节点的任何更新操作都会引起版本号的改变

version 当前数据节点数据内容的版本号

cversion当前数据子节点的版本号

aversion当前数据节点acl变更的版本号

先介绍一下锁的概念

悲观锁:数据库中 一种严格非常典型的并发控制策略

原理中如果一个事务正在对数据进行处理,那个整个处理过程中,都会将数据处于锁定状态,这期间无法做其他操作,直到该事务完成了对数据的处理,释放了锁的状态,适合数据竞争非常激烈的场景

乐观锁:在更新请求提交之前,每个事务都会检查当前事务读取数据后,是否有其他事物对其进行了修改。如果其他事务有更新的操作,当前事务就进行回滚,乐观锁通常适合使用在数据并发竞争不大,事务冲突较少的场景中

事实上zookeeper的version属性就是采用乐观锁的机制实现的

四、Watcher工作机制

zookeeper的watcher机制,可以分为三个过程,客户端注册watcher、服务端处理watcher、客户端回调watcher

1、客户端注册watcher

a、首先当客户端创建一个zookeeper实例时,会产生一个默认的watcher,这个watcher会作为整个会话当中默认的watcher,一直保存在zkwatcherManager的defaultWatcher中。

b、在利用接口注册watcher后,客户端首先会在当前的客户端请求request进行标记,设置为在使用watcher监听,同时会将注册信息封装成一个对象在watchRegistration中

c、packet可以看作一个最小的通信协议单元,用于客户端和服务器之间的网络通信,任何对象都要被包装成一个packet。所以watchRegistration又会被封装到packet对象中,放入队列中等待客户端发送

d、zookeeper客户端发送请求之后,同时等待请求的返回,客户端sendthread线程的readresponse方法负责接收来自服务器的响应

e、响应成功后,会从packet中取出对应的watcher,注册到zkwatchManager中去,并且保存在dataWatches中

f、每次注册Watcher并不会将watcher实体全部发送到服务端,那样会照成性能问题和内存紧张,packet只会将requestHeader和request两个属性进行序列化,等待被发送

2、服务器处理watcher

a、服务器接收到客户端的请求后,首先在finalRequestProcessor的方法中判断当前请求是否需要注册watcher,当为true的时候,认为当前请求需要进行注册,此时会将数据节点的节点路径和serverCnxn储存到watchManager中的watchTable和watch2Paths中

watchtable 从数据节点路径的粒度来控制watcher

watch2paths 从watcher的粒度来控制事件触发的数据节点

同时watchManager还负责watcher的触发,和移除已经触发的watcher

b、当对应的节点数据内容发生变更,watchmanager的triggerwatch方法来触发相关事件

触发过程分为三步:

1、封装watchedevent对象

2、查询watcher,通过节点路径在watchtable中查找,如果没有找到说明没有注册,直接退出,如果找到直接提取出来,并且删除watchtable和watch2paths中的watcher,触发一次失效

3、调用process方法来触发watcher,在请求头标记“-1”,表明当前一个通知,将watchwahedevent爆炸成watcherEvent,以便网络化传输,最后向客户端发送通知

3、客户端回调watcher

a、对于服务器的响应分为四步:

1、反序列化对象watcherEvent

2、处理chrootPath,生成客户端一个相对节点路径

3、还原watchedEvent,将watcherEvent转换成wathedEvent

4、回调watcher,将对象watchedevent对象交给eventThread

b、上文中提到sendthread接收服务器的通知事件后,会通过eventThread.queueEvent方法通知事件,在zkwatchmanager中去出相关的watcher,同时去除响应的wathcer,watcher机制也是一次性的,一旦触发后就失效了

总结

一次性:无论是客户端还是服务器,一旦一个watcher触发,zookeeper就会从储存中移除,因此需要反复的注册

客户端串行执行:客户端回调的时候是一个串行同步的过程,保证了顺序

轻量:watchedevent是zookeeper整个watcher通知机制的最小通知单元,这个数据结构只包含三个内容:通知状态、事件类型、节点路径

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多