他的首页
他的馆藏
他的动态
馆友反馈
关于他
| 共 193 篇文章 |
|
银行核心系统之微服务。数据一致性级别一般分为三类，强一致性、弱一致性和最终一致性。3）我们都知道银行系统即使对单一数据库资源的访问都很难完全避免死锁的情况发生，在分布式事务的隔离性描述里提到是在预提交时加锁，一直到事务执行结束才释放锁，我觉的在同样的一个复杂业务，分布式事务的加锁时间一定比单一事务的加锁时间长，发生锁等... 阅1 转自zjshzq 公众公开 22-01-03 20:30 |
1.python模型上线：我们目前使用了模型转换成PMML上线方法。Rserve方式可以批量预测，跟PMML的单个预测方式相比，在少数据量的时候，PMML速度更快，但是如果是1000一次一批的效率上看，Rserve的方式会更快；Spark模型的上线就相对简单一些，我们用scala训练好模型（一般性我们都用xgboost训练模型）然后写一个Java Class，直接在JAVA中先获取数... 阅271 转0 评0 公众公开 17-01-16 11:16 |
微信小程序的编程模式。小程序刚发布的时候，一片人开始惊呼 HTML5 的时代就要到来了，因为小程序在界面层使用了 HTML/CSS/JavaScript 这套 HTML5 的技术栈。在小程序中，和 HTML 对应的是 WXML，保留下来的只有 HTML 的概念，而传统的、标签都完全被抛弃了。而小程序给界面响应的唯一方式，是通过 Page 中的 setData API 对界面上的数据进行更... 阅174 转0 评0 公众公开 17-01-10 22:20 |
它山之石可以攻玉，尽管每个架构师都有自己的成长路径，但是了解其他架构师的成长之路，对未来想成为架构师的人有一定的借鉴价值。关于架构师的成长之路，还存在着一个误区，就是把架构师默认为软件架构师。到了架构师这一阶段，企业期望架构师具有能够把各种经验和知识综合发挥的智慧，这里强调的是智慧，而不仅仅是经验，而且要求他们具有跨... 阅43 转0 评0 公众公开 17-01-10 22:18 |
Regionserver维护region，处理对这些region的IO请求。当HRegionServer意外终止后，HMaster会通过Zookeeper感知到，HMaster首先会处理遗留的 HLog文件，将 其中不同Region的Log数据进行拆分，分别放到相应region的目录下，然后再将失效的region重新分配，领取到这些region的 HRegionServer在Load Region的过程中，会发现有历史HLog需要处理，因... 阅64 转0 评0 公众公开 17-01-06 21:47 |
HBase在腾讯大数据的应用实践前言。每个接入业务均分配一个用户ID、IP白名单机制，只有在开通了白名单的服务器上，使用用户ID才可以访问归属业务的HBase表，当多个业务共用一个HBase的情况下，权限控制尤其必要。我们现在每天通过HBase处理百亿级广告的请求和曝光日志，访问HBase的延迟，80%在20ms之内，保证了数据的秒级实时回流，实现检索、... 阅148 转0 评0 公众公开 17-01-06 21:46 |
根据读路径来看，数据读取到缓存之前block块并没有被解码，缓存到内存中的block是编码后的，因此和不编码情况相比，相同数据block快占用内存更少，即内存利用率更高。另外，阿里天梧大牛之前在一篇博文里面做过测试证明了PREFIX_TREE算法的优越性，见《HBase-0.96中新BlockEncoding算法-PREFIX_TREE压缩的初步探究及测试》，因此一般建议使用PR... 阅70 转0 评0 公众公开 17-01-06 21:46 |
HBase 的表结构。例如有一个用户表user_info，有字段：id、name、tel，表名和字段需要在建表时指定create table user_info ( id 类型, name 类型, tel 类型)插入语句put ''user_info'', ''row1'', ''base_info:name'', ''a''put ''user_info'', '&... 阅186 转0 评0 公众公开 17-01-06 21:46 |
从ZooKeeper(/hbase/meta-region-server)中获取hbase:meta的位置（HRegionServer的位置），缓存该位置信息。当前HRegionServer中WAL的大小超过了hbase.regionserver.hlog.blocksize * hbase.regionserver.max.logs的数量，当前HRegionServer中所有HRegion中的MemStore都会Flush到HDFS中，Flush使用时间顺序，最早的MemStore先Flush直到WAL的数... 阅29 转0 评0 公众公开 17-01-06 21:46 |
访问HBase通过HBase客户端(或API)进行，整个HBase提供给外部的地址，其实是ZK的入口，前面也介绍了，ZK中有保存-ROOT-所在的RS地址，从-ROOT-表可以获取.META.表信息，根据.META.表可以获取region在RS上的分布，整个region寻址过程大致如下：region数量的设计还需要考虑内存上的限制，通过前面的介绍我们知道每个region都有memstore，memstore... 阅152 转0 评0 公众公开 17-01-06 21:46 |
