| 共 10 篇文章 |
|
千万条数据，Stack Overflow是如何实现快速分页的？在排序问题上，我们不需要完全排序整个集合，而是对 pageNumber * pageSize 条数据进行排序，这样就可以得到当前页面排好序的数据，而剩余部分可能只进行部分排序。Tag Engine 还会缓存查询结果（是集合，而不仅仅是请求的页面），并且可以根据由查询（页码、页面大小、排序方式等）哈希生成... 阅26 转0 评0 公众公开 18-06-17 12:25 |
目前的欺诈团伙已经形成完整的地下产业链，反欺诈平台需要根据平台沉淀的用户数据、环境数据、第三方数据结合生物探针技术采集的本次用户行为数据，建立用户、环境、行为画像以及基于用户、环境、行为的关系网络，通过对业务数据建立多重模型来甄别对异常用户的识别能力和反欺诈能力。反欺诈评分模型有如下优点：反欺诈评分模型和反欺诈规则系... 阅247 转0 评0 公众公开 18-06-17 12:01 |
由于我们将单表的数据切片后存储在多个数据库甚至多个数据库实例中，所以依靠数据库本身的事务机制不能满足所有场景的需要。我们看到shardingTransactionManager的类型是ShardingTransactionManager，这个类型是我们开发的一个组合的事务管理器，这个事务管理器聚合了所有分片数据库的事务管理器对象，然后根据某个标记来路由到不同的事务管理... 阅59 转0 评0 公众公开 18-06-17 11:23 |
独家解读：魅族数据平台的设计哲学和核心架构。莫涵宇：在魅族数据平台的建设过程中，我们针对实际的业务场景开发了一系列的数据产品和数据应用，包括统计分析平台 Orion，集成开发平台 Cetus，统一权限管理平台 SCT，用户洞察平台（用户画像），自助分析平台 lyra，数据统一上报平台 Norma 等，除了前面介绍过的产品，这里再介绍两个案例（原... 阅69 转1 评0 公众公开 18-06-10 16:08 |
首先我们需要知道HBase的集群是通过Zookeeper来进行机器之前的协调，也就是说HBase Master与Region Server之间的关系是依赖Zookeeper来维护。基于Hbase的系统设计与开发中，需要考虑的因素不同于关系型数据库，Hbase模式本身很简单，但赋予你更多调整的空间，有一些模式写性能很好，但读取数据时表现不好，或者正好相反，类似传统数据库基于范... 阅77 转0 评0 公众公开 17-12-16 09:57 |
V4.0 水平拆分对于V2.0 V3.0方案遇到瓶颈时，都可以通过水平拆分来解决，水平拆分和垂直拆分有较大区别，垂直拆分拆完的结果，在一个实例上是拥有全量数据的，而水平拆分之后，任何实例都只有全量的1/n的数据，以下图Userinfo的拆分为例，将userinfo拆分为3个cluster，每个cluster持有总量的1/3数据，3个cluster数据的总和等于一份完整数据（... 阅21 转0 评0 公众公开 17-10-20 08:52 |
数据源由原来单一数据源变成了一个读数据源和一个写数据源，事务也就变成了两个事务。Mybatis 集成 spring 后，mybatis 的事务交由 spring 管理，具体实现类是 org.mybatis.spring.transaction.SpringManagedTransaction，为了和 myabtis-spring 无缝集成，采用代理模式，RWManagedTransaction 继承 SpringManagedTransaction，把事务分别委托... 阅153 转1 评0 公众公开 17-10-20 08:31 |
100亿数据1万属性数据架构设计。（1）每个品类的属性千差万别，招聘帖子和二手帖子属性完全不同，二手手机和二手家电的属性又完全不同，目前恐怕有近万个属性。（2）属性扩展，对应电商里各类别商品SKU的属性。解决了key压缩，key描述，key扩展，value校验，品类层级的问题，还有这样的一个问题没有解决：每个品类下帖子的属性各不相同，查询需... 阅21 转0 评0 公众公开 17-10-17 08:54 |
典型数据库架构设计与实践 | 架构师之路。本文，将介绍数据库架构设计中的一些基本概念，常见问题以及对应解决方案，为了便于读者理解，将以“用户中心”数据库为例，讲解数据库架构设计的常见玩法。答：分组架构是最常见的一主多从，主从同步，读写分离数据库架构：此时可以使用分组架构，需要注意的是，分组架构中，数据库的主库依然是写单点... 阅31 转3 评0 公众公开 17-10-17 08:50 |
细聊冗余表数据一致性（架构师之路）数据的双写并不再由服务来完成，服务层异步发出一个消息，通过消息总线发送给一个专门的数据复制服务来写入冗余数据，如上图1-6流程：（2）因为返回业务线数据插入成功时，数据还不一定插入到T2中，因此数据有一个不一致时间窗口（这个窗口很短，最终是一致的）（1）返回业务线数据插入成功时，数据还不一定... 阅34 转1 评0 公众公开 17-10-16 20:50 |
