| 共 13 篇文章 |
|
分布式块存储系统Ursa的设计与实现。管理服务器Master：类似于GFS的Master，主要有两个功能：(1）存储文件和目录元数据，文件元数据包括文件大小、属性、对应的Chunk等；存储服务器Chunk Server：负责存储Chunk，提供Chunk读写能力。如果同时有上百台相同的VM从Ursa启动（即系统盘放在Ursa上），会在短时间内有大量读请求访问相同的数据集（启... 阅128 转0 评0 公众公开 16-03-23 23:08 |
理解 Ceph：一个开源的分布式存储平台。Ceph存储集群运行在商用机上，为了确保集群中数据的分布式存储和良好的可扩展性，Ceph运用了著名的CRUSH（Controllled Replication Under Scalable Hashing）算法。OSD DaemonCeph MonitorCeph OSD Daemon.Ceph Monitor也是一种Ceph OSD Daemon，它主要负责管理全部集群。当你运行一个Ceph集群时，你就会... 阅509 转4 评0 公众公开 15-04-20 12:31 |
数据库的水平扩展本质上就是水平拆分的迭代操作，换句话说水平扩展就是在已经进行了水平拆分后再拆分一次，扩展的主要问题就是新的水平拆分是否能继承前一次的水平拆分，从而实现只做少量的修改就能达到我们的业务需求，那么我们如果想解决这个问题就得回到问题的源头，我们的前一次水平拆分是否能良好的支持后续的水平拆分，那么为了做到这点... 阅28 转0 评0 公众公开 15-02-12 12:32 |
因为存储层这种双核设计缺陷，该企业马上从事了二代系统的设计和开发，而这个二代系统核心业务就是解决这个存储层的双核问题。但是天灾毕竟是局部的，因此全国甚至全球设立不同的数据中心用来容灾是很多大型互联网公司必须走的道路，回到本文的主备方案，为了保证数据中心的容灾性，那么我们再设计主备方案同时还要保证主备数据中心可以迅速切... 阅10 转0 评0 公众公开 15-02-12 12:32 |
由上所述，我们可以把数据库的水平拆分重新定义下，我在这几篇文章里一直讲述的水平拆分本质是从数据库技术来定义的，我把它们称为狭义的水平拆分，与狭义相对的就是广义的水平拆分，例如上文例子里把交易表根据业务特性分为实时交易表和历史交易表，这种行为也是一种水平拆分，但是这个拆分不会遵守我前面讲到主键设计方案，但是它的确达到水... 阅19 转0 评0 公众公开 15-02-08 16:05 |
这么做的目的是为了实时交易数据同步到历史数据时候提供便利，一般我们会在凌晨0点切换实时交易表，过期的实时交易表数据会同步到历史交易表里，这个时候需要数据迁移的实时交易表是全表数据迁移，效率是非常低下，假如实时交易表的数据量很大的时候，这种导入同步操作会变得十分耗时，所以我们设计两张实时交易表进行切换来把数据同步的风险降... 阅19 转0 评0 公众公开 15-02-03 13:18 |
垂直拆分是一个粗粒度的拆分数据，它主要是将原来在一个数据库下的表拆分到不同的数据库里，水平拆分粒度比垂直拆分要更细点，它是将一张表拆到不同数据库里，粒度的粗细也会导致实现技术的难度的也不一样，很明显水平拆分的技术难度要远大于垂直拆分的技术难度。回到关于数据库垂直拆分和水平拆分的问题，假如我们的数据库设计按照我们公司业... 阅26 转0 评0 公众公开 15-02-03 13:04 |
一个初建的网站往往用户群都是很小的，最简单的网站架构就能解决实际的用户需求，当然为了保证网站的稳定性和安全性，我们会把网站的应用部署到至少两台机器上，后台的存储使用数据库，如果经济实力允许，数据库使用单台服务器部署，由于数据是网站的生命线，因此我们常常会把部署数据库的服务器使用的好点，这个网站结构如下所示： 阅52 转3 评0 公众公开 15-02-03 12:41 |
数据库的水平拆分是数据库垂直拆分的升级版，它和垂直拆分更像继承机制里的父子关系，因此水平拆分后，垂直拆分所遇到的join查询的问题以及分布式事务的问题任然存在，由于表被物理拆解增加了逻辑表的维度，这也给垂直拆分里碰到的两个难题增加了更多的维度，因此水平拆分里join查询的问题和分布式事务会变得更加复杂。 阅30 转0 评0 公众公开 15-02-03 12:40 |
Gluster vs Ceph：开源存储领域的正面较量Gluster vs Ceph：开源存储领域的正面较量。Ceph能够将块大小从64KB设置为256KB甚至1MB，这么做也能使Ceph的性能得到不小的提升。存储管理员会发现Inktank为Ceph提供了一些更为精细的操作，因为Ceph对文件系统、块访问以及远程复制等操作都是采用内建函数的方式，而不像Gluster那样采用插件的方式。这... 阅102 转1 评0 公众公开 14-02-24 12:35 |
