| 共 98 篇文章 |
|
传统的MapReduce框架是google于2004年在论文：“MapReduce: Simplified Data Processing on Large Clusters”提出的，该框架把一些数据密集型应用的数据处理过程简化抽象成map和reduce两个阶段，用户在设计分布式程序时，只要实现map（）和reduce（）两个函数，至于其它细节，例如数据分片，任务调度，机器容错，机器间通信等，都交由MapReduce... 阅455 转1 评0 公众公开 12-07-23 16:19 |
根据上面的代码，我写了一小段Fake代码来描述使用分布式锁的全过程：# get locklock = 0while lock != 1: timestamp = current Unix time + lock timeout + 1 lock = SETNX lock.foo timestamp if lock == 1 or (now() > (GET lock.foo) and now() > (GETSET lock.foo timestamp)): break; else: sleep(10ms) # do your ... 阅449 转1 评0 公众公开 12-07-18 15:16 |
下面我举一些小例子说说Redis都为我们解决了什么问题，技术上下文关键字：高并发、分布式。例如有“通讯录”这样的数据，包含有”name”,”city”,”gender”等8个属性，使用mongoDB保存就很简单，创建一个Document，设置属性后存储即可，而Redis本身并非Document型的DB而是Key Value DB，要存储这种数据，还得在Key上面花一点功夫：使用contac... 阅396 转1 评0 公众公开 12-07-18 15:15 |
又一个NoSQL知识清单又一个NoSQL知识清单。下面介绍的一篇长文，对NoSQL的各个方面做了系统深入的介绍，提纲明晰，知识量大，非常值得一看。下面是文章索引： 阅82 转3 评0 公众公开 12-07-11 11:09 |
Key – 结构化数据 存储。一致性hash下的数据备份通常采用下面的方法：将数据冗余的存在其归属的节点的顺序往下的节点，例如你的冗余系数为3（即数据会在不同节点中保存三份），那么如果通过hash计算你的数据在A区间［7，233］，你的数据会被同时保存在A，B，C三个节点上。而范围分区时如果某个节点故障了，它上面的数据可以被分配到多个节点上... 阅70 转1 评0 公众公开 12-07-11 11:05 |
sudo easy_install virtualenvInstalling virtualenv script to /usr/binInstalled /usr/lib/python2.org/packages/source/v/virtualenv/virtualenv-1.这时你就发现多了一个环境变量VIRTUAL_ENV. virtualenv还修改了$PATH, 增加了bin/python, 这样以后的pythonpath就优先指定到当前目录环境里. virtualenv还在ENV/bin里安装了pip. 以后再安装新... 阅15142 转20 评0 公众公开 12-07-09 16:50 |
山寨技术下的网站图片服务器(NGINX)山寨技术下的网站图片服务器(NGINX)得到了一些个解决方案，但依然不满足，对存储本身还有更高的期望： 1.需要避免图片文件重复的写入，建立图片存储的索引，根据唯一的图片文件名的查询后，再判断是否写入， 2.小图片，签名照，小头像，表情图片 放在缓存里读取，让数据更靠近cpu，设计的黄金原则，我... 阅1332 转3 评0 公众公开 12-07-06 11:36 |
Quorum NWRQuorum NWR六月 22nd, 2010 · No Comments · 未分类 作者: 阎斌 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息网址: http://UltimateArchitecture.netNWR是一种在分布式存储系统中用于控制一致性级别的一种策略。在Amazon的Dynamo云存储系统中，就应用NWR来控制一致性。N：同一份数据的Replica的份数W：是更... 阅281 转1 评0 公众公开 12-07-05 11:45 |
内存数据库非常非常快(单台机器上的Redis可以处理100,000次操作/秒),但是无法处理超过可用内存的数据集.持久性(Durability,数据不会由于服务器崩溃或停电而丢失)也是个问题; 在两次刷新到磁盘的时间间隔内预期数据丢失量可能非常大.Scalaris是我们此列表中唯一的内存数据库,它通过复制来解决持久性的问题,但是,由于它不支持跨越多个数据中心,因... 阅105 转1 评0 公众公开 12-07-05 10:33 |
关系型数据库在单机存储引擎支持索引，比如Mysql的Innodb存储引擎需要支持索引，而NOSQL系统的单机存储引擎是纯粹的，只需要支持基于主键的随机读取和范围查询。NOSQL系统在系统层面提供对索引的支持，比如有一个用户表，主键为user_id，每个用户有很多属性，包括用户名，照片ID(photo_id)，照片URL，在NOSQL系统中如果需要对photo_id建立索引... 阅98 转0 评0 公众公开 12-07-04 11:44 |
