| 共 14 篇文章 |
|
深入浅出解析大数据平台架构(2)JobTracker：协调作业的运行。TaskTracker：运行作业划分后的任务。大数据的技术领域。腾讯大数据现状（资料来自2014.4.11 腾讯分享日大会）腾讯大数据平台产品架构。腾讯大数据平台与业务平台的关系。公司数据处理平台的基础架构。公司大数据平台架构图。应用一数据分析。应用五在线数据分析。 阅463 转7 评0 公众公开 14-07-24 14:44 |
深入浅出解析大数据平台架构(1)对天象的观察是基于一种对风、云、温度、湿度、光照和所处节气的综合分析这些数据来源于多元化的“非结构”类型，并且数据量较大，只不过这些数据输入到的不是电脑，而是人脑并最终通过计算分析得出结论。NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。HRegionServer：HBase中... 阅154 转7 评0 公众公开 14-07-24 14:43 |
如下图所示为Spark的整个生态圈，最底层为资源管理器，采用Mesos、Yarn等资源管理集群或者Spark自带的Standalone模式，底层存储为文件系统或者其他格式的存储系统如HBase。Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，如果是纯内存计算的SQL，要快5倍以上，当... 阅132 转2 评0 公众公开 14-06-09 16:27 |
大数据计算新贵Spark在腾讯雅虎优酷成功应用解析。从13年起Spark开始举行了自已的Spark Summit会议，会议网址见http://spark-summit.org。为了满足挖掘分析与交互式实时查询的计算需求，腾讯大数据使用了Spark平台来支持挖掘分析类计算、交互式实时查询计算以及允许误差范围的快速查询计算，目前腾讯大数据拥有超过200台的Spark集群，并独立维... 阅142 转3 评0 公众公开 14-06-06 16:17 |
用Kiji构建实时、个性化推荐系统。为了解决这个问题，Kiji的最终核心组件是Apache Avro，被Kiji用来存储易于处理的数据类型，如标准字符串和整数，以及由用户定义的更复杂的数据类型。Kiji为此提供了Kiji模型库，它结合了描述模型以及用来训练模型和给模型评分的代码如何执行的元数据。利用HBase进行低延迟处理，用Avro存储复杂的数据类型，使... 阅163 转2 评0 公众公开 14-04-09 15:37 |
大数据应用程序最佳选择：是SQL还是NoSQL？SQL对数据呈现和存储采用正交形式，一些SQL系统支持JSON和其他结构化对象格式，比NoSQL具有更好的性能和更多功能。虽然供应商有时候会添加自己的语言到SQL界面，但SQL的核心是标准化的，还有其他规格(例如ODBC和JDBC)提供广泛可用的稳定界面到SQL存储。这种数据库的操作规模也解释了NoSQL的关键特性，... 阅164 转9 评0 公众公开 14-03-21 10:24 |
可见Lamport对Paxos算法情有独钟。但是，对于分布式和NWR模型来说，版本也会有恶梦的时候——就是版本冲的问题，比如：我们设置了N=3 W=1，如果A结点上接受了一个值，版本由v1 -> v2，但还没有来得及同步到结点B上（异步的，应该W=1，写一份就算成功），B结点上还是v1版本，此时，B结点接到写请求，按道理来说，他需要拒绝掉，但是他一方面... 阅279 转1 评0 公众公开 14-01-26 14:04 |
（注：一般不先写Slave，因为如果写Master自己失败后，还要回滚Slave，此时如果回滚Slave失败，就得手工订正数据了）你可以看到，如果Master-Slave需要做成强一致性有多复杂。Master-Master，又叫Multi-master，是指一个系统存在两个或多个Master，每个Master都提供read-write服务。Master-Master的好处是，一台Master挂了，别的Master可以正常... 阅316 转3 评0 公众公开 14-01-26 14:03 |
分布式系统的事务处理(1) -----数据分区方案。让我们用最经典的Use Case：“A账号向B账号汇钱”来说明一下，熟悉RDBMS事务的都知道从账号A到账号B需要6个操作：从A账号中把余额读出来。2）在数据镜像的方案中：A账号和B账号间的汇款是可以在一台机器上完成的，但是别忘了我们有多台机器存在A账号和B账号的副本。这就是数据副本：当出现某个节点... 阅173 转2 评0 公众公开 14-01-26 14:02 |
NBA 用大数据改变比赛。在获奖后，他们获得了联盟和一些球队的注意，再加上数据化似乎已经成为运动场上不可逆转的趋势——现在NBA已经决定掏钱为每支球队装上这套系统，同时将这些信息选择性地通过通过NBA TV和NBA.Com传达给观众们，反而球队们开始苦恼，该拿着这些数据怎么办呢?这样一来，针对这些数据的定制报告开始成为一个契机。“我们可以... 阅136 转0 评0 公众公开 13-12-24 19:53 |
