| 共 45 篇文章 |
|
面对复杂问题，古人教导我们要“分而治之”，英文中对应的词是”Divide and Conquer“。Map/Reduce其实就是Divide/Conquer的过程，通过把问题Divide，使这些Divide后的Map运算高度并行，再将Map后的结果Reduce（根据某一个Key），得到最终的结果。这个函数通常与Reduce Function有相同的实现，不同点在于Reduce函数的输出是最终结果，而Combine... 阅22 转0 评0 公众公开 12-03-29 20:01 |
Elapsed time: 4.41 sAvg value size: 18.68 bytes Avg key size: 48.70 bytes Throughput: 4583496.26 bytes/s (2465499.65 bytes/s) Total cells: 300000 Throughput: 68026.56 cells/s Resends: 0hypertable>Elapsed time: 0.05 shypertable> quithadoop@hadoop:~/hypertable/0.9.2.5$ hypertable -batch <... 阅178 转1 评0 公众公开 11-04-26 09:54 |
yahoo数据仓库介绍 - Qzone日志。Yahoo数据仓库在基础架构上由hadoop集群和Oracle集群组成，hadoop集群是一个计算平台，完成所有ETL数据处理过程；数据经过加工处理完成后，数据将会同步到Oracle的集群中用做数据查询。同时，Yahoo的仓库配备了一个功能强大的元数据管理系统，他们的元数据是通过SQL解析，直接将ETL mapping的元数据解析进入元... 阅415 转3 评0 公众公开 11-01-22 16:30 |
b) 将input的文件split为逻辑上的输入InputSplit，其实这就是在上面提到的在分布式文件系统中blocksize是有大小限制的，因此大文件会被划分为多个block。可设定输入和输出路径（操作系统的路径非HDFS路径），根据访问日志分析某一个应用访问某一个API的总次数和总流量，统计后分别输出到两个文件中。public void map(LongWritable key, ... 阅493 转5 评0 公众公开 11-01-13 23:36 |
引言最近了解到淘宝使用hadoop的项目多了起来，hadoop对于许多测试人员来说或许是个新鲜玩儿，因此，把自己之前整理的学习笔记整理发上来，希望通过此系列文章快速了解Hadoop的基本概念和架构原理，从而助于hadoop相关项目的测试理解和沟通。Hadoop简介Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序员... 阅969 转13 评0 公众公开 11-01-13 23:35 |
关于hadoop如何配置的教程网上已经有不少了，配合hadoop主页上的说明，基本可以顺利在多台机器上配置好hadoop集群。TaskTracker: task_200811191041_0015_r_000000_0 0.16666667% reduce > copy (6 of 12 at 0.00 MB/s) > 2008-11-20 11:17:09,455 INFO org.apache.hadoop.mapred.TaskTracker: About to purge task: task_200811191041_0... 阅635 转4 评0 公众公开 11-01-13 23:23 |
hadoop的运行原理_JAVA_程序员俱乐部hadoop的运行原理 2011-1-7 8:29:42 p_x1984 http://p-x1984.javaeye.com 我要评论(0)摘要：接上篇博客写的.今天现简单介绍下hadoop的运行原理.hadoop的配置在这里我就不详细讲了，网上关于这方面的文章很多，有单机版的，也有集群的。NameNode 会将文件系统的Meta-data存储在内存中，这些信息主要包括了... 阅1383 转10 评0 公众公开 11-01-13 23:22 |
讲的是元数据节点.1.2.1、元数据节点文件夹结构 [hadoop@hadoop1 namenode]$ lltotal 12drwxrwxr-x 2 hadoop hadoop 4096 Sep 26 15:53 currentdrwxrwxr-x 2 hadoop hadoop 4096 Sep 25 12:49 image-rw-rw-r-- 1 hadoop hadoop??? 0 Sep 25 14:08 in_use.lockdrwxrwxr-x 2 hadoop hadoop 4096 Sep 25 13:02 previous.checkpoint1.VERSION文件是... 阅865 转7 评0 公众公开 11-01-13 23:22 |
Hadoop社区与中国云计算开源。关于Hadoop:如Yahoo!使用4000节点的机群运行Hadoop，支持广告系统和 Web搜索的研究;Facebook使用1000节点的机群运行Hadoop，存储日志数据，支持其上的数据分析和机器学习;百度用Hadoop每天处理1PB的数据，进行搜索日志分析和网页数据挖掘工作;中移动研究院基于Hadoop开发了"大云"(Big Cloud)系统，不但... 阅508 转0 评0 公众公开 11-01-13 23:20 |
Ubuntu_10.04下Hadoop-0.20.2集群配置手册Ubuntu_10.04下Hadoop-0.20.2集群配置手册（一）Namenode连接datanode时namenode是客户端，需要将namenode上的公钥复制到datanode上，那么，如果datanode主动连接namenode，datanode是客户端，此时需要将datanode上的公钥信息追加到namenode中的authorized_keys之中。hadoop-namenode[/td][/tr]root@ha... 阅43 转自风自向前 公众公开 11-01-12 19:32 |
