| 共 40 篇文章 |
|
Hadoop++系统最大的优点是没有直接修改hadoop代码，只是在Hadoop之上提供了供应用程序访问的API。对于Hadoop小文件问题，当前主要有两种解决方案，（1）设计一种工具（比如mapreduce作业）交给用户，让用户自己每隔一段时间将小文件打包成大文件，当前Hadoop本身提供了几个这样的工具，包括Hadoop Archive（Hadoop提供了shell命令），Sequence ... 阅3519 转39 评0 公众公开 11-07-01 19:26 |
Text mapInputValue = new Text("......");private MapReduceDriver<LongWritable, Text, Text, TimeInfo, Text, LongWritable> mrDriver;mrDriver = new MapReduceDriver<LongWritable, Text, Text, TimeInfo, Text, LongWritable>(mapper, reducer);mrDriver = new ReduceMultipleOutputsDriver<L... 阅1880 转7 评0 公众公开 11-06-22 02:53 |
HBase是运行在HDFS上的，那么能不能在实现同一个HBase运行在不同的HDFS上以实现数据的不同文件系统的存放呢？# HADOOP_MASTER host:path where hadoop code should be rsync''d from # HADOOP_PID_DIR The pid files are stored. /tmp by default. 阅1365 转5 评0 公众公开 11-04-28 18:09 |
(3)配置Hbase开发项目时，如何导入Hbase的配置文件 hbase-default.xml 以及 hbase-site.xml 文件？因此，在配置基于Hbase的开发项目，使用Hbase的API连接操作Hbase的时候，一个简单而可行的解决办法是将hbase-default.xml 以及 hbase-site.xml 文件直接拷贝到JAVA项目的src文件夹下，则可以正确连接Hbase了。 阅795 转5 评0 公众公开 11-04-28 18:09 |
谈HADOOP在大规模数据处理领域的具体应用。国内外著名的互联网公司使用hadoop都做了什么？一直以来，我知道hadoop在淘宝应用很多，淘宝网是国内最大的Hadoop应用商之一。HADOOP主要应用日志分析，同时使用它做一些网页数据库的数据挖掘工作。周数据量： 3000TB HADOOP在Facebook：使用HADOOP用于存储微博数据，日志文件和许多中间数据。使用基... 阅3026 转25 评0 公众公开 11-04-28 18:08 |
driver.withInput("",new Text(line)).withOutput(new Text("Taobao"),new IntWritable(1)).withOutput(new Text("a"),new IntWritable(1)).withOutput(new Text("great"),new IntWritable(1)).withOutput(new Text("is"),new IntWritable(2)).withOutput(new Text("it"),new Int... 阅2849 转12 评0 公众公开 11-04-28 18:08 |
通过修改hbase-env.sh中的 export HBASE_HEAPSIZE=3000 #这里默认为1000m.4、增大RPC数量 通过修改hbase-site.xml中的 hbase.regionserver.handler.count属性，可以适当的放大。(2)、不要使用HTable.get(final byte [] row, final byte [] column) == null来判断所求的数据存在，而是用HTable.exists(final byte [] row, final byt... 阅423 转2 评0 公众公开 11-04-28 18:06 |
Hadoop Hbase适合存储哪类数据？最适合使用Hbase存储的数据是非常稀疏的数据（非结构化或者半结构化的数据）。Hbase之所以擅长存储这类数据，是因为Hbase是column-oriented列导向的存储机制，而我们熟知的RDBMS都是row- oriented行导向的存储机制（郁闷的是我看过N本关于关系数据库的介绍从来没有提到过row- oriented行导向存储这个概念）。Hba... 阅412 转2 评0 公众公开 11-04-28 18:05 |
HBase client API Guidehttp://www.spnguru.com/?HBaseConfiguration是每一个hbase client都会使用到的对象，它代表的是HBase配置信息。HBASE_CONFIG.set("hbase.zookeeper.quorum", "zkServer");HBASE_CONFIG.set("hbase.zookeeper.property.clientPort", "2181//);HTable通过put方法来插入数据。HBASE_CO... 阅1767 转7 评0 公众公开 11-04-28 17:50 |
阅387 转自石头狗 公众公开 11-04-28 17:42 |
