| 共 14 篇文章 |
|
关于WebHDFS与HttpFS.意为当client请求某文件时，WebHDFS会将其重定向到该资源所在的datanode，而HttpFs相等于一个“网关”，所有的数据先传输到该httpfs server，再由该httpfs server传输到client。由于HttpFS会首先将数据传输到lyhadoop5.haohandata.com（HttpFS Server），再由该Server传输到Client，故当数据量比较大或并发访问次数比较多... 阅415 转0 评0 公众公开 17-07-14 16:54 |
Hadoop集群的配置调优。Hadoop的集群使用也有些时候了，不过都是小集群的使用（数量小于30台）。mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum.最后我考虑了一下，如果使用fair的调度模式，设置成相同，应该是可以的，但是如果是FIFO模式，我个人认为在map或是reduce阶段，CPU的核数没有得到充分的利用，有... 阅23 转0 评0 公众公开 17-07-05 11:03 |
阅23 转0 评0 公众公开 17-07-03 15:17 |
Hadoop平台架构 还记得刚接触Hadoop的时候,还是1.x版本,硬是在自己的4GB内存上面弄了3个虚拟机学习,条件有些艰苦,Hadoop测试集群搭建不需要太多考虑,随着毕业开始进入企业,在企业中实践Hadoop,特别是一定规模的集群,逐渐涉及到硬件资源,网络规划,操作系统,软件栈等一系列问题！有关集群存储格式如何选择请参考《Hadoop平台架构—存储篇》引... 阅232 转0 评0 公众公开 17-07-03 15:16 |
Hadoop平台架构 Master： CPU：16CPU*4核 ;内存：128G-512G; HA 需要两台Namenode,配置一致！Slave: CPU：8CPU*4核-16CPU*4核;内存：16G-24G128G-256G;配置最好一致,如果不一致,资源分配需要着重考虑！ 阅89 转0 评0 公众公开 17-07-03 15:11 |
/* @brief 执行Jar包调用，等待执行完成返回 @param[in] strJarDir jar包目录 @param[in] strJarName jar包名称 @return 执行是否成功 */ bool Run(const CString& strJarDir, const CString& strJarName); private: bool CallApp(const CString& strJarName); }; JarAppCall.cpp。 阅805 转1 评0 公众公开 17-03-07 09:28 |
阅497 转1 评0 公众公开 17-02-22 10:22 |
Hadoop和HBase集群的JMX监控。说到对Hadoop和HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。qry=''+qry jmx = urllib.urlopen(url) json = jmx.read().replace(''\n'','''') jmx.close() return json.由Central主动... 阅65 转0 评0 公众公开 16-11-25 15:01 |
7 export HADOOP_HOME=/home/hadoop/hadoop-2.6.><configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>nna:10020</value> </property> <p... 阅15 转0 评0 公众公开 16-11-18 22:03 |
若图片标志位为“HdfsMapfile”，则表示图片为小图片，且已经经过Mapfile打包处理。若图片标志位为“HdfsLargeFile”，则表示图片为大图片，当前存储在HDFS中，则将更新后的图片写入当前图片路径，将原图片覆盖。则需要在Hbase里将图片的标志位改为“Deleted”，将更新后的图片写入上传队列，并启动异步维护线程，检查该Mapfile中“Deleted”标... 阅661 转1 评0 公众公开 16-11-16 14:20 |
