| 共 88 篇文章 |
|
本文综合了Hortonworks、Cloudera、MapR三家主要的Hadoop发行版供应商的Hadoop应用案例，真是各有神通，不服来辩。公司还要考虑数据资源池架构和数据治理流程，以更好地管理Hadoop集群的数据。Hadoop集群每TB数据的成本是2千美元，是IBM Netezza数据仓库系统的十分之一，不过Razorsight最开始建立Hadoop集群只是为了数据存储，分析模型和数据可... 阅88 转1 评0 公众公开 18-09-03 20:10 |
Cloudera、Hortonworks 和 MapR —— Hadoop商业发行版的对比分析。MapR Hadoop.l Cloudera, Hortonworks 和MapR三家公司都专注于Hadoop平台开发，商业版本的Hadoop系统是他们的全部收入来源。l MapR Hadoop是最适合应用于生产环境的Hadoop版本，它包含了许多易用性、高效和可信赖的增强功能。尽管从集群规模来说，MapR Hadoop还不如Hortonwork... 阅487 转2 评0 公众公开 18-09-03 20:06 |
Apache基金会hadoop、（1） CDH对Hadoop版本的划分非常清晰，只有两个系列的版本(现在已经更新到CDH5.20了，基于hadoop2.x)，分别是cdh3和cdh4，分别对应第一代Hadoop（Hadoop 1.0）和第二代Hadoop（Hadoop 2.0），相比而言，Apache版本则混乱得多；CDH与Apache版本的对应： cdh3版本是基于apache hadoop 0.20.2 cdh3u6对应到apache ha... 阅285 转0 评0 公众公开 18-09-03 20:03 |
Java内存访问重排序的研究什么是重排序。//将value赋null值只是一项无用操作，实际利用的是这条语句的内存屏障 object = temp; } public SomeThing get() { while (object == null) { Thread.yield(); } return object; } public static Unsafe getUnsafe() { try { Field f = Unsafe.class.getDeclaredField("theUnsafe"); f.setAcc... 阅34 转1 评0 公众公开 18-06-15 09:39 |
在2014年初，我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版， 与此同时部署了 Hadoop 的安全认证。Hadoop 本身并不创建用户账号，而是使用 Kerberos 协议来进行用户身份验证，从Kerberos凭证中的用户信息获取用户账号， 这样一来跟实际用户运行的账号也无关。hadoop-user-kerberos 使用kerberos缓存凭证登陆的配置， useTicketC... 阅212 转0 评0 公众公开 18-06-14 20:12 |
一图解说Hadoop的发展历程。6. 如何获取Web日志，点击流，Apache日志，服务器日志等非结构化数据——fuse,webdav, chukwa, flume, Scribe.Hiho和sqoop将数据加载到HDFS中，关系型数据库也能够加入到Hadoop队伍中。11. 监控、管理hadoop，运行jobs/hive，查看HDFS的高级视图—Hue, karmasphere, eclipse plugin, cacti, ganglia. 阅358 转0 评0 公众公开 17-06-07 15:27 |
hadoop2.0版本配置文件放在$HAOOP_HOME/etc/hadoop/下,命令行工具在$HADOOP_HOME/bin/下，启动停止脚本则被放置在$HADOOP_HOME/sbin/下。<name>dfs.namenode.rpc-address.freedom.nn1</name><name>dfs.namenode.rpc-address.freedom.nn2</name><name>dfs.namenode.http-address.freedom.nn1</name><nam... 阅111 转0 评0 公众公开 17-06-02 09:34 |
Hadoop传递参数的方法总结。Hadoop的序列化是通过Writable接口来实现的，在org.apache.hadoop.io包下包含了大量的可序列化的组件，它们都实现了Writable接口，Writable接口提供了两个方法，write和readFields，分别用来序列化和反序列化，实现该接口的典型例子如下：import org.apache.hadoop.io.} public void setUrl(Text url) { ... 阅61 转0 评0 公众公开 17-05-27 11:47 |
hadoop参数配置详解。在hadoop集群中，需要配置的文件主要包括四个，分别是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，这四个文件分别是对不同组件的配置参数，主要内容如下表所示：yarn-site.xml.http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml.http:... 阅167 转0 评0 公众公开 17-05-27 10:57 |
由于Client端有Retry机制，当与Active NameNode正常通信的client proxy收到RPC返回的StandbyException时，说明这个Active NameNode已经变成了Standby模式，所以触发dfs.client.failover.proxy.provider.[nameservice ID]这个参数指定的类来做failover，目前唯一的实现是ConfiguredFailoverProxyProvider，实现方法就是下次开始把RPC发向另外一... 阅123 转0 评0 公众公开 17-05-27 10:33 |
