| 共 9 篇文章 |
|
阅201 转1 评0 公众公开 19-05-11 12:01 |
索引分为聚簇索引和非聚簇索引两种，聚簇索引 是按照数据存放的物理位置为顺序的，而非聚簇索引就不一样了；在哪建索引 索引是建立在数据库表中的某些列的上面。可配置的缓存包括索引缓存(key_buffer)，排序缓存(sort_buffer)，查询缓存(query_buffer)， 表描述符缓存(table_cache)，如下：配置缓存：. 索引缓存（key_buffer）. 排序缓存... 阅57 转0 评0 公众公开 16-10-04 12:37 |
那么为什么使用hadoop呢？在存储上，hadoop采用了类似raid的技术，那就是冗余技术，不同的是，hadoop hdfs采用了更高效合理的做法，以两份冗余为例，hdfs上会有三份数据，hadoop把第一份数据保存在本地上，就是执行保存操作的那个hdfs客户端上，一份保存在与第一份数据在同一机架的不同结点上，第三份则是保存在不同机架的随机结点上，另外对大... 阅7512 转88 评0 公众公开 16-10-04 12:24 |
HDFS是在一些机器中以块的形式保存文件，但这些文件并不是普通文件系统的一部分，在运行Hadoop服务的数据结点上输入ls命令，可以显示普通文件系统的内容，但它不能显示HDFS中的文件，这是因为HDFS在一个不同的命名空间中运行，它与本地文件内容是隔离的，HDFS中的文件（更准确性，组成这些文件的块）是保存在数据结点服务管理的一个特定目录下... 阅542 转11 评0 公众公开 16-10-04 12:16 |
HBase 系统架构。HBase存储格式HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，格式主要有两种：1 HFile HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile2 HLog File，HBase中WAL（Write Ahead Log） 的存储格式，物理上是Hadoop的Sequence File.H... 阅82 转2 评0 公众公开 15-10-18 12:30 |
Hadoop家族学习路线图 | 粉丝日志。Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。现在Hadoop家族产品，已经达到20个了之多。目录Hadoop家族产品H... 阅595 转6 评0 公众公开 15-10-01 22:52 |
阅11659 转109 评0 公众公开 15-10-01 22:50 |
成为一个大数据架构师的学习路径成为一个大数据架构师的学习路径。通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术，掌握设计开发大数据系统或平台的工具和技能，能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作，如性能改进、功能扩展、故障分析等。随着Hadoop成为事实公认的大数据管理和分析平台，全球... 阅3573 转20 评0 公众公开 15-10-01 22:47 |
Apache HCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。Hadoop学习路线（参考Hadoop基础）Yarn学习路线图用Maven构建Hadoop项目Hadoop历史版本安装Hadoop编程调用HDFS海量Web日志分析 用Hadoop提取KPI统计指标用Hadoop构建电影推荐系统创建Hadoop母体虚拟机克隆虚拟机... 阅301 转3 评0 公众公开 15-10-01 22:46 |
