| 共 122 篇文章 |
|
随着互联网的发展，大数据也在逐渐彰显出自己的优势特点，那么关于大数据的处理流程，你是否了解?定义：将海量的来自前端的数据快速导入到一个集中的大型分布式数据库 或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据进行普通的查询和分类汇总等，以此满足大多数常见的分析需求。特点和挑战：导入数据量大，查询涉及的数据... 阅29 转0 评0 公众公开 19-01-28 15:05 |
大数据学习之Hbase shell的基本操作。alter_namespace ''''''''oldboy'''''''',{METHOD => ''''''''set'''''''', ''''''''PROPERTY_NAME''''''... 阅33 转1 评0 公众公开 19-01-25 13:38 |
Apache Hive.Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。Mortar Data是专为开发者打造的Hadoop开发平台，它用Pig和Python的组合替代了MapReduce以便开发者能简单地编写Hadoop管道（Pipeline）。Cloudera正在努力为开源Hadoop,提供支持... 阅269 转1 评0 公众公开 19-01-23 16:17 |
hadoop中namenode启动不成功的问题。当你在学习和使用hadoop时，也许会遇到这样的一个问题，运行bin/start-all.sh时发现namenode没有启动，可以通过以下方法进行排查解决：chown -Rhadoop:hadoop /usr/local/hadoop/hdfs/*chown -Rhadoop:hadoop /usr/local/hadoop/logs.以上是hadoop namenode启动不了常见的原因，当然不排除其他原因的存在，... 阅65 转0 评0 公众公开 19-01-11 17:30 |
MySQL优化的十种方法。$r = mysql_query("SELECT username FROM user WHERE signup_date >= CURDATE()");$r = mysql_query("SELECT username FROM user WHERE signup_date >= ''''''''$today''''''''");$r = mysql_query("SELECT username FR... 阅28 转0 评0 公众公开 19-01-11 17:29 |
如今大数据应用越来越广，对于大数据技术人才的需求越来越大，很多人想转行学习大数据，并想通过自学进入大数据行业，那么，大数据技术怎么自学?大数据开发如何自学?对于零基础想要学习的大数据的同学，最好的方案是：先关注一些大数据领域的动态，让自己融入大数据这样一个大的环境中。然后找一些编程语言的资料(大数据的基础必备技能)和大数... 阅16 转0 评0 公众公开 19-01-04 13:18 |
Hadoop自诞生以来，主要出现了Hadoop1、Hadoop2、Hadoop3三个系列多个版本。HDFS和MapReduce是Hadoop1的核心组件，Hadoop生态圈里的很多组件都是基于HDFS和MapReduce发展出来的。在继Hadoop1之后出现了Hadoop2，Hadoop2在Hadoop1的基础上做了改进。相比Hadoop1，Hadoop2的三大核心组件分别是HDFS、MapReduce、Yarn。(1)Hadoop Common：为其他Ha... 阅220 转0 评0 公众公开 18-12-19 14:32 |
大数据开发工程师工作职能。据数联寻英发布《大数据人才报告》显示，目前全国的大数据人才仅46万，未来3-5年内大数据人才的缺口将高达150万，越来越多人加入到大数据培训，都希望在大数据培训机构中学习最前沿的知识，找一份不错的工作。主要从事网络日志的大数据分析工作，包括:网络日志的数据提取、数据融合及分析;专注于实时计算、流式计算... 阅274 转0 评0 公众公开 18-12-19 14:32 |
未来大数据行业发展趋势之二：针对制造业的大数据解决方案不断升级，助力智能制造。在《智能制造发展规划 2016-2020》中，明确提出 2025 年前，推进智能制造实施“两步走”战略：“第一步，到 2020 年，智能制造发展基础和支撑能力明显增强，传统制造业重点领域基本实现数字化制造，有条件、有基础的重点产业智能转型取得明显进展;第二步，到 2... 阅161 转0 评0 公众公开 18-12-18 15:18 |
电子地图如高德、百度、Google地图出现后，其产生了大量的数据流数据，这些数据不同于传统数据，传统数据代表一个属性或一个度量值，但是这些地图产生的流数据代表着一种行为、一种习惯，这些流数据经频率分析后会产生巨大的商业价值。确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、... 阅22 转1 评0 公众公开 18-12-18 15:18 |
