| 共 24 篇文章 |
|
大数据技术，Spark之RDD，RDD超详细讲解（二）一、RDD的特性。窄依赖：一个父RDD的分区对应于一个子RDD的分区，或多个父RDD的分区对应于一个子RDD的分区。宽依赖：一个父RDD的一个分区对应一个子RDD的多个分区。所谓协同划分是指多个父RDD的某一分区的所有“键”，落在子RDD的同一个分区内，不会产生同一个父RDD的某一分区，落在子RDD的两个分... 阅361 转1 评0 公众公开 20-05-25 21:30 |
大数据技术，Spark之RDD，这些就够了，RDD超详细讲解（一）一、RDD为什么出现？RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，不能直接修改，只能基于稳定的物理存储中的数据集来创建RDD，或者通过在其他RDD上执行确定的转换操作（如map、join和groupBy）而创建得到新的RDD。从数据输入，到逻辑上生成A和C两个RDD，经过... 阅825 转1 评0 公众公开 20-05-23 10:00 |
2 石昊 21 NULL NULL NULL6 萧炎 17 NULL NULL NULL--查询testa没有，testb有。注意下面的Sql和上面的Sql结果是不一样的：SELECT a.id aid, a.name aname, a.age aage, b.id bid, b.name bname, b.age bage FROM testa a LEFT JOIN testb b ON a.id = b.idAND b.id IS NULL 结果： 阅66 转0 评0 公众公开 20-05-17 17:03 |
大数据技术，Spark任务调度原理 四种集群部署模式介绍一、spark-submit任务提交机制spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://ns1.hadoop:7077 \--executor-memory 1G \--total-executor-cores 2 \/usr/local/spark/examples/jars/spark-examples_2.11-2.1.1.jar 上面是spark在集群提交任务最常见的命令，其... 阅494 转0 评0 公众公开 20-05-16 22:21 |
大数据项目，ETL离线数据，日志分析系统大数据的价值之一就是数据可视化。完整链路的ETL日志处理系统通过nginx服务器，使用flume收集了一批又一批的日志数据，把这些数据放到HFDS(分布式文件系统)上。我使用mapreduce对日志数据进行处理，通宵加班加点搞定，用手抚了抚锃亮的脑门，头猛地一甩，头屑乱飞，发出一阵得意的笑声：“搞定。”数据清... 阅391 转2 评0 公众公开 20-04-11 21:39 |
for(LongWritable w : values){ //通过get(),获取LongWritable 对象的实际值 long num = w.get(); sum += num; sb.append(num).append(","); } sb.deleteCharAt(sb.length() - 1); sb.append("]"); System.out.... 阅83 转0 评0 公众公开 20-04-05 23:12 |
使用Xshell连接Linux虚拟机，进行交互操作一、配置网络安装完成LInux虚拟机之后，登入虚拟机，使用ping www.baidu.com，看看网络是否连通，如果提示unknown host，表明centos没连上网。DNS1=192.168.110.2DNS2=8.8.8.88.8.8.8 是Google提供的免费DNS服务器的IP地址修改以后，则重启网络，再次ping一下网络，看是否能ping通网络systemctl restar... 阅1431 转3 评0 公众公开 20-03-29 19:42 |
Linux虚拟机的发展历史、版本介绍1、Linux 简介。狭义概念：Linux实际上指Linux kernel (内核)，内核负责管理硬件，并为上层应用提供接口。Linux系统一般有4个主要部分：内核、shell、文件系统和应用程序。2）Linux shellshell是系统的用户界面，提供了用户与内核进行交互操作的一种接口。BASH：是GNU的Bourne Again Shell，是GNU操作系统上默... 阅285 转3 评0 公众公开 20-03-29 17:12 |
Linux用户、用户组与文档属性一、理解Linux 多用户，多任务特性。王大毛家：某个用户组王大毛：某个用户组中的用户王大毛房间的所有者是王大毛，里面的东西，其他人不能乱动，表示为所有者权限 （User）王大毛家内公共区域三兄弟可以共享，表示为所有者同组权限（Group）对于王大毛来说，张小猪就不是他们家的人，表示为所有者非同组权限（othe... 阅263 转0 评0 公众公开 20-03-29 17:11 |
Linux虚拟机 详细安装步骤。刚好借着这次机会把Hadoop生态所需的各种环境从头再次安装一回，包括Linux虚拟机、Hadoop、Hdfs、Zookeeper、Hbase、Hive、Flume、Oozie、Spark、Kafka、Redis、ElasticSearch等等环境，从新熟悉这些环境配置和安装。2.3、选择Linux(L)和版本(V) CentOS 64位，点击下一步。三、运行虚拟机，安装Centos.3.1、点击Cent... 阅79 转0 评0 公众公开 20-03-28 22:39 |
