|
第五章：HDFS 一、操作HDFS 1、Web Console：端口50070 2、命令行：有两种类型 （1）普通操作命令： hdfs dfs ****** 命令 -mkdir：在HDFS上创建目录 hdfs dfs -mkdir /aaa hdfs dfs -mkdir /bbb/ccc 如果父目录不存在，使用-p参数先创建父目录 -ls 查看HDFS的某个目录 -ls -R 查看HDFS的某个目录，包含子目录 简写： -lsr -put 上传数据 -copyFromLocal 上传数据 -moveFromLocal 上传数据，相当于ctrl+x -copyToLocal 下载数据 -get 下载数据 举例: hdfs dfs -get /input/data.txt . -rm： 删除目录 -rmr: 删除目录，包括子目录 hdfs dfs -rmr /bbb 日志： 17/12/08 20:32:10 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes. Deleted /bbb -getmerge：把某个目录下的文件，合并后再下载 -cp：拷贝 hdfs dfs -cp /input/data.txt /input/data2.txt -mv：移动 hdfs dfs -cp /input/data.txt /aaa/a.txt -count: 举例：hdfs dfs -count /students -du: 类似-count，信息更详细 hdfs dfs -du /students 例子： [root@bigdata11 ~]# hdfs dfs -count /students 1 2 29 /students [root@bigdata11 ~]# hdfs dfs -ls /students Found 2 items -rw-r--r-- 1 root supergroup 19 2017-12-08 20:35 /students/student01.txt -rw-r--r-- 1 root supergroup 10 2017-12-08 20:35 /students/student02.txt [root@bigdata11 ~]# hdfs dfs -du /students 19 /students/student01.txt 10 /students/student02.txt -text、-cat： 查看文本的内容 hdfs dfs -cat /input/data.txt balancer：平衡操作 hdfs balancer （2）管理命令：hdfs dfsadmin ****** -report: 打印HDFS的报告 举例：hdfs dfsadmin -report -safemode：安全模式 hdfs dfsadmin -safemode Usage: hdfs dfsadmin [-safemode enter | leave | get | wait] [root@bigdata11 ~]# hdfs dfsadmin -safemode get Safe mode is OFF [root@bigdata11 ~]# hdfs dfsadmin -safemode enter Safe mode is ON [root@bigdata11 ~]# hdfs dfs -mkdir /dddd mkdir: Cannot create directory /dddd. Name node is in safe mode. [root@bigdata11 ~]# hdfs dfsadmin -safemode leave Safe mode is OFF 3、Java API （1）创建一个目录：mkdir ----> 告诉：权限的问题 （2）上传数据、下载数据 （3）查询数据的元信息 依赖的jar包： /root/training/hadoop-2.7.3/share/hadoop/common /root/training/hadoop-2.7.3/share/hadoop/common/lib /root/training/hadoop-2.7.3/share/hadoop/hdfs /root/training/hadoop-2.7.3/share/hadoop/hdfs/lib 二、HDFS输出数据的原理（画图）：比较重要 1、数据上传的原理（过程） 2、数据下载的原理（过程） 三、HDFS的高级特性 1、回收站 2、快照snapshot：备份 3、配额quota：（1）名称配额 （2）空间配额 4、HDFS安全模式: safemode 5、HDFS的权限 6、HDFS的集群：（1）联盟Federation （2）HA 四、HDFS底层的原理：Java程序 1、Java的动态代理 2、RPC：remote procedure call 远程过程调用 |
|
|
