HDFS文件系统的操作HDFS是一个分布式文件系统，就像任何其它文件系统，它允许用户使用shell命令操作文件系统。接下来我们结
合之前搭建好的分布式集群通过HDFS的shell命令行交互来进一步认识HDFS，并演示怎样使用HDFSshell命令。值得注
意的是，HDFS命令大多与Unix命令有一对一的关系。首先打开我们的master、slave1、slave2三台虚拟机，然
后在master的终端中输入如下命令来启动HDFS，start-dfs.sh启动过程如下图所示，启动完成后执行命令jps查看进程是
否启动创建路径mkdir如果你的HDFShome目录不存在，请先创建它并修改权限。创建HDFShome目录的命令如下：
hdfsdfs–mkdir/userhdfsdfs–mkdir/user/hduser#这样的用法只能一级一
级创建目录，父目录不存在使用此命令会报错或者hdfsdfs–mkdir–p/user/hduser#所创建的目录如果父
目录不存在就创建该目录上面创建的/user/hduser相当于HDFS中的用户当前目录，后面可以看到复制文件时无需指定绝对目
录。查看目录ls运行下面的命令，列出HDFShome目录的内容。hdfsdfs–ls#列出用户主目录的内容h
dfsdfs–ls/#列出hdfs文件系统根目录下的目录和文件hdfsdfs–ls–R/#列出hdfs文件系
统所有目录读取文档catHDFS文件系统有一个/作为根目录。如下面的命令是读取/user/hduser/fib.csv文件并打
印到屏幕上，就像Unix系统中的cat命令：hdfsdfs–cat/user/hduser/fib.csv更改
文件属性chmodchownHDFS中针对文件和目录的权限模式与传统操作系统类似，一共提供三类权限模式：只读权限（r）、写入权限
（w）、可执行权限（x）。读取文件或列出目录内容时需要只读权限，写入一个文件或是在一个目录上新建及删除文件、目录需要写入权限。不过
可执行权限可以忽略，因为你不可能在hdfs上执行一个文件，这是与一般操作系统的文件系统是有区别的地方。修改HDFShome目
录权限的命令如下：hdfsdfs–chmod–R755/user/hduserhdfsdfs–chownhduse
r/user/hduser上传文档运行下面的命令，在你的HDFShome目录中创建一个新的input目录：hdfs
dfs–mkdirinput运行如下的命令来列出在HDFS中新创建的目录的内容：hdfsdfs-lsinput运行如
下的命令，将本地readme.txt文件拷贝到input目录中：hdfsdfs–copyFromLocalread
me.txtinput或hdfsdfs–putreadme.txtinput#hdfsfile的父目录一定要存在
，否则命令不会执行运行如下的命令，将本地文件夹wc-input上传到HDFS文件系统：hdfsdfs–copyFr
omLocalwc-input.或者hdfsdfs–copyFromLocalwc-inputinput/wc-in
put运行如下的命令，列出input目录：hdfsdfs–lsinput从键盘读取输入到hdfs命令格式如下：hd
fsdfs–put-从键盘读取输入到hdfsfile中，按Ctrl+D结束输入,hdfs
file不能存在，否则命令不会执行，将本地文件移至hdfsmoveFromLocalhdfsdfs–moveFromLo
cal…与put相类似，命令执行后源文件localsrc被删除，也可以从从
键盘读取输入到hdfsfile中copyFromLocalhdfsdfs–copyFromLocalc>…与put相类似，也可以从从键盘读取输入到hdfsfile中.gethdfsdfs–get
localfile不能和hdfsfile名字不能相同，
否则会提示文件已存在，没有重名的文件会复制到本地hdfsdfs–get…dir>拷贝多个文件或目录到本地时本地要为文件夹路径注意：如果用户不是root，local路径要为用户文件夹下的路径，
否则会出现权限问题，copyToLocalhdfsdfs–copyToLocal…t>与get相类似rm删除文件或目录hdfsdfs–rm…#删除一个文件hdfsdfs
–rm–r…#每次删除多个文件或目录cphdfsdfs–cpsfile>目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件还存在hdfsdfs–cpfileordir>…目标文件夹要存在，否则命令不能执行mvhdfsdfs–mvile>目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件不存在hdfsdfs
–mv…源路径有多个时，目标路径必须为目录，且必须存在。注意：
跨文件系统的移动（local到hdfs或者反过来）都是不允许的counthdfsdfs–countth>统计hdfs对应路径下的目录个数，文件个数，文件总计大小显示为目录个数，文件个数，文件总计大小，输入路径ta
ilhdfsdfs–tail在标准输出中显示文件末尾的1KB数据dfsadminhdfsdfs
admin–help管理员可以通过dfsadmin管理HDFS，用法可以通过上述命令查看hdfsdfsadmin–r
eporthdfsdfsadmin–report显示文件系统的基本数据hdfsdfsadmin–safemodeenter：进入安全模式；leave：离开安全模式；get：获知是否开启安全模式；wait：等待离开安全模式CDA数据分析师(CDA.cn)——真本事，心舒适 |
|
