分享

【linux】下载命令lftp\sftp\wget

 BIOINFO_J 2018-02-28

转载于https://www.cnblogs.com/linn/p/4171208.html

sftp

   sftp(安全文件传输协议)与ftp 有着几乎一样的语法和功能。FTP 为 SSH的一部份,是一种传输档案至 Blogger 伺服器的安全方式。它并不使用ftp守护进程(ftpd或wu-ftpd)来进行连接,而是有意义地增强系统的安全性。实际上,通过监视一些系统中的log文件,可以注意到很多攻击是针对于ftpd守护进程的。sftp避免了这些攻击从而可以停止在wu-ftpd上潜在的危险。SFTP本身没有单独的守护进程,它必须使用sshd守护进程(端口号默认是22)来完成相应的连接操作。使用SFTP是非常安全的。但是,由于这种传输方式使用了加密/解密技术,所以传输效率比普通的FTP要低得多,如果您对网络安全性要求更高时,可以使用SFTP代替FTP。

用法举例:

(1)sftproot@10.48.30.192:/root/test.sh(直接将192上的文件复制到本地)

(2)sftproot@10.48.30.192:/root  (直接连接到192的root目录下,这样就可以使用getput等命令了)

   sftp使用在数据连接上使用ssh2,所以文件的传输是尽可能地安全。使用sftp代替ftp两个主要的的原因是:

(1)password从不用明文传输,防止sniffer(嗅探器)的攻击。

(2)数据在传输时被加密,使用刺探和修改连接非常困难。

   使用sftp2是非常简单的。让我们假设你使用了你的帐户:myname通过sftp连按上了主机host1。可以使用命令:sftp myname@host1。当sftp2准备好了来接受连接时,它将显示一个状态提示符 sftp>。在sftp手册中有完整的用户可以使用的命令列表;其中有:

  quit:从这个应用程序中退出。

  cd directory:改变当前的远程工作目录。

  lcd directory:改变当前的本地工作目录。

  ls [ -r ] [ -l ] [ file ... ]:列出在远地服务器上的文件名。如果是目录,则列出目录的内容。当命令行中指定了-r,则递归地显示目录树。(默认情况下,子目录并不被访问)。当命令行中指定了-l,文件与目录的权限,属主,大小和修改时间被列出。当没有参数被指定,则.(当前目录)的内容被列出。普通情况下选项-r和-l是互相不兼容的。

  lls [ -r ] [ -l ] [ file ... ]:与ls一样,但是是对于本地文件操作。

  get [file ...]:从远程端传送指定的文件到本地端。目录内容被递归地复制。

  put [ file ... ]:从本地端传送指定的文件到远地端。目录内容被递归地复制。

  mkdir dir (rmdir dir):尝试建立或删除参数中指定的目录。

  通配符对于ls,lls,get和put是支持的。格式在sshregex手册中有描述。

从sftp使用加密技术以来,一直有一个障碍:连接速度慢(有2-3倍),但是这一点对于非常好的安全性来讲只能放在一边了。在一个测试中,局域网上的sniffer可以在一个小时中捉住ftp连接上的4个password.。sftp的使用可以从网络上传送文件并且除去这些安全问题。

lftp

lftp 是一个功能强大的下载工具,它支持访问文件的协议: ftp, ftps, http, https, hftp, fish.(其中ftps和https需要在编译的时候包含openssl库)。llftp非常像一个shell: 有命令补全,历史记录,允许多个后台任务执行等功能,使用起来非常方便。它还有书签、排队、镜像、断点续传、多进程下载等功能。

命令行语法

(1)lftp [-d] [-e cmd] [-p port][-u user[:pass]] [site]

例子:

lftp ftp://userName:password@127.0.0.1

-e在选择后执行命令

-u [,] 使用指定的用户名/口令进行验证

-p 连接指定的端口

Site:主机名,URL 或书签的名字

(2)lftp -f script_file

执行文件中的命令后退出

(3)lftp -c commands

执行命令后退出

(4)lftp –version

显示 lftp 版本后退出

(5)lftp --help

显示帮助信息后退出     

例子:

(1)如果在命令行中输入的站点名称,lftp将直接登录站点,比如

lftp ftp://.............

(2)如果在命令行不输入站点名称,则必须在进入到lftp界面后用open命令打开

Lftp

lftp :~> open ftp://...................

常用命令

下载单个文件和一组文件,断点续传用-c参数

lftp ................:/> get -c ls-lR.txt

lftp ...............:/> mget *.txt

镜像(反镜像即上传)一个目录,可以用多个线程并行镜像一个目录(--parallel=N)

lftp ................:/> mirror incoming local_name

lftp ................:/> mirror -R local_name

lftp ................:/> mirror --parallel=3 incominglocal_name

多线程下载,类似网络蚂蚁的功能;缺省是5个线程

lftp ................:/> pget -n 4 ls-lR.txt

后台任务管理

缺省情况下,按 Ctrl+z,正在执行的任务将转为后台执行,也可以在命令行末尾加&符号使任务在后台执行。用jobs命令可以查看所有的后台进程。用queue命令可以排队新的任务。如果退出lftp是还有任务在后台执行,lftp将转为后台执行。

其它用法

lftp支持类似bash的管道操作,例如用下面的命令可以将ftp服务器上的特定目录下(也可以是整个站点)所有文件的大小存到本地的文件ls.txt中

lftp ................:/> du incoming > ls.txt

相关文件

(1)/etc/lftp.conf

全局配置文件,实际位置依赖系统配置文件目录,可能在/etc,也可能在/usr/local/etc

(2)~/.lftp/rc, ~/.lftprc

用户配置文件,将在/etc/lftp.conf之后执行,所以这里面的设置会覆盖/etc/lftp.conf中的设置。

(3)lftp 缺省不会显示 ftp 服务器的欢迎信息和错误信息,这在很多时候不方便,因为你有可能想知道这个服务器到底是因为没开机连不上,还是连接数已满。如果是这样,你可以在 ~/.lftprc 里写入一行,debug 3,就可以看到出错信息了。更多的配置选项请查man手册或在lftp界面内用命令 set -a 获得。

(4)~/.lftp/log

当lftp转为后台非挂起模式执行时,输出将重定向到这里

(5)~/.lftp/bookmarks

这是lftp存储书签的地方,可以lftp查看bookmark命令

(6)~/.lftp/cwd_history

这个文件用来存储访问过的站点的工作目录

(7)~/.lftprc

在用lftp访问国内一些ftp服务器时,往往看到的中文是乱码。不用慌,这是由于服务器和本地编码不一致造成的。我们只要在主目录下新建一个文件~/.lftprc或者~/.lftp/rc。并在其中加入以下内容:debug 3set ftp:charset GBKset file:charset UTF-8#setftp:passtive-mode no#alias utf8 " set ftp:charset UTF-8"#alias gbk" set ftp:charset GBK"

登录ftp服务器:

         lftpftp://user:password@site:port

         lftpuser:password@site:port

         lftpsite -p port -u user,password

         lftpsite:port -u user,password

上面的几种方式都能正常工作,不过密码都是明文,这样好像不太安全哦。没关系,使用lftp user@site:port,系统会提示输入password,密码就回显为******了,不过每次都输入这么多,好麻烦哦。如果有类似leapftp的站点管理器就好了,其实lftp早就给我们想好了:这就是bookmark。后面我们将会看到。

         在终端运行如manlftp或登录ftp后输入help就可以看到命令列表,下面我们看一下lftp常用的命令:

(1)ls:显示远端文件列表(!ls显示本地文件列表)。

(2)cd:切换远端目录(lcd 切换本地目录)。

(3)get:下载远端文件。

(4)mget:下载远端文件(可以用通配符也就是 *)。

(5)pget:使用多个线程来下载远端文件, 预设为五个。

(6)mirror:下载/上传(mirror-R)/同步整个目录。

(7)put:上传文件。

(8)mput:上传多个文件(支持通配符)。

(9)mv:移动远端文件(远端文件改名)。

(10)rm:删除远端文件。

(11)mrm:删除多个远端文件(支持通配符)。

(12)mkdir:建立远端目录。

(13)rmdir:删除远端目录。

(14)pwd:显示目前远端所在目录(lpwd显示本地目录)。

(15)du:计算远端目录的大小

(16)!:执行本地 shell的命令(由于lftp 没有 lls, 故可用 !ls 来替代)

(17)Lcd:切换本地目录

(18)Lpwd:显示本地目录

(19)Alias:定义别名

(20)Bookmark:设定书签。

(21)Exit:退出ftp

(22)快捷书签:ftp中的bookmark命令,是将配置写到~/.lftp/bookmarks文件中;我们可以直接修改此文件,快速登陆ftp服务器。

wget

wget 是一个经由 GPL 许可的可从网络上自动获取文件的自由软件包。它是一个非交互式的命令行工具。支持 HTTP,HTTPS 和 FTP 协议,支持代理服务器以及断点续传功能。 wget 可实现递归下载,即可跟踪 HTML 页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构,实现远程网站的镜像。在递归下载时,wget 将页面中的超级链接转换成指向本地文件,方便离线浏览。由于非交互特性,wget 支持后台运行,用户在退出系统后,仍可继续运行。功能强大,设置方便简单。

基本语法: wget [options][URL-list]

         Options:

                  

         -r 递归下载服务器上所有的目录和文件。由 -l选项来指定递归深度。

         -b 后台下载

         -m  制作站点镜像

         -c 指定断点续传功能。该功能要求服务器支持断点续传。

         -I 指定下载目录列表,可实现批量下载

         -A/-R 指定接受/拒绝下载列表,实现选择性地下载

         --proxy=on/off  指定是否利用代理服务器进行下载

         -t,--tries=NUMBER  最大尝试链接次数 (0 表示无限制,默认为 20 次 )

         -nc,--no-clobber 不覆盖已存在的文件

         -N,--timestamping 只下载比本地新的文件

         -nd--no-directories 不进行目录结构创建

         -x,--force-directories 强制创建目录结构

         -nH,--no-host-directories 不继承主机目录结构

         -P,--directory-prefix=PREFIX 设置目录前缀

例子:递归下载 http://www. 站点的信息。下载所有显示完整网页所以需要的文件,如图片等。在下载不进行上层目录搜索并将绝对链接转换为相对链接。

   wget -r -p -np -k http://www.

    将在本地硬盘建立http://www. 的镜像,镜像文件存入当前目录下一个名为 www. 的子目录中(也可以使用 -nH 参数指定不建立该子目录,而直接在当前目录下建立镜像的目录结构),递归深度为 4,重试次数为无穷(若连接出现问题,wget 将永远重试下去,直至任务完成)

   wget -m -l4 -t0 http://www.ibm.com.c

    使用代理进行下载,并实现断点续传。代理可以在环境变量 PROXY 或 wgetrc 文件中设定。 -c 选项要求服务支持断点续传。

   wget -Y on -c http://www.

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多