分享

aspera

 我的生信收藏 2018-06-04

注意

此处所提及的任何特定商业产品,工艺或服务(按商品名称,商标,制造商或其他方式)并不一定构成或暗示其由美国政府认可,推荐或倾向于支持。作者在此表达的观点和意见并不一定表述或反映美国政府的观点和观点,也不得用于广告或产品代言目的。

概观

本文档提供关于如何使用和安装Aspera Connect以利用NCBI进行高吞吐量文件传输的说明。随着数据集大小的增加,我们发现传统的ftphttp方法不具备支持这种数据负载所需的性能特征。

通过互联网进行大规模数据传输的要求包括高带宽,自动校验和,递归复制和基于强密钥的安全性。由于数据传输特性的改进,NCBI选择使用Aspera,Inc(Emeryville,CA)的产品。FTP和HTTP访问将继续可用,并且是没有安装Aspera的用户的默认选项。下面提供了调查人员使用这种数据传输技术的说明。NCBI也愿意使用具有适当性能特征的附加产品。

范围

本文档适用于向NCBI传输大数据文件的用户。它适用于已启用aspera下载的序列读取存档(SRA),dbGaP和其他存档。

叶树

Aspera Connect

Aspera Connect是一款软件,允许通过网页插件下载和上传运行Linux,Windows和Macintosh的计算机上流行的浏览器。该软件还包括一个允许脚本数据传输的命令行工具(ascp)。用户可以免费与NCBI交换数据。

从以下网站下载并安装Aspera Connect软件:http : //downloads./connect2/

网站的下载按钮将默认为检测到用户计算机的操作系统。要下载不同的操作系统,请单击“查看所有安装程序”链接。

请注意 要求 并咨询您的网络管理员以确保不会阻止aspera传输。

Aspera可以为个人用户安装。然而,共享机器的用户可能希望由系统管理员为所有用户安装该软件。

fasp协议

Aspera的FASP协议(www.)使用UDP,消除了TCP出现的延迟问题,并提供高达5 Gbps的带宽来传输数据。如果数据传输在中途中断并且表现良好,则它具有重新启动功能,因此如果网络连接上存在其他数据流量,它将会退出以避免挨饿其他协议。我们已经看到单个站点的有效吞吐量高达每秒800兆比特(Mbps)。

使用Aspera Connect Browser插件下载数据

一旦插件已安装到浏览器中,您可以使用Aspera从NCBI下载文件或整个目录。例如:在浏览器窗口中,转到

http://www.ncbi.nlm./public/?/ftp/sra/sra-instant/reads/ByRun/sra/SRR/SRR292/SRR292241

点击' SRR292241.sra'开始保存数据。系统会提示您选择要保存文件的位置。例如:

图片Aspera_Transfer_Guide_BK-Image001.jpg

您可以一次下载完整的目录或单个文件。Aspera Connect插件可与Chrome,Internet Explorer(IE),Safari和FireFox Web浏览器配合使用。在某些情况下,Aspera Connect可能会创建一个弹出窗口来获得文件传输确认,并且此弹出窗口可隐藏在当前Web浏览器后面。

使用ascp通过命令行下载

命令行程序ascp是与Aspera Connect产品一起交付的实用程序。

ascp -i <asperaweb_id_dsa.openssh with path> -k1 -Tr -l100m 
anonftp@ftp.ncbi.nlm.:/ <要传输的文件> <本地目的地>
  • -i <asperaweb_id_dsa.openssh with path> =完全限定的路径和文件名称

此公钥文件位于。该文件是Aspera Connect发行版的一部分,通常位于'etc'子目录中。

  • -T禁用加密
  • -k 1允许恢复部分传输
  • -r递归拷贝
  • -l(请求的最大带宽,尝试100M并从那里上升)

试验传输速度从100 Mbps开始,最高可达400 Mbps。选择无人值守操作时带来良好性能的带宽设置。

  • <要传输的文件>> =要传输的文件的名称(包括路径)
  • <本地目标路径> =存储下载数据的位置

Windows可执行位置

Windows ascp程序默认位于“ C:\ Program Files \ Aspera \ Aspera Connect \ bin \ ascp.exe”中

OS X可执行位置

ASCP Mac程序位置是/应用/ Aspera用户Connect.app/Contents/Resources/ascp

Linux可执行文件位置

ASCP Linux的程序位置是/ opt /叶树/斌/ ASCP

有关其他信息,请访问Aspera网站:http : //downloads./documentation/

使用ascp通过命令行上传

为了使用Aspera上传服务,您需要使用私人 SSH密钥,个人用户可以通过vog.hin.mln.ibcn@ars与我们联系,以获取 Aspera私钥。

上传命令

ascp -i <私钥文件> -T -l 100m <要传输的文件> 
asp - **** @ upload.ncbi.nlm.:<目标目录> 
  • -i <私钥文件> =私有SSH密钥的完全限定路径和文件名
  • -T禁用加密
  • -k 1允许恢复部分传输
  • -l(请求的最大带宽,尝试100M并从那里上升)

试验传输速度从100 Mbps开始,最高可达400 Mbps。选择无人值守操作时带来良好性能的带宽设置。

  • <要传输的文件>> =要传输的文件的名称(包括路径)
  • <destination destination> =上传数据的存放位置(通常是'test'或'incoming')

对于受密码保护的私钥,可以以自主,无人值守的方式运行ascp,而不需要重复登录。环境变量ASPERA_SCP_PASS可用于存储脚本化的一系列批量上传的私钥路径。

钥匙对

SSH密钥用于建立到远程计算机的安全连接。

使用专用中心帐户的提交者可以在本指南中找到有关生成密钥对或将PuTTY格式私钥转换为OpenSSH格式的说明。

http://www.ncbi.nlm./books/NBK180157/

要求

防火墙要求

您的本地防火墙必须允许端口33001-33009在两个方向上的UDP数据传输,适用于以下IP范围:

130.14。*​​。*

165.112。*。*

防火墙还必须允许ssh流量出站到NCBI。

故障排除

以下是一些演示测试下载的示例命令。

Mac OS X:

ascp -T -l640M -i“/ Applications / Aspera Connect.app/Contents/Resources/asperaweb_id_dsa.openssh”anonftp@ftp.ncbi.nlm.:1GB / tmp /

Linux的:

ascp -T -l640M -i /opt/aspera/etc/asperaweb_id_dsa.openssh anonftp@ftp.ncbi.nlm.:1GB / tmp /

MS Windows:

C:\ TEMP>“C:\ Program Files(x86)\ Aspera \ Aspera Connect \ bin \ ascp.exe”-T -l640M 
-i“C:\ Program Files(x86)\ Aspera \ Aspera Connect \ etc \ asperaweb_id_dsa .openssh“anon
ftp@ftp.ncbi.nlm.:1GB C:\ Temp \

如需更多帮助,请通过vog.hin.mln.ibcn@ofni联系NCBI帮助台

当您即将联系NCBI服务台时,请向他们提供一些基本信息,例如操作系统,aspera连接的版本,用于传输文件的磁盘存储类型以及组织连接到互联网的网络连接类型。

如果您有Linux或MacOS X操作系统,您可以运行这些命令并向我们显示它们的输出:

curl -o / dev / null ftp://ftp.ncbi.nlm./1GB 
curl -o / dev / null http://www.ncbi.nlm./staff/beloslyu/large.tar
traceroute ftp.ncbi.nlm.

前两个命令使用ftp和http协议从NCBI下载1GB文件,内容被转储到/ dev / null。第三条命令将让我们看到您的互联网连接的延迟以及在前往NCBI的途中可能出现的拥塞。

另一种可能是从Aspera的演示服务器上下载一些测试,对于Linux,命令行是:

env ASPERA_SCP_PASS = demoaspera ascp -L- -T -l100m aspera@demo.:aspera-test-dir-large / 1GB / tmp /

Aspera Connect是一个商业产品,程序特定的支持可以从http:///support/上的制造商处获得。

有关ascp的当前最新文档可以在http://downloads./en/documentation/8上找到。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多