注意此处所提及的任何特定商业产品,工艺或服务(按商品名称,商标,制造商或其他方式)并不一定构成或暗示其由美国政府认可,推荐或倾向于支持。作者在此表达的观点和意见并不一定表述或反映美国政府的观点和观点,也不得用于广告或产品代言目的。 概观本文档提供关于如何使用和安装Aspera Connect以利用NCBI进行高吞吐量文件传输的说明。随着数据集大小的增加,我们发现传统的ftp或http方法不具备支持这种数据负载所需的性能特征。 通过互联网进行大规模数据传输的要求包括高带宽,自动校验和,递归复制和基于强密钥的安全性。由于数据传输特性的改进,NCBI选择使用Aspera,Inc(Emeryville,CA)的产品。FTP和HTTP访问将继续可用,并且是没有安装Aspera的用户的默认选项。下面提供了调查人员使用这种数据传输技术的说明。NCBI也愿意使用具有适当性能特征的附加产品。 范围本文档适用于向NCBI传输大数据文件的用户。它适用于已启用aspera下载的序列读取存档(SRA),dbGaP和其他存档。 叶树Aspera ConnectAspera Connect是一款软件,允许通过网页插件下载和上传运行Linux,Windows和Macintosh的计算机上流行的浏览器。该软件还包括一个允许脚本数据传输的命令行工具(ascp)。用户可以免费与NCBI交换数据。 从以下网站下载并安装Aspera Connect软件:http : //downloads./connect2/ 网站的下载按钮将默认为检测到用户计算机的操作系统。要下载不同的操作系统,请单击“查看所有安装程序”链接。 请注意 要求 并咨询您的网络管理员以确保不会阻止aspera传输。 Aspera可以为个人用户安装。然而,共享机器的用户可能希望由系统管理员为所有用户安装该软件。 fasp协议Aspera的FASP协议(www.)使用UDP,消除了TCP出现的延迟问题,并提供高达5 Gbps的带宽来传输数据。如果数据传输在中途中断并且表现良好,则它具有重新启动功能,因此如果网络连接上存在其他数据流量,它将会退出以避免挨饿其他协议。我们已经看到单个站点的有效吞吐量高达每秒800兆比特(Mbps)。 使用Aspera Connect Browser插件下载数据一旦插件已安装到浏览器中,您可以使用Aspera从NCBI下载文件或整个目录。例如:在浏览器窗口中,转到 http://www.ncbi.nlm./public/?/ftp/sra/sra-instant/reads/ByRun/sra/SRR/SRR292/SRR292241 点击' SRR292241.sra'开始保存数据。系统会提示您选择要保存文件的位置。例如: 您可以一次下载完整的目录或单个文件。Aspera Connect插件可与Chrome,Internet Explorer(IE),Safari和FireFox Web浏览器配合使用。在某些情况下,Aspera Connect可能会创建一个弹出窗口来获得文件传输确认,并且此弹出窗口可隐藏在当前Web浏览器后面。 使用ascp通过命令行下载命令行程序ascp是与Aspera Connect产品一起交付的实用程序。 ascp -i <asperaweb_id_dsa.openssh with path> -k1 -Tr -l100m
此公钥文件位于。该文件是Aspera Connect发行版的一部分,通常位于'etc'子目录中。
试验传输速度从100 Mbps开始,最高可达400 Mbps。选择无人值守操作时带来良好性能的带宽设置。
Windows可执行位置Windows 的ascp程序默认位于“ C:\ Program Files \ Aspera \ Aspera Connect \ bin \ ascp.exe”中 OS X可执行位置该ASCP Mac程序位置是/应用/ Aspera用户Connect.app/Contents/Resources/ascp 使用ascp通过命令行上传为了使用Aspera上传服务,您需要使用私人 SSH密钥,个人用户可以通过vog.hin.mln.ibcn@ars与我们联系,以获取 Aspera私钥。 上传命令 ascp -i <私钥文件> -T -l 100m <要传输的文件>
试验传输速度从100 Mbps开始,最高可达400 Mbps。选择无人值守操作时带来良好性能的带宽设置。
对于受密码保护的私钥,可以以自主,无人值守的方式运行ascp,而不需要重复登录。环境变量ASPERA_SCP_PASS可用于存储脚本化的一系列批量上传的私钥路径。 要求防火墙要求您的本地防火墙必须允许端口33001-33009在两个方向上的UDP数据传输,适用于以下IP范围: 130.14。*。* 165.112。*。* 防火墙还必须允许ssh流量出站到NCBI。 故障排除以下是一些演示测试下载的示例命令。 Mac OS X: ascp -T -l640M -i“/ Applications / Aspera Connect.app/Contents/Resources/asperaweb_id_dsa.openssh”anonftp@ftp.ncbi.nlm.:1GB / tmp / Linux的: ascp -T -l640M -i /opt/aspera/etc/asperaweb_id_dsa.openssh anonftp@ftp.ncbi.nlm.:1GB / tmp / MS Windows: C:\ TEMP>“C:\ Program Files(x86)\ Aspera \ Aspera Connect \ bin \ ascp.exe”-T -l640M 如需更多帮助,请通过vog.hin.mln.ibcn@ofni联系NCBI帮助台 当您即将联系NCBI服务台时,请向他们提供一些基本信息,例如操作系统,aspera连接的版本,用于传输文件的磁盘存储类型以及组织连接到互联网的网络连接类型。 如果您有Linux或MacOS X操作系统,您可以运行这些命令并向我们显示它们的输出: curl -o / dev / null ftp://ftp.ncbi.nlm./1GB 前两个命令使用ftp和http协议从NCBI下载1GB文件,内容被转储到/ dev / null。第三条命令将让我们看到您的互联网连接的延迟以及在前往NCBI的途中可能出现的拥塞。 另一种可能是从Aspera的演示服务器上下载一些测试,对于Linux,命令行是: env ASPERA_SCP_PASS = demoaspera ascp -L- -T -l100m aspera@demo.:aspera-test-dir-large / 1GB / tmp / Aspera Connect是一个商业产品,程序特定的支持可以从http:///support/上的制造商处获得。 有关ascp的当前最新文档可以在http://downloads./en/documentation/8上找到。 |
|