我们通常用wgetcurl下载文件,然而由于NCBI和EBI网站都在国外,有时候下载速度非常慢,如果文件特别大,就可能非常难受甚至是不可能完全的任务了,这时可用aspera进行高速下载。

安装Aspera

首先进入aspera官方网站,找到IBM Aspera Connect,进入下载页面,找到对应的版本与平台,这里以Linux平台最新的3.10.0版本为例进行介绍。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
# 下载
wget https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/092u0/0/ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.tar.gz

# 解压
tar xvf ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.tar.gz

# 解压后得到一个脚本文件,运行该脚本,即可完成自动安装
sh ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.sh

# 所有安装文件都在~/.aspera/connect目录下,添加环境变量
echo 'export PATH=~/.aspera/connect/bin/:$PATH' >> ~/.bashrc

# 使环境变量生效
source ~/.bashrc

# 查看ascp可执行文件所在的路径,应该是:~/.aspera/connect/bin/ascp
which ascp

# 看程序是否能正常运行
ascp -h

高速下载

1. NCBI数据下载

NCBI中数据的下载链接通常为

1
https://ftp.ncbi.nlm.nih.gov/refseq/release/viral/viral.2.1.genomic.fna.gz

需要去除前面的域名,用如下命令下载,注意最后有一个点.,表示文件下载到当前目录并且保持原文件名

1
ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -k 1 -T anonftp@ftp.ncbi.nlm.nih.gov:/refseq/release/viral/viral.2.1.genomic.fna.gz .

2.EBI数据下载

同理,从EBI网站下载千人基因组数据

1
ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -T -P33001 fasp-g1k@fasp.1000genomes.ebi.ac.uk:vol1/ftp/release/20100804/ALL.2of4intersection.20100804.genotypes.vcf.gz .

3.批量下载

先将要下载的文件的路径放入一个文件file.lst中,比如

1
2
/refseq/release/viral/viral.1.1.genomic.fna.gz
/refseq/release/viral/viral.2.1.genomic.fna.gz

然后使用命令

1
ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -T -k1 --mode recv --host ftp.ncbi.nlm.nih.gov --user anonftp --file-list file.lst .

主要参数

-i 免密从NCBI或EBI下载的私钥,安装完成就有,位于~/.aspera/connect/etc/asperaweb_id_dsa.openssh

-l 最大下载速度,如100M

-k 断点续传,通常设为1

-T 无需加密传输

–host 服务器域名,NCBI为ftp.ncbi.nlm.nih.gov,EBI下载千人基因组为fasp.1000genomes.ebi.ac.uk

-P 用于SSH认证的TCP商品,一般是33001

–user 用户名,NCBI为anonftp,EBI下载千人基因组为g1k

–mode 传输模式,上传为send,下载为recv

参考

Aspera官网:https://www.ibm.com/products/aspera/downloads?list

Aspera使用说明1:https://www.ibm.com/support/pages/downloading-data-ncbi-command-line#usage

Aspera使用说明2:https://www.internationalgenome.org/faq/how-download-files-using-aspera

如果你是初学者,可以看看我之前写的生信分析环境搭建教程

最佳生物信息工作环境

强烈推荐Windows平台下生信环境搭配:Windows Terminal + WSL

生物信息基础(一):SSH应用,如何优雅地登录远程服务器?

公众号:简说基因,坚持原创,做教科书式的公众号

知乎专栏:https://www.zhihu.com/people/jianzuoyi,在专栏上给我留言吧,也欢迎把文章分享给需要的朋友