我们通常用wget
或curl
下载文件,然而由于NCBI和EBI网站都在国外,有时候下载速度非常慢,如果文件特别大,就可能非常难受甚至是不可能完全的任务了,这时可用aspera进行高速下载。
安装Aspera
首先进入aspera官方网站,找到IBM Aspera Connect,进入下载页面,找到对应的版本与平台,这里以Linux平台最新的3.10.0版本为例进行介绍。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
# 下载
wget https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/092u0/0/ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.tar.gz
# 解压
tar xvf ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.tar.gz
# 解压后得到一个脚本文件,运行该脚本,即可完成自动安装
sh ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.sh
# 所有安装文件都在~/.aspera/connect目录下,添加环境变量
echo 'export PATH=~/.aspera/connect/bin/:$PATH' >> ~/.bashrc
# 使环境变量生效
source ~/.bashrc
# 查看ascp可执行文件所在的路径,应该是:~/.aspera/connect/bin/ascp
which ascp
# 看程序是否能正常运行
ascp -h
|
高速下载
1. NCBI数据下载
NCBI中数据的下载链接通常为
1
|
https://ftp.ncbi.nlm.nih.gov/refseq/release/viral/viral.2.1.genomic.fna.gz
|
需要去除前面的域名,用如下命令下载,注意最后有一个点.
,表示文件下载到当前目录并且保持原文件名
1
|
ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -k 1 -T anonftp@ftp.ncbi.nlm.nih.gov:/refseq/release/viral/viral.2.1.genomic.fna.gz .
|
2.EBI数据下载
同理,从EBI网站下载千人基因组数据
1
|
ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -T -P33001 fasp-g1k@fasp.1000genomes.ebi.ac.uk:vol1/ftp/release/20100804/ALL.2of4intersection.20100804.genotypes.vcf.gz .
|
3.批量下载
先将要下载的文件的路径放入一个文件file.lst
中,比如
1
2
|
/refseq/release/viral/viral.1.1.genomic.fna.gz
/refseq/release/viral/viral.2.1.genomic.fna.gz
|
然后使用命令
1
|
ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -T -k1 --mode recv --host ftp.ncbi.nlm.nih.gov --user anonftp --file-list file.lst .
|
主要参数
-i 免密从NCBI或EBI下载的私钥,安装完成就有,位于~/.aspera/connect/etc/asperaweb_id_dsa.openssh
-l 最大下载速度,如100M
-k 断点续传,通常设为1
-T 无需加密传输
–host 服务器域名,NCBI为ftp.ncbi.nlm.nih.gov,EBI下载千人基因组为fasp.1000genomes.ebi.ac.uk
-P 用于SSH认证的TCP商品,一般是33001
–user 用户名,NCBI为anonftp,EBI下载千人基因组为g1k
–mode 传输模式,上传为send,下载为recv
参考
Aspera官网:https://www.ibm.com/products/aspera/downloads?list
Aspera使用说明1:https://www.ibm.com/support/pages/downloading-data-ncbi-command-line#usage
Aspera使用说明2:https://www.internationalgenome.org/faq/how-download-files-using-aspera
如果你是初学者,可以看看我之前写的生信分析环境搭建教程
最佳生物信息工作环境
强烈推荐Windows平台下生信环境搭配:Windows Terminal + WSL
生物信息基础(一):SSH应用,如何优雅地登录远程服务器?
公众号:简说基因,坚持原创,做教科书式的公众号
知乎专栏:https://www.zhihu.com/people/jianzuoyi,在专栏上给我留言吧,也欢迎把文章分享给需要的朋友
文章作者
公众号:简说基因, 知乎:简佐义
上次更新
2020-09-15
许可协议
本站文章皆为原创,转载需注明作者及文章链接,谢谢!