高速下载 EBI NCBI 测序数据(SRA,Fastq等)_Baimoc-CSDN博客

高速下载 EBI NCBI 测序数据(SRA,Fastq等)

白墨石
2020-07-07 21:15:33

1282

收藏

8



原力计划

一、测试环境及工具

  • Linux(Ubuntu 18.04.1)
  • Aspera (Aspera Connect version 3.9.9.177872)

Aspera 适用于所有的 Linux 版本,可以按步骤测试在CentOS,Fedora等其他 Linux 发行版的效果

二、Conda 方式安装 Aspera

conda install -y -c hcc aspera-cli

这里需要安装Conda (这是一款用于安装多数生物信息分析软件的管理软件,重要的是可以解决软件依赖问题) : Conda 安装使用图文详解

三、传统方式安装 Aspera

官网下载:http://downloads.asperasoft.com/en/downloads/8?list

csdn下载: https://download.csdn.net/download/u011262253/10402259

wget 下载:wget https://download.asperasoft.com/download/sw/connect/3.9.9/ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.tar.gz

安装及配置

1. 解压

tar -zxvf ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.tar.gz

2. 安装

./ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.sh

3. 配置许可

sudo cp ~/.aspera/connect/etc/aspera-license /usr/local/bin/

4. 配置程序环境变量

vim ~/.bashrc

在末尾加上你的aspera所在目录

export PATH="/home/baimoc/.aspera/connect/bin:$PATH"

立马生效

source ~/.bashrc

5. 配置秘钥

新建配置目录

mkdir /home/baimoc/.aspera/config/

复制到配置目录

cp ~/.aspera/connect/etc/asperaweb_id_dsa.openssh /home/baimoc/.aspera/config/

四、测试

1. 一个例子

ascp -QT -L /home/baimoc/logs -l 100M -P33001 -i /home/baimoc/.aspera/config/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR689/SRR689233/SRR689233_1.fastq.gz ./out_path

2. 常用参数介绍
命令 含义
ascp aspera的可执行文件
-QT 禁用进度显示
-L /home/baimoc/logs 日志文件路径
-l 100M 最大传输
-P33001 SSH传输端口
-i /home/baimoc/.aspera/config/asperaweb_id_dsa.openssh 密钥文件路径
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR689/SRR689233/SRR689233_1.fastq.gz 资源路径
./out_path 文件保存路径
3. 下载地址的构建

EBIera-fasp@fasp.sra.ebi.ac.uk:/vol1/ERA012/ERA012008/sff/library08_GJ6U61T06.sff

NCBI:anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR507/SRR5077625/SRR5077625.sra

可以看到最关键的前缀是:era-fasp@fasp.sra.ebi.ac.uk:anonftp@ftp-private.ncbi.nlm.nih.gov:

4. EBI查询整个项目的资源文件

https://www.ebi.ac.uk/ena/browser/view/PRJNA189204

6. 查看下载链接

提取对应列,即可下载相应的资源文件

五、为什么这里要建议选EBI,而不用NCBI?

这个是在 NCBI 下载时的链接及提示:


简单来说就是:

  • 现在NCBI正在将数据传输至亚马逊云 AWS 和 谷歌云 GS
  • 美国境内服务器免费,其他的服务器收费,用户自己掏钱
  • 由于正在迁移,所以NCBI也不保证数据的完整性
  • 虽然也提供了免费的链接,但是实测速度奇慢无比



白墨石





生物信息学
CSDN博客专家
知乎专栏作家

生物信息学在读博士,主要研究生信流程自动化,生物序列分析,web应用及数据库搭建。
联系方式在左栏,欢迎学习交流,咨询提问 ^.^

点击数:0

发表评论

邮箱地址不会被公开。 必填项已用*标注