【原】QIIME 2教程. 09数据导出Exporting data(2024.2)

宏基因组 2024-04-13 发布于北京

展开全文

QIIME 2用户文档. 9数据导出

https://docs./2024.2/tutorials/exporting/

Exporting data

注：最好按本教程顺序学习，想直接学习本章，至少完成本系列1简介和安装。

为了使用QIIME 2，输入数据必须存储在QIIME 2对象（即qza文件）中。这是支持分布式、自动来源跟踪、语义类型验证和数据格式之间的转换的基础（有关QIIME 2对象的更多详细信息，请参阅核心概念页）。

有时，您需要从QIIME 2对象中导出数据，例如使用不同的微生物组分析程序分析数据，或在R中进行统计分析。这可以通过使用qiime tools export命令来实现，该命令以QIIME 2对象（.qza）文件和输出目录作为输入。对象中的数据将根据特定对象导出一个或多个文件。

注意: 当从QIIME 2对象导出数据时，将不再有与数据相关的来源。如果随后重新导入数据，则与新对象关联的源将从导入步骤开始，并且所有现有的来源信息都将丢失。因此，最好只在使用QIIME 2完成所有可以实现的处理步骤后，再从对象中导出数据，以最大化每个对象的来源追溯。

以下部分提供了从QIIME 2对象导出数据的示例。可以从任何QIIME 2对象或可视化中导出数据；该过程与下面描述的过程相同。

详者注：为什么要导出文件？
QIIME2采用统一qza文件格式，是为了保证文件格式统一和分析流程可追溯。但不可能要求每个人都用此需系统，而且此系统的功能也不是万能的，需要导出其它软件兼容的格式，方便交流和其它用户开展个性化的分析。

启动工作环境并创建工作目录

# 定义工作目录变量，方便以后多次使用
wd=~/github/QIIME2ChineseManual/2024.2
mkdir -p $wd
# 进入工作目录
cd $wd

# 方法1. 进入QIIME 2 conda工作环境
conda activate qiime2-amplicon-2024.2
# 这时我们的命令行前面出现 (qiime2-amplicon-2024.2) 表示成功进入工作环境

# 方法2. docker安装的请运行如下命令，默认加载当前目录至/data目录
docker run --rm -v $(pwd):/data --name=qiime -it  qiime2/core:2024.2

# 建立工作目录
mkdir -p exporting
cd exporting

导出特征表

Exporting a feature table

导出FeatureTable[Frequency]对象为BIOM v2.1格式

wget -c https://data./2024.2/tutorials/exporting/feature-table.qza
qiime tools export \
  --input-path feature-table.qza \
  --output-path exported-feature-table

feature-table.qza：QIIME 2特征表文件。查看 | 下载

详者注

导出的biom文件位于exported-feature-table文件夹中，名为feature-table.biom，可用biom程序对文件进行格式转换和分析，可参阅以下教程：

BIOM：生物观测矩阵——微生物组数据通用数据格式

BIOM 2.1格式也是HDF5格式，为二进制，无法直接查看，必须转换为文本阅读。

转换biom为tsv格式

biom convert -i exported-feature-table/feature-table.biom \
    -o exported-feature-table/feature-table.txt \
    --to-tsv

查看文件less -S exported-feature-table/feature-table.txt

# Constructed from biom file
#OTU ID K3.H    K3.Z    M2.Middle.L     K3.A    K3.R    K3.V
New.CleanUp.ReferenceOTU0       2.0     0.0     0.0     0.0 
New.CleanUp.ReferenceOTU1       0.0     1.0     6.0     1.0 
New.CleanUp.ReferenceOTU3       0.0     0.0     0.0     0.0

同理tsv转换为biom的代码如下：

biom convert -i exported-feature-table/feature-table.txt \
    -o table.from_txt_hdf5.biom \
    --table-type="OTU table" --to-hdf5

导出进化树

Exporting a phylogenetic tree

导出Phylogeny[Unrooted]对象为newick格式

wget -c https://data./2024.2/tutorials/exporting/unrooted-tree.qza
qiime tools export \
  --input-path unrooted-tree.qza \
  --output-path exported-tree

unrooted-tree.qza：无根树文件。查看 | 下载

导文件为exported-tree/tree.nwk，是标准树nwk文件

(((New.CleanUp.ReferenceOTU1480:0.11995,(New.CleanUp.ReferenceOTU202:0.04479,
New.CleanUp.ReferenceOTU432:0.0049)0.769:0.04661)1:0.26705,
((New.CleanUp.ReferenceOTU1150:0.00016,(New.CleanUp.ReferenceOTU782:0.04264,(New.CleanUp.ReferenceOTU643:0.10438,
(((New.CleanUp.ReferenceOTU1014:0.01521,New.CleanUp.ReferenceOTU270:0.02738)0.879:0.02315,(((New.CleanUp.ReferenceOTU1008:0.0378

导出与提取

Exporting versus extracting

可以使用qiime tools extract来提取来提取QIIME 2对象。提取对象不同于导出导出。导出对象时，仅数据文件被放置在输出目录中。提取还将在输出目录中以纯文本格式提供有关对象的QIIME 2的元数据，包括对象的出处。对象可以按照以下代码提取。您要提取到的目录必须已经事先存在。

mkdir -p feature-table
qiime tools extract \
  --input-path feature-table.qza \
  --output-path feature-table

解压/提取目录包括一个对象编号UUID的目录，里面有所有文件。

推荐使用 https://view. 在线查看结果，可以图形化展示分析流程的追溯。

译者简介

刘永鑫，研究员，博士生导师。2014年博士毕业于中国科学院大学生物信息学专业，之后在中国科学院遗传与发育生物学研究所工作历任博士后、工程师、高级工程师，2022年10月加入中国农业科学院深圳农业基因组研究所担任课题组长。研究方向为宏基因组方法开发、功能挖掘和科学传播。参与QIIME 2项目，主导开发了易扩增子(EasyAmplicon)、易宏基因组(EasyMetagenome)、培养组(Culturome)分析流程、数据分析网站(EVenn、ImageGP) 和R包(amplicon、ggClusterNet)等，目标是全面打造宏基因组领域方法学基础设施，推动微生物组学发展。以(共同)第一或通讯作者在Nature Biotechnology、Nature Microbiology、iMeta等期刊发表论文30余篇。合作在Science、Cell Host & Microbe、Microbiome等期刊发表论文20余篇，累计发表论文50余篇，被引用17000+次。主编《微生物组实验手册》专著，由300多位同行参与，共同打造本领域长期更新的中文百科全书。创办宏基因组公众号，16万+同行关注，分享原创文章3千余篇，累计阅读量超4千万，打造本领域最具影响力的科学传播平台。发起《iMeta》期刊，联合全球千位专家共同打造宏基因组学、微生物组和生物信息学顶刊，解决我国本领域期刊出版卡脖子问题。课题组长期招聘博士后、客座研究生，有兴趣可加微信yongxinliu详谈。

杨海飞，青岛农业大学，生物信息学硕士在读，基因组所刘永鑫组客座硕士。负责本次版本的更新和测试。

Reference

https://docs./2024.2/

Evan Bolyen, Jai Ram Rideout, Matthew R. Dillon, Nicholas A. Bokulich, Christian C. Abnet, Gabriel A. Al-Ghalith, Harriet Alexander, Eric J. Alm, Manimozhiyan Arumugam, Francesco Asnicar, Yang Bai, Jordan E. Bisanz, Kyle Bittinger, Asker Brejnrod, Colin J. Brislawn, C. Titus Brown, Benjamin J. Callahan, Andrés Mauricio Caraballo-Rodríguez, John Chase, Emily K. Cope, Ricardo Da Silva, Christian Diener, Pieter C. Dorrestein, Gavin M. Douglas, Daniel M. Durall, Claire Duvallet, Christian F. Edwardson, Madeleine Ernst, Mehrbod Estaki, Jennifer Fouquier, Julia M. Gauglitz, Sean M. Gibbons, Deanna L. Gibson, Antonio Gonzalez, Kestrel Gorlick, Jiarong Guo, Benjamin Hillmann, Susan Holmes, Hannes Holste, Curtis Huttenhower, Gavin A. Huttley, Stefan Janssen, Alan K. Jarmusch, Lingjing Jiang, Benjamin D. Kaehler, Kyo Bin Kang, Christopher R. Keefe, Paul Keim, Scott T. Kelley, Dan Knights, Irina Koester, Tomasz Kosciolek, Jorden Kreps, Morgan G. I. Langille, Joslynn Lee, Ruth Ley, Yong-Xin Liu, Erikka Loftfield, Catherine Lozupone, Massoud Maher, Clarisse Marotz, Bryan D. Martin, Daniel McDonald, Lauren J. McIver, Alexey V. Melnik, Jessica L. Metcalf, Sydney C. Morgan, Jamie T. Morton, Ahmad Turan Naimey, Jose A. Navas-Molina, Louis Felix Nothias, Stephanie B. Orchanian, Talima Pearson, Samuel L. Peoples, Daniel Petras, Mary Lai Preuss, Elmar Pruesse, Lasse Buur Rasmussen, Adam Rivers, Michael S. Robeson, Patrick Rosenthal, Nicola Segata, Michael Shaffer, Arron Shiffer, Rashmi Sinha, Se Jin Song, John R. Spear, Austin D. Swafford, Luke R. Thompson, Pedro J. Torres, Pauline Trinh, Anupriya Tripathi, Peter J. Turnbaugh, Sabah Ul-Hasan, Justin J. J. van der Hooft, Fernando Vargas, Yoshiki Vázquez-Baeza, Emily Vogtmann, Max von Hippel, William Walters, Yunhu Wan, Mingxun Wang, Jonathan Warren, Kyle C. Weber, Charles H. D. Williamson, Amy D. Willis, Zhenjiang Zech Xu, Jesse R. Zaneveld, Yilong Zhang, Qiyun Zhu, Rob Knight & J. Gregory Caporaso#. Reproducible, interactive, scalable and extensible microbiome data science using QIIME 2. Nature Biotechnology. 2019, 37: 852-857. https:///10.1038/s41587-019-0209-9

宏基因组推荐

本公众号现全面开放投稿，希望文章作者讲出自己的科研故事，分享论文的精华与亮点。投稿请联系小编（微信号：yongxinliu 或 meta-genomics）