写在前面QIIME是微生物组领域最广泛使用的分析流程,14年来引用65000+次,2019年Nature杂志评为近70年来人体菌群研究的25个里程碑事件——里程碑16:生物信息学工具助力菌群测序数据分。为满足当前大数据、可重复分析的需求,北亚利桑那大学Gregory Caporaso教授于2016年起从头开发了QIIME 2,并获得了来自全世界79家单位的112名同行参与,于2018年全面接档QIIME,文章于2019年8月刊正式发表于世界顶级杂志Nature Biotechnology:QIIME 2可重复、交互和扩展的微生物组数据分析平台。 宏基因组团队于2017年6月加入了项目的测试、教程编写及文章投稿全过程,主要负责中文文档的翻译和传播。
QIIME 2新增了较多功能,如vsearch、时间序列分析、宏基因组和代谢组等众多新插件的加入,预计将来还有宏转录组、宏蛋白组等功能开放,使QIIME 2发现成为多组学分析平台。 QIIME 2文章于2019年7月24日在线发表,于8月2号正式发表于《自然生物技术》,现全面更新2024.2版本官方用户文档中文版,将在宏基因组公众号首发,官方论坛、Github、CSDN和科学网同步更新。 QIIME 2的优势
QIIME 2用户文档(版本:2024.2)https://docs./2024.2/ 正文共:8575 字 1 图 2 视频 预计阅读时间:20 分钟,视频 21 + 27 分钟 更新时间:2024年3月29日 视频:QIIME 2用户文档01.1 简介https://v.qq.com/x/page/r0910dnzmof.html 入门指南Getting started https://docs./2024.2/getting-started/ 微生物组(目前以扩增子16S为主)分析是一个即复杂又成熟的领域。复杂是指它的分析种类、方法、步骤特别多,初学者会感到压迫感,但只要肯花几天时间还是可以轻松上手的,再经过几个月的练习和实践,很快很成为领域内的技术小达人,相对于国内5-8年的硕博生涯,如果课题涉及扩增子分析,还是值得投入时间学习,花上2周时间系统学习本教程。如果你只是课题小部分涉及扩增子分析,可学习即将推出的简明教程,6千余字半天即可完成。 本指南将帮助你学习必备的知识,来完成理解、安装和使用QIIME 2,并实现分析你自己的微生物组数据。 下面是学习的顺序:
什么是QIIME 2?What is QIIME 2? https://docs./2024.2/about/ QIIME 2是一款强大、可扩展和去中心化的微生物组分析平台,强调数据分析透明。QIIME 2可以使研究者从原始DNA序列开始分析,直接获取出版级的统计和图片结果。 主要特点:
QIIME 2是对QIIME 1完全重新设计并重写的微生物组分析流程。QIIME 2保留了QIIME 1强大和广泛使用的优点,同时改进了其众多不足之处。 QIIME 2当前支持从头到尾的完整微生物组分析流程。通常QIIME 2插件功能,不断有新功能可用。可以在可用插件列表中查找当前可用的插件。在未来可用插件页列出了正在开发的插件。 核心概念Core concepts https://docs./2024.2/concepts/ 基本概念的学习信息量较大,有基础的同行可直接跳过本章,进行下面的软件安装和接下来的数据分析。学习中有疑问和不懂的词,请返回本章扫清新词和概念的障碍。 想要深入理解QIIME2的分析过程,QIIME定义的核心概念需要了解一下。 数据文件: QIIME 2对象/文件格式Data files: QIIME 2 artifacts
由QIIME 2产生的数据类型,叫QIIME 2对象(artifacts),通常包括数据和元数据/样本信息(metadata)。元数据描述数据,包括类型、格式和它如何产生。典型的扩展名为 QIIME 2采用对象代替原始数据文件(如fasta文件),因此分析者必须导入数据来创建QIIME 2对象。虽然典型的分析是从原始数据开始导入QIIME 2,但你可以在分析的任何步骤导入数据为对象。QIIME 2也有工具可以从QIIME2文件中导出数据,详见导出(importing)章节。 使用QIIME2对象代替简单的数据,可以自动追踪文件类型、格式和分析过程。使用QIIME 2文件,研究者可以专注于分析,而无需考虑过程中的各种数据类型。 QIIME2对象可以查看之前的分析过程,每步使用的输入数据。这种自动化、整合和去中心化的数据追溯,可以使研究者保存QIIME2跟踪、发送给合作者、准确知道它的分析步骤。这样使分析过程可重复,可学习,也可以产生在方法中使用的文本和图表。追溯支持和鼓励使用适合的属性产生QIIME2对象(如FastTree构建系统发生树).
数据文件:可视化Data files: visualizations QIIME2生成的图表结果对象或文件类型,以
语义类型Semantic types QIIME2每步分析中产生的qza文件,都有相应的语义类型,以便程序识别和分析。例如,分析期望的输入是距离矩阵,QIIME2可以决定那个文件拥有距离矩阵的语言类型,以防上不合理的输入文件进行分析(如一个QIIME2对象代表的是系统发生树)。 语言义型了也帮助用户避免引入不合理的分析过程。例如,一个特征表(feature table)包括有、无的数据(1代表OTU观察到至少1次,0代表没有)。然而,当它作为输入计算有权重的UniFrac时可成功运算,但结果无意义。 了解分析各步的结果,才能对分析有更深入和全面的认识。语义类型页查看所有支持的语义类型 插件Plugins QIIME2中的用户的某个特定功能即为插件,你可以安装并完成分析,比如拆分样品的 插件是软件包,每个人都可以开发。QIIME 2团队已经开完了一套完整的微生物组分析流程,也鼓励第三方工具作为插件来提供额外的分析功能。QIIME 2社区建立了标准化分析插件的开发说明,其他用户按其标准开发的特定分析,并可与团队联系发布,并整合入分析平台。这种去中心化的方法,可以使最新的技术、方法快速部署于QIIME 2平台中,方便QIIME 2用户使用。插件也允许用户为某种特定需求选择、自定义分析流程。 检查可用插件页面,查看当前可用的插件。查看未来插件页,查看正开发的功能。 方法和可视化工具Methods and visualizers QIIME 2插件定义的用于进行分析的方法和可视化工具类型。 方法是对QIIME2定义的输入对象进行操作的过程,包括命令和参数,并产生1个或多个标准格式的输出。这一结果可以后续分析或可视化,产生中间或末端的输出。例如 可视化工具定义了标准输入,包括QIIME 2对象和参数的组合,产生统计表格或可视化图形,方便用户解读,输入为 安装QIIME 2Installing QIIME 2 https://docs./2024.2/install/ 有多种安装方法,有Linux服务器的伙伴推荐使用Conda安装,如果还存在兼容性问题可尝试Docker安装解决,想在windows笔记本上体验的朋友可使用Virtualbox虚拟机安装并学习。其它情况根据自己的环境选择以下方法其一即可。 视频:QIIME 2用户文档01.2 安装视频有广告,清晰度不够高吗?后台回复“qiime2”获得1080p视频、测试数据下载链接。 原生安装QIIME 2Natively installing QIIME 2 https://docs./2024.2/install/native/ 下面的教程将介绍如何安装 QIIME 2 Core 2024.2 distribution
Miniconda软件包管理器安装(需要有Linux服务器,但无需管理员权限)提供的conda命令,可以快速安装QIIME 2程序和相关插件。 本人测试采用Miniconda3安装QIIME 2 2024.2于22.04 LTS(64-bit),当然,你也可以是其它的Linux发行版如CentOS 7,或macOS 64-bit也可。 安装MinicondaInstall Miniconda miniconda官网:https:///miniconda.html 有conda的请跳过 下载并安装MiniConda3
按安装过程中按提示操作:
如果你下面运行安装没有权限,请运行
但如果是新环境,或要经常使用QIIME 2,推荐使用默认的添加环境变量更方便。你刚才同意添加环境变量,完成后关闭当前终端,新打开一个终端继续操作才能生效。如果你系统已经有很多程序,添加conda至环境变量可能引起之前软件的依赖关系被破坏。 (可选)添加常用软件下载频道,以及国内镜像加速下载。
关于Conda的安装和使用,教程详见下文: conda环境安装QIIME 2Install QIIME 2 within a conda environment 有macOS和Linux(64-bit)两种系统可选,这里以Linux (64-bit)为例 目前分为Amplicon和Shotgun两个版本,我们分别进行安装
Mac软件清单下载,及备用链接,详细参阅官网
从yml的软件列表文件中可以得知,QIIME 2依赖的软件多达336个。 下载安装所有依赖关系,时间主要由网速决定,我第一次安装1个多小时还中断了。再重试是可以继续末完成的任务,很快就成功了。如果添加有国内的镜像,半小时内可以搞定,详细上文conda配置文章,本次33m搞定。 本地安装QIIME 2安装包下载链接
QIIME 2环境的启动Activate the conda environment
激活工作环境,需要几十秒,命令如下:
测试安装是否成功Test your installation 检查是否安装成功,弹出程序帮助即成功
QIIME 2运行成功,显示如下帮助信息:
关闭工作环境
不用QIIME 2时关闭环境,不然你其它程序可能找不到或运行可能会出错 软件升级 How do I update to the newest version of QIIME 2? QIIME 2虽然经常更新,但每个版本独立,不支持升级。如果有新版本可用,可按照说明安装至另一个新的conda环境中,互不干扰,只是环境名称不同,以版本号区分。 比如我还有之前安装的QIIME 2 2020.8 删除的方法是:
可以瞬间删除你这么久安装的环境。 虚拟机安装Installing QIIME 2 using Virtual Machines https://docs./2024.2/install/virtual/ 虚拟机安装有三种可选方法,分别为VirtualBox,Amazon云服务,和Docker。目前只推荐上面提的conda方式安装,可以满足绝大多数用户需求。如虚拟机安装仍有需求较多,如留言超过10条,我们将会考虑更新虚拟机安装详细的中文教程。下面有简明教程供参考,不详之处参考原文。 使用VirtualBox方式安装(不推荐)https://docs./2024.2/install/virtual/virtualbox/ 此步至少需要 ~25 GB硬盘空间 Virutalbox是一款强大的虚拟机,可以在Windows / Linux / Mac平台运行,并加载制作好的系统镜像运行。适合Windows配置较高的台式机、笔记本学习QIIME 2使用。 主要步骤(以Win操作系统为例):
详细图文教程见官方,中文Virutal box使用教程参考 《扩增子分析QIIME. 1虚拟机安装配置及挂载外部目录》 使用Docker方式安装Installing QIIME 2 using Docker 一般仅当conda无法安装、或安装完无法使用时,尝试本方法安装,提高运行成功率。
以Ubuntu系统安装为例(已安装,请跳过)
添加用户至docker组,请在管理员权限下运行,并修改为自己的用户名
我比较喜欢使用docker,直接下载预配置好的系统使用,对本地系统无影响 Dokcer的基本操作可参考宏基因组公众号的教程《扩增子分析流程2.使用Docker运行QIIME》,和《Docker的基本使用-Ubuntu18.04》
需要下载3Gb的镜像数据,一般工作时间下载要1小时,下班时间单位不限速,7分钟搞定啦,Docker服务器的速度还是相当可以的(测试时此版本docker还末更新)。
运行QIIME2 docker
使用Windows子系统Linux方式安装(推荐)此种方法推荐Windows 10用户使用,安装方便、效率高,详见下文。 建议Recommendations 通常建议使用本机conda安装,但这并不总是可用,也不是在所有情况下都简单易用的选项。通常,我们建议以下内容:
QIIME 2 2024.2版本核心插件QIIME 2 Core 2024.5 distribution https://docs./2024.2/install/#qiime-2-core-2024-2-distribution QIIME 2 2024.2版本默认安装包括
插件的功能见上方
译者简介刘永鑫,研究员,博士生导师。2014年博士毕业于中国科学院大学生物信息学专业,之后在中国科学院遗传与发育生物学研究所工作历任博士后、工程师、高级工程师,2022年10月加入中国农业科学院深圳农业基因组研究所担任课题组长。研究方向为宏基因组方法开发、功能挖掘和科学传播。参与QIIME 2项目,主导开发了易扩增子(EasyAmplicon)、易宏基因组(EasyMetagenome)、培养组(Culturome)分析流程、数据分析网站(EVenn、ImageGP) 和R包(amplicon、ggClusterNet)等,目标是全面打造宏基因组领域方法学基础设施,推动微生物组学发展。以(共同)第一或通讯作者在Nature Biotechnology、Nature Microbiology、iMeta等期刊发表论文30余篇。合作在Science、Cell Host & Microbe、Microbiome等期刊发表论文20余篇,累计发表论文50余篇,被引用17000+次。主编《微生物组实验手册》专著,由300多位同行参与,共同打造本领域长期更新的中文百科全书。创办宏基因组公众号,16万+同行关注,分享原创文章3千余篇,累计阅读量超4千万,打造本领域最具影响力的科学传播平台。发起《iMeta》期刊,联合全球千位专家共同打造宏基因组学、微生物组和生物信息学顶刊,解决我国本领域期刊出版卡脖子问题。课题组长期招聘博士后、客座研究生,有兴趣可加微信yongxinliu详谈。 杨海飞,青岛农业大学,生物信息学硕士在读,基因组所刘永鑫组客座硕士。负责本次版本的更新和测试。 Referencehttps://docs./2024.2 Evan Bolyen*, Jai Ram Rideout*, Matthew R. Dillon*, Nicholas A. Bokulich*, Christian C. Abnet, Gabriel A. Al-Ghalith, Harriet Alexander, Eric J. Alm, Manimozhiyan Arumugam, Francesco Asnicar, Yang Bai, Jordan E. Bisanz, Kyle Bittinger, Asker Brejnrod, Colin J. Brislawn, C. Titus Brown, Benjamin J. Callahan, Andrés Mauricio Caraballo-Rodríguez, John Chase, Emily K. Cope, Ricardo Da Silva, Christian Diener, Pieter C. Dorrestein, Gavin M. Douglas, Daniel M. Durall, Claire Duvallet, Christian F. Edwardson, Madeleine Ernst, Mehrbod Estaki, Jennifer Fouquier, Julia M. Gauglitz, Sean M. Gibbons, Deanna L. Gibson, Antonio Gonzalez, Kestrel Gorlick, Jiarong Guo, Benjamin Hillmann, Susan Holmes, Hannes Holste, Curtis Huttenhower, Gavin A. Huttley, Stefan Janssen, Alan K. Jarmusch, Lingjing Jiang, Benjamin D. Kaehler, Kyo Bin Kang, Christopher R. Keefe, Paul Keim, Scott T. Kelley, Dan Knights, Irina Koester, Tomasz Kosciolek, Jorden Kreps, Morgan G. I. Langille, Joslynn Lee, Ruth Ley, Yong-Xin Liu, Erikka Loftfield, Catherine Lozupone, Massoud Maher, Clarisse Marotz, Bryan D. Martin, Daniel McDonald, Lauren J. McIver, Alexey V. Melnik, Jessica L. Metcalf, Sydney C. Morgan, Jamie T. Morton, Ahmad Turan Naimey, Jose A. Navas-Molina, Louis Felix Nothias, Stephanie B. Orchanian, Talima Pearson, Samuel L. Peoples, Daniel Petras, Mary Lai Preuss, Elmar Pruesse, Lasse Buur Rasmussen, Adam Rivers, Michael S. Robeson, Patrick Rosenthal, Nicola Segata, Michael Shaffer, Arron Shiffer, Rashmi Sinha, Se Jin Song, John R. Spear, Austin D. Swafford, Luke R. Thompson, Pedro J. Torres, Pauline Trinh, Anupriya Tripathi, Peter J. Turnbaugh, Sabah Ul-Hasan, Justin J. J. van der Hooft, Fernando Vargas, Yoshiki Vázquez-Baeza, Emily Vogtmann, Max von Hippel, William Walters, Yunhu Wan, Mingxun Wang, Jonathan Warren, Kyle C. Weber, Charles H. D. Williamson, Amy D. Willis, Zhenjiang Zech Xu, Jesse R. Zaneveld, Yilong Zhang, Qiyun Zhu, Rob Knight & J. Gregory Caporaso#. Reproducible, interactive, scalable and extensible microbiome data science using QIIME 2. Nature Biotechnology. 2019, 37(8): 852-857. https:///10.1038/s41587-019-0209-9 |
|