【原】微生物多样性研究中测序原始数据及其处理方式

1. 原始数据的解释及相关概念

原始数据的概念：

A.测序仪完成测序后生产的测序文件，经过单样品拆分后，获得的单样品测序文件。 

B.或者  测序仪测序完成后，由测序仪直接拆分的单样品测序文件。

——我们常常称之为“Rawdata”

原始数据展示(illumina测序平台、Fastq格式文件):

Fastq格式文件：基于文本的，保存生物序列（通常是核酸序列）和其质量信息的标准格式，其实质是一种数据存储格式，其序列以及质量都是使用一个ASCII字符标示，最初有Sanger公司开发，目的是将Fasta序列和质量数据放在一起，目前已经成为高通量测序结果的事实标准。

对于Fastq格式文件内容相关解释：

1）第一行以“@”开头，由文件识别标志和读段名（ID）组成；

2）第二行为碱基序列；

3）第三行以“+” 开头，也是由文件识别标志和读段名（ID）组成，其ID可以省略，但“+”不能省略；

4）第四行是第二行中的序列内容每个碱基所对应的测序质量值。

2.  数据质控

高通量测序下机的原始数据raw reads中存在一些低质量数据、接头以及barcode序列等，为消除其对后续分析准确性产生的影响，在数据下机以后对原始数据进行质控处理就成了至关重要的环节。

数据质控的概念：

将原始数据通过系列步骤（或同时进行）质量控制筛选的过程。

质控筛选后的数据，我们常常称之为“Cleandata”，也称之为“可以进行后续分析的序列”。

因各服务商提供的质控标准会略有不同，但大体包含（但不限于）如下几方面：

  1）通过index提取序列，并作测序质量控制，质量达不到设置要求的去除，将序列与样本对应；

  2）通过overlap完成拼接，去除index序列，overlap长度和错配要达到设置的要求，拼接不上的舍弃；

  3）拼接完成且长度达不到设定要求的舍弃。

？问题：Cleandata（可用于分析的序列）跟最终参与分析的序列数量相等吗？

   我们将在OTU聚类环节给出答案。

3.  原始数据的重要性

• 原始数据一切数据分析的根本。分析过程文件、结果文件可以丢失，原始数据在，分析结果可以重现；原始数据一旦丢失，分析结果则不可重现； 

• 原始数据应及时索取或保存。 

• 获取方式

    1）服务商提供：硬盘、网盘、U盘、邮件等数据载体。

    2）自留保存：硬盘、上传NCBI等数据载体。

• 文章发表时，均需要上传NCBI，并获得唯一项目号。