论文研究过程中的原始数据处理

1. 原始数据的解释及相关概念 原始数据的概念： A.测序仪完成测序后生产的测序文件，经过单样品拆分后，获得的单样品测序文件。 B.或者  测序仪测序完成后，由测序仪直接拆分的单样品测序文件。 ——我们常常称之为“Rawdata” 原始数据展示(illumina测序平台、Fastq格式文件): Fastq格式文件：基于文本的，保存生物序列（通常是核酸序列）和其质量信息的标准格式，其实质是一种数据存储格式，其序列以及质量都是使用一个ASCII字符标示，最初有Sanger公司开发，目的是将Fasta序列和质量数据放在一起，目前已经成为高通量测序结果的事实标准。对于Fastq格式文件内容相关解释： 1）第一行以“@”开头，由文件识别标志和读段名（ID）组成； 2）第二行为碱基序列； 3）第三行以“+” 开头，也是由文件识别标志和读段名（ID）组成，其ID可以省略，但“+”不能省略； 4）第四行是第二行中的序列内容每个碱基所对应的测序质量值。 2.  数据质控 高通量测序下机的原始数据raw reads中存在一些低质量数据、接头以及barcode序列等，为消除其对后续分析准确性产生的影响，在数据下机以后对原始数据进行质控处理就成了至关重要的环节。 数据质控的概念： 将原始数据通过系列步骤（或同时进行）质量控制筛选的过程。 质控筛选后的数据，我们常常称之为“Cleandata”，也称之为“可以进行后续分析的序列”。 因各服务商提供的质控标准会略有不同，但大体包含（但不限于）如下几方面：   1）通过index提取序列，并作测序质量控制，质量达不到设置要求的去除，将序列与样本对应；   2）通过overlap完成拼接，去除index序列，overlap长度和错配要达到设置的要求，拼接不上的舍弃；   3）拼接完成且长度达不到设定要求的舍弃。 ？问题：Cleandata（可用于分析的序列）跟最终参与分析的序列数量相等吗？    我们将在OTU聚类环节给出答案。 3.  原始数据的重要性 原始数据一切数据分析的根本。分析过程文件、结果文件可以丢失，原始数据在，分析结果可以重现；原始数据一旦丢失，分析结果则不可重现；  原始数据应及时索取或保存。  获取方式     1）服务商提供：硬盘、网盘、U盘、邮件等数据载体。     2）自留保存：硬盘、上传NCBI等数据载体。 文章发表时，均需要上传NCBI，并获得唯一项目号。

论文原始数据的获取有以下几种方法：

科研论文写作时收集资料是整个研究过程中很具体的工作环节，通过各种测量、问卷调查和观察等方法从研究对象身上直接收集到的科研资料，称为原始资料，记录必须可靠，不可自行更改。

资料的真实性和准确与否直接关系到研究结果的真实性和科学性，所以应严格按照设计方案规定的方法和要求，进行资料收集。收集资料的方法常用的有观察法、问卷法和测量法等。在研究中收集到的原始资料和数据，先要进行科学分类和归纳，使资料系统化，便于分析和叙述。然后采用适当的统计学方法进行分析，才能找出规律性的答案，得到有意义的结论。

原始数据就是指一手资料，指自己直接经过搜集整理和直接经验所得，包括原创的文献资料和实物资料、口述资料。像在科研时用到的原始文件、档案、信函、日记、回忆录、照片、文物古迹和其它实物，科研过程中的调查问卷、实验数据、访谈记录等等。

中国数据网就是进入“中华人民共和国国家统计局”官网找数据，接着可以在“数据查询”里点相关数据查询，有年度、季度、月度数据，也有普查、国际和部门数据，里面还有细分指标数据查询。如年度数据指标有国民经济、人口、对外经济贸易、能源、财政、价格指数、工农业、社会服务、固定资产投资和房地产等，可以搜索最近5年、10年、20年的数据资料。