|
1 数据导入 对初学者来讲，面对一片空白的命令行窗口，第一道真正的难关也许就是数据的导入。数据导入有很多途径，例如从网页抓取、公共数据源获得、文本文件导入。为了快速入门，建议初学者采取R语言协同Excel电子表格的方法。也就是先用较为熟悉的Excel读取和整理你要处理的数据，然后“粘贴”到R中。 例如我们先从这个地址下载iris.csv演示数据，在Excel中打开，框选所有的样本然后“复制”。在R语言中输入如下命令： data=read.table('clipboard',T)这的里read.table是R读取外部数据的常用命令，T表示第一行是表头信息，整个数据存在名为data的变量中。另一种更方便的导入方法是利用Rstudio的功能，在workspace菜单选择“import dataset”也是一样的。 2 Dataframe操作 在数据导入R语言后，会以数据框(dataframe)的形式储存。dataframe是一种R的数据格式，可以将它想象成类似统计表格，每一行都代表一个样本点，而每一列则代表了样本的不同属性或特征。初学者需要掌握的基本操作方法就是dataframe的编辑、抽取和运算。 尽管建议初学者在Excel中就把数据处理好，但有时候还是需要在R中对数据进行编辑，下面的命令可以让你有机会修改数据并存入到新的变量newdata中： newdata=edit(data)另一种情况就是我们可能只关注数据的一部分，例如从原数据中抽取第20到30号样本的Sepal.Width变量数据，因为Sepal.Width变量是第2个变量，所以此时键入下面的命令即可： newdata=data[20:30,2]如果需要抽取所有数据的Sepal.Width变量，那么下面两个命令是等价的： newdata=data[,2]第三种情况是需要对数据进行一些运算，例如需要将所有样本的Sepal.Width变量都放大10倍，我们先将原数据进行一个复制，再用$符号来提取运算对象即可： newdata=data3 描述统计 描述统计是一种从大量数据中压缩提取信息的工具，最常用的就是summary命令，运行summary(data)得到结果如下：对于数值变量计算了五个分位点和均值，对于分类变量则计算了频数。 也可以单独计算Sepal.Width变量的平均值和标准差 mean(data$Sepal.Width)计算分类数据Species变量的频数表和条形图 table(data$Species)对于一元数值数据，绘制直方图和箱线图观察其分布是常用的方法： hist(data$Sepal.Width)对于二元数值数据，则可以通过散点图来观察规律 plot(data$Sepal.Width,Sepal.Length)如果需要保存绘图结果，建议使用Rstudio中的plot菜单命令，选择save plot as image R语言基础入门之三：常用统计函数运算在R语言中经常会用到函数，例如上节中讲到的求样本统计量就需要均值函数(mean)和标准差函数(sd)。对于二元数值数据还用到协方差(cov)，对于二元分类数据则可以用交叉联列表函数(table)。下文讲述在初级统计学中最常用到的三类函数。
一、数据汇总函数 我们还是以R中自带的iris数据为例，输入head(iris)你可以获得数据的前6个样本及对应的5个变量。取出最后两列数据作为讲解的对象：Species表示花的种类，Petal.Width表示花瓣宽度 data=iris[,c(4,5)]下一步我们想计算不同种类花瓣的平均宽度，可以使用tapply函数，在计算前先用attach命令将data这个数据框解包以方便直接操作其变量，而不需再用$符号。 attach(data)结果如下 setosa versicolor virginica和tapply类似的还有sapply函数，在进一步讲解前初学者还需搞清楚两种数据表现方式，即stack（堆叠数据）和unstack（非堆叠数据），上面的data就是一个堆叠数据，每一行表示一个样本。而非堆叠数据可以根据unstack函数转换而来 data.unstack=unstack(data)你应该明白这二者之间的区别了，如果要对非堆叠数据计算不同种类花瓣的平均宽度，可以利用如下函数。 sapply(data.unstack,FUN=mean)结果是一样的，也就是说tapply对应于stack数据，而sapply对应于unstack数据 二、概率计算函数 如果给定一种概率分布，通常会有四类计算问题：
举例来讲，我们求标准正态分布曲线下小于1的面积p(x<1)，正态分布是norm，而分布函数是p，那么使用pnorm(1)就得出了结果0.84；若计算扔10次硬币实验中有3次正面向上的概率，类似的dbinom(x=3,size=10,prob=0.5)得出0.11 三、抽样函数 我们想从1到10中随机抽取5个数字，那么这样来做：首先产生一个序列，然后用sample函数进行无放回抽取。 x=1:10有放回抽取则是 sample(x,size=5,replace=T) sample函数在建模中经常用来对样本数据进行随机的划分，一部分作为训练数据，另一部分作为检验数据。
R语言基础入门之四：常用的统计推断通常一个研究项目能够获得的数据是有限的，以有限的样本特征来推断总体特征就称为统计推断。推断又可细分为区间估计和假设检验，二者虽有区别，但却是一枚硬币的两面，之间有着紧密的关联。
1 对总体均值进行区间估计 假设我们从总体中抽得一个样本，希望根据样本均值判断总体均值的置信区间，如下例所示： x=rnorm(50,mean=10,sd=5) #随机生成50个均值为10，标准差为5的随机数为作为研究对象也可以直接利用R语言内置函数t.test t.test(x,conf.level=0.95)从如下结果可得95%置信区间为（9.56，12.36） One Sample t-test2 对总体均值进行假设检验 还是以上面的X数据作为对象，来检验总体均值是否为10 t.test(x,mu=10,alternative='two.sided') #这里的原假设是总体均值（mu）为10，使用双侧检验，得到P值为0.17，可见P值不够小，不能够拒绝原假设。T检验是极为常用的检验方法，除了单样本推断之外，t.test命令还可以实现两样本推断和配对样本推断。如果要对总体比率或总体方差进行推断，可以使用prop.test和var.test。 3 正态分布检验 T检验的前提条件是总体服从正态分布，因此我们有必要先检验正态性。而且在评价回归模型时，对残差也需要检验正态性。检验正态性的函数是shapiro.test shapiro.test(x)结果所下： Shapiro-Wilk normality test该检验的原假设是服从正态分布，由P值为0.82可判断不能拒绝总体服从正态的假设 4 非参数检验 如果总体不服从正态分布，那么T检验就不再适用，此时我们可以利用非参数方法推断中位数。wilcoxon.test函数可实现符号秩检验。 wilcox.test(x,conf.int=T) #指定conf.int让函数返回中位数的置信区间5 独立性检验（联列表检验） 卡方分布有一个重要应用就是根据样本数据来检验两个分类变量的独立性，我们以CO2数据为例来说明chisq.test函数的使用，help(CO2)可以了解更多信息。 data(CO2) #读入内置的数据包，其中Type和Treatmen是其中两个分类变量。 结果显示P值为0.82，因此可以认为两因子之间独立。在样本较小的情况下，还可以使用fisher精确检验，对应的函数是fisher.test。
R语言基础入门之五：简单线性回归线性回归可能是数据分析中最为常用的工具了，如果你认为手上的数据存在着线性定量关系，不妨先画个散点图观察一下，然后用线性回归加以分析。下面简单介绍一下如何在R中进行线性回归。
1 回归建模 我们利用R语言中内置的trees数据，其中包含了Volume（体积）、Girth（树围）、Height（树高）这三个变量，我们希望以体积为因变量，树围为自变量进行线性回归。 plot(Volume~Girth,data=trees,pch=16,col='red')首先绘制了两变量的散点图，然后用lm函数建立线性回归模型，并将回归直线加在原图上，最后用summary将模型结果进行了展示，从变量P值和F统计量可得回归模型是显著的。但截距项不应该为负数，所以也可以用下面方法将截距强制为0。 model2=lm(Volume~Girth-1,data=trees)2 模型诊断 在模型建立后会利用各种方式来检验模型的正确性，对残差进行分析是常见的方法，下面我们来生成四种用于模型诊断的图形。 par(mfrow=c(2,2))这里左上图是残差对拟合值作图，整体呈现出一种先下降后下升的模式，显示残差中可能还存在未提炼出来的影响因素。右上图残差QQ图，用以观察残差是否符合正态分布。左下图是标准化残差对拟合值，用于判断模型残差是否等方差。右下图是标准化残差对杠杆值，虚线表示的cooks距离等高线。我们发现31号样本有较大的影响。 3 变量变换 因为31号样本有着高影响力，为了降低其影响，一种方法就是将变量进行开方变换来改善回归结果，从残差标准误到残差图，各项观察都说明变换是有效的。 plot(sqrt(Volume)~Girth,data=trees,pch=16,col='red') 4 模型预测 下面根据上述模型计算预测值以及置信区间，predict函数可以获得模型的预测值，加入参数可以得到预测区间 plot(sqrt(Volume)~Girth,data=trees,pch=16,col='red') 我们还可以将树围和树高都加入到模型中去，进行多元回归。如果要考虑的变量很多，可以用step函数进行变量筛选，它是以AIC作为评价指标来判断一个变量是否应该加入模型，建议使用这种自动判断函数时要谨慎。对于嵌套模型，还可以使用anova建立方差分析表来比较模型。对于变量变换的形式，则可以使用MASS扩展包中的boxcox函数来进行COX变换。 R语言基础入门之六（完）：Logistic回归让我们用logistic回归来结束本系列的内容吧，本文用例来自于John Maindonald所著的《Data Analysis and Graphics Using R》一书，其中所用的数据集是anesthetic，数据集来自于一组医学数据，其中变量conc表示麻醉剂的用量，move则表示手术病人是否有所移动，而我们用nomove做为因变量，因为研究的重点在于conc的增加是否会使nomove的概率增加。
首先载入数据集并读取部分文件，为了观察两个变量之间关系，我们可以利cdplot函数来绘制条件密度图. library(DAAG) 从图中可见，随着麻醉剂量加大，手术病人倾向于静止。下面利用logistic回归进行建模，得到intercept和conc的系数为-6.47和5.57，由此可见麻醉剂量超过1.16(6.47/5.57)时，病人静止概率超过50%。 anes1=glm(nomove~conc,family=binomial(link='logit'),data=anesthetic)上面的方法是使用原始的0-1数据进行建模,即每一行数据均表示一个个体，另一种是使用汇总数据进行建模，先将原始数据按下面步骤进行汇总 anestot=aggregate(anesthetic[,c('move','nomove')],by=list(conc=anesthetic$conc),FUN=sum)得到汇总数据anestot如下所示 conc move nomove total prop对于汇总数据，有两种方法可以得到同样的结果，一种是将两种结果的向量合并做为因变量，如anes2模型。另一种是将比率做为因变量，总量做为权重进行建模，如anes3模型。这两种建模结果是一样的。 anes2=glm(cbind(nomove,move)~conc,family=binomial(link='logit'),data=anestot)根据logistic模型，我们可以使用predict函数来预测结果，下面根据上述模型来绘图 x=seq(from=0,to=3,length.out=30) |
|
|
来自： 涓涓细流xac1zz > 《待分类》
