|
对于生成的dDataFrame，下一步进行的是对他的基本操作，增、减、改、查。
一. 数据选取
从已有的DataFrame中取出其中一列或几列，并对其进行操作。
Pandas取出DataFrame的列有两种方式，两个方式没有好与坏之分，还是看个人喜欢用哪个
- #-*- coding:utf-8 -*-
- import pandas as pd
-
- df = pd.DataFrame({'goods':['coke cola', 'eggplant','condom'], 'quantity':[12,3,1], 'price':[20,12,80]})
- df['goods'] #选择df的goods这一列
-
- df.goods #同上，是选择列的第二种方法
- df['goods','quantity'] #会报错，不要妄想通过这种方式获取多列。
二. 数据筛选
往往选取出几个DataFrame的列并不能满足筛选，DataFrame的筛选的形式比较特殊，对列进行筛选时用到的是之前所讲的第二种选取列的形式，有点像是把列名视为一个DataFrame的属性。
- #-*- coding:utf-8 -*-
- import pandas as pd
-
- df = pd.DataFrame({'goods':['coke cola', 'eggplant','condom'], 'quantity':[12,3,1], 'price':[20,12,80]})
- print df[df.goods =='eggplant'] # goods price quantity
- # 1 eggplant 12 3
- df[(df.goods =='eggplant') & (df.quantity == 12)]
在筛选数据时候也可以使用loc和iloc函数实现子集的选取，意思并不是说上方的筛选语句不对，亲测同样很好用，而且代码简单了点。loc和iloc进行数据筛选的格式如下：
- df = df.loc[df.goods=='eggplant', :]
- df = df.loc[(df.goods =='eggplant') & (df.quantity == 12), :]
条件筛选的另一种形式，就是选取一个DataFrame中满足条件的行的某几列（并不是全部列）。此时只需将上面的代码做一小点改变即可。
- df = df.loc[(df.goods =='eggplant') & (df.quantity == 12), ['goods', 'price']]
三. 数据的修改
数据的修改往往有这几种形式 ① 针对某个值或者某个范围的值的修改。 ② 增加列、删除列 ③ 增加行、删除行 ④修改索引 ⑤修改列名
数据值的修改常见于分类的问题中，比如将一个列作为分类的列，有时候往往该列的值不是想要的数字表示的不同分类，或者更复杂是一个连续变量，此时针对DataFrame的修改就格外重要。
添加列
- df['price'][df.price > 15] = 'expensive'
增加列的方法很简单，而且很常用，比如想要在之前的df中添加一个叫‘remain’的列，记录是否有货，可以直接使用下面的代码：
这样就在之前的df后面又加了一列‘remain’，但是这一整列的值为‘yes’。如果不想在末尾加列，而是想在某列之间添加一列，那么就需要使用insert方法。
- df.insert(int=0, column = 'remain', value='yes')
删除列
列的删除使用Pandas模块中的drop()方法最为高效。假如要删除刚才添加的remain列。
- df.drop(labels='remain', axis=1, inplace=True)
如果想删除df中多个列，drop()方法也是可以的。
- df.drop(labels=['remain', 'quantity'], axis=1, inplace=True)
添加行
Pandas的添加行方式有很多种不过最为直观的方式是这样的
- df.loc[3]={'goods':'shampoo','quantity':13, 'price':50}
- df = df.append({'goods':'shampoo','quantity':13, 'price':50}, ignore_index=True)
删除行
- df.drop(labels = 1, axis=0,inplace = True)
- df.drop(labels = [1, 4, 6], axis=0,inplace = True)
修改索引
修改索引有两种情况，改变索引和不改变索引。
① 不改变索引，可以看做是将原始数据按照索引顺序排序
- df.sort_index(axis=1,ascending=False)
② 改变索引
set_index()方法
- df.set_index(keys='goods',inplace=True)
- df.reindex(new_index,axis=0)
new_index可以是Python列表，元素是现在已有的索引的一部分值，这个方法常常用于保留想留下的行。
修改列名
修改列名需要用到的是rename()方法。
- dynamic_RNApol.rename(columns={'d0': 'rnapol_d0', 'd1': 'rnapol_d1', 'd3': 'rnapol_d3', 'd5': 'rnapol_d5', 'd7': 'rnapol_d7','d11': 'rnapol_d11', 'd15': 'rnapol_d15', 'd18': 'rnapol_d18', 'ipsc': 'rnapol_ipsc'}, inplace=True)
数据类型转化 dataframe中的astype()方法是对数据类型进行转换的函数。以一个例子进行说明 - df = pd.DataFrame({'id': range(4), 'age': ['13', '34', '23'], 'weight': ['45.7', '60.9', '55.5']})
- df.dtypes
- df.astype({'age':'int', 'weight':'float'})
- valid['distance'] = valid['distance'].astype('int')
通过字典的形式传入，将两列转换成了想要的数据类型。
数据排序
dataframe中索引排序用到的是sort_index方法，相似的列数值排序运用的是sort_values()方法。
- df.sort_values( by=['age'], ascending=False, inplace=True) #只通过age进行排序；升序；如有缺失值放在最后。
- df.sort_values(by=['age', 'weight'], ascending=True, inplace=True, na_position='first') #先通过age排序，在其基础上通过weight排序；降序，缺失值放在最前方。
数据去重
在dataframe中去除重复，使用drop_duplicates()方法。而只是检查dataframe中是否出现重复有的是duplicated方法，如果只是想检查某列中是否存在重复的值可以通过subset参数将列传入到duplicated()方法中。
- df.duplicated() #检查整个dataframe中是否出现重复
- df.duplicated(subset='age') #检查age这列是否出现重复数据
- df.drop_duplicates() #删除dataframe中的重复
四. dataframe基本操作
数据抽样
dataframe的抽样直接使用sample()方法进行，抽样在涉及到统计学算法的时候很有用，所以先了解一下这个方法的参数。
- df.sample(n=5, replace=False)
- df.sample(frac=0.2, replace=True)
频率统计
dataframe中，统计某列不同的值出现的次数使用value_counts()方法。
- df = pd.DataFrame({'id': range(4), 'name': ['Jack', 'Craig', 'Chuck', 'Jack'],'gender': ['M', 'M', 'M', 'F'] , 'age': ['13', '34', '23','4'], 'weight': ['45', '60', '55', '30']})
上面的代码反悔的结果是在这个dataframe中，不同的名字出现的次数。
value_counts()方法的一个妙用是用于求占比，假如现在要求的是性别的占比。
- df.gender.value_counts()/ sum(df.gender.value_counts)
- pd.crosstab(index=df.name, columns=df.gender)
缺失值处理
① 缺失值的检查
检查缺失值所用的函数是isnull(),这看起来和MySQL中的差不多。
- print any(df.isnull(), '\n')
- is_null = []
- for col in df.columns:
- is_null.append(any(pd.isnull(df.col)))
这是检查dataframe每行是否有缺失值。
- is_null = []
- for index in list(df.index):
- is_null.append(any(pd.isnull(df.loc[index, :])))
同理。is_null方法也可以对每列进行缺失值检查。is_null方法返回的是一个布尔值，True表示有缺失值，False表示没有缺失值。
② 缺失值的删除
这是一种比较极端的方法，通过dropna()方法，这个方法的使用有两种形式。
这种方式是将有缺失值的行全部删除。如果在缺失值较多的情况下，数据的量会大打折扣。
这个是第二种形式，‘all’指明了删除的行是所有值都为缺失值的情况，因为数据中缺失一些数据是很常见的，只删除全部字段都为空的变量才能真正的保留更多的数据。
③ 缺失值的填补
使用fillna(）方法可以对dataframe进行缺失值的填补。
- df.fillna(0, inplace=True) #最简单的一种方式，缺失值统一以一个值进行填补
- df.fillna(value={'id': 0, 'name': 'No', 'gender': 'unknown', 'age':'unknown', 'weight': 0}, inplace=True) #针对不同的列设置不同的缺失填补值
- df.fillna(method='ffill', inplace=True) #用上一行的值对自身进行填补
- df.fillna(method='bfill', inplace=True) #用后一行的值对自身进行填补
- df.fillna({'age': df.age.mean(), 'weight': df.weight.max()}, inplace=True) #用不同列的极值，均值，中位数等进行缺失值填补。
数据映射
看见映射，想到的首先是Python中的map()函数，相比于一般的for循环，map函数具有极高的效率。在日常的Python编程中，map()方法所传入的是一个函数和一个序列，这个函数会相继作用于序列中的每一个元素。得到的是一个新的序列。dataframe也是一个特殊的可遍历序列，但是dataframe的映射所用的是apply()方法。
- is_null = []
- for index in list(df.index):
- is_null.append(any(pd.isnull(df.loc[index])))
- isnull = lambda x : any(pd.isnull(df.loc[x,:]))
- is_null = df.apply(func=isnull, axis=1)
numpy的某些方法也能通过apply()形式作用于dataframe上，比如说现在有一个dataframe里面记录的是学生的各科成绩（第一列到第五列），现在要计算每个学生的均分，和每个科目的中位数。
- df['average'] = df.iloc[:, 0:5].apply(func=np.mean, axis=1)
- df.iloc[:, 0:5].apply(func=np.median, axis=0)
|
