Datawhale学习 作者:杨煜,Datawhale成员 寄语:本文对Pandas基础内容进行了梳理,从文件读取与写入、Series及DataFrame基本数据结构、常用基本函数及排序四个模块快速入门。 知识体系框架完整学习教程已开源,开源链接: https://github.com/datawhalechina/joyful-pandas 文件的读取和写入
读取Pandas常用的有以下三种文件:
读取文件时的注意事项:
#读取csv文件 df = pd.read_csv('./data./table.csv') df.head() #读取txt文件,直接读取可能会出现数据都挤在一列上 df_txt = pd.read_table('./data./table.txt') #df_txt = pd.read_table('./data./table.csv', sep=',') df_txt.head() #读取xls/xlsx文件 df_excel = pd.read_excel('./data./table.xlsx') df_excel.head() 写入 将结果输出到csx、txt、xls、xlsx文件中
基本数据结构Pandas处理的基本数据结构有 Series 和 DataFrame。两者的区别和联系见下表:Series1. 创建 Series常见属性有 values, index, name, dtype
2. 访问Series属性 s.values, s.index, s.name, s.dtype 3. 取出某元素 通过索引取数或通过位置取数
4. 调用方法 s.mean(), s.sum(), s.hist() DataFrame1. 创建DataFrame基本属性有 values、columns、index df = pd.DataFrame({'col1':list('abcde'), 'col2':range(5,10), 'col3':[1.3,2.5,3.6,4.6,5.8]}, index=list('一二三四五')) 2. 取一列/取一行
3. 修改行或列名 df.rename(index={'一':'one'}, columns={'col1':'new_col1'}) 4. 调用属性和方法
5. 索引对齐特性 这是Pandas中非常强大的特性,在对多个DataFrame 进行合并或者加减乘除操作时,行和列的索引都重叠的时候才能进行相应操作,否则会使用NA值进行填充。
6. 列的删除 对于删除而言,可以使用drop函数或del或pop。 方法1:直接drop不会影响原DataFrame,设置inplace=True后会直接在原DataFrame中改动; df.drop(index='五', columns='col1') 方法2:del会直接改变原Dataframe;
方法3:pop方法直接在原来的DataFrame上操作,且返回被删除的列,与python中的pop函数类。
7. 列的添加 方法1:直接新增; df1['B'] = list('abc')
方法3:df.assign 效果其实是左连接,之所以会出现NaN的情况,是因为C和df的索引不一致导致。打印一下可以看到,df的索引是1-3,而C默认的是0-4。
8. 根据类型选择列 df.select_dtypes(include=['number']) df.select_dtypes(include=['float']) Series和DataFrame相互转换1. DataFrame转换为Series 就是取某一列的操作
2. Series转换为DataFrame 使用to_frame() 方法 s.to_frame() # T符号可以进行转置操作 s.to_frame().T 常用基本函数首先,读取数据
1. head & tail 用来显示数据头部或者尾部的几行数据,默认是5行。可以指定n参数显示多少行 df.head() df.tail() df.head(6) 2. unique & nuniqueunique显示所有的唯一值是什么;nunique显示有多少个唯一值。需要注意的是:需要在具体列上操作,本身DataFrame并没有这两个方法
3. count & value_countscount返回非缺失值元素个数;value_counts返回每个元素有多少个值,也是作用在具体某列上 df['Physics'].count() df['Physics'].value_counts() 4. describe & infoinfo() 函数返回有哪些列、有多少非缺失值、每列的类型;describe() 默认统计数值型数据的各个统计量,可以自行选择分位数位置。非数值型特征需要单独调用describe方法。
5. idxmax & nlargestidxmax函数返回最大值对应的索引,在某些情况下特别适用,idxmin功能类似;nlargest函数返回前几个大的元素值,nsmallest功能类似,需要指定具体列 df['Math'].idxmax() df['Math'].max() df['Math'].nlargest(2) 6. clip & replaceclip和replace是两类替换函数:
7. applyapply和匿名函数 lambda结合使用,可以很方便的进行一些数据处理。对于Series,它可以迭代每一列的值(行)操作;对于DataFrame,它可以迭代每一个列操作。 # 遍历Math列中的所有值,添加! df['Math'].apply(lambda x:str(x)+'!').head() # 先是遍历所有列,然后遍历每列的所有的值,添加! df.apply(lambda x:x.apply(lambda x:str(x)+'!')).head() 排序1. 索引排序
2. 值排序 df.sort_values(by='Class').head() df.sort_values(by=['Address','Height']).head() 问题及练习问题 1. Series和DataFrame有哪些常见属性和方法?
2. value_counts会统计缺失值吗? 答:value_counts不会统计缺失值。 3. 与idxmax和nlargest功能相反的是哪两组函数? 答:idxmin和nsmallest。 4. 在常用函数一节中,由于一些函数的功能比较简单,因此没有列入,现在将它们列在下面,请分别说明它们的用途并尝试使用。 5. df.mean(axis=1)是什么意思?它与df.mean()的结果一样吗?第一问提到的函数也有axis参数吗?怎么使用? 答:df.mean(axis=1)意思是对df按列求均值;axis = 0表示保持列标签不变,对行进行操作;axis = 1表示保持行标签不变,对列进行操作。 |
|