|
分组计算:
Group By : split – apply – combine
split: 很具某些条件对数据进行分组
apply:对每一个group独立的应用函数
combine：将结果数据组合到某种数据结构中
1 2 3 4 5 | pokemon = pd.read_csv('Pokemon.csv') #读文件
pokemon['Type 1'].value_counts()
# 分组 groupby
grouped1 = pokemon.groupby('Type 1')
|
计算:
1.求平均 .mean()
2.单个求平均
3.求和
4.求中位数
1 | grouped2 = pokemon.groupby(['Type 1', 'Type 2'])
|
计算中,应用多个函数
1 | grouped2.aggregate(np.mean)
|
1 | grouped2.aggregate([np.mean,np.median])
|
针对不同的列:
1 | grouped2.aggregate([np.mean,np.median,np.sum])['HP']
|
不同的列:用不同函数
1 2 3 | grouped2.agg({'HP':np.mean,'Attack':np.median})
grouped2.agg({'HP':np.mean,'Attack':[np.median,np.sum]})
|
查看大小:
查看具体分组:
获得某一组:
1 | grouped2.get_group(('Normal', 'Ground')) #填写元组
|
计算每个组大小:
1 2 3 | for name,group in grouped2:
print(name)
print(group.shape)
|
对数据进行标准化:(防止数值过大)
数值型: 该列,每一个减去平均数 除以 该列标准差
1 2 3 | zscore = lambda s : ( s - s.mean() ) / s.std()
grouped1.transform(zscore)
|
过滤:
1 2 3 4 5 | # 假设要求每个组别样本小于10
cond1 = lambda s : len(s)<10
grouped2.filter(cond1).shape
|
前情:设置索引:
1 | pok1 = pokemon.set_index(['Type 1', 'Type 2'])
|
按索引进行分组:
1 2 3 4 | pok1.groupby(level=[0])
pok1.groupby(level=[0,1])
pok1.groupby(level=['Type 1', 'Type 2'])
|
多表操作:
View Code 数据表操作:组合
1 | pd.concat([df1,df2],axis=1) # axis =1 设置轴根据索引组合 =0按列名
|
类似方法
1 | df1.append(df2) # append只能填一个参数!
|
主角,主键讲解:
View Code
1 2 3 4 5 | # how 组合方式 默认inner outer = 相等连接
# on = 左右两边 用什么key连接
# 根据key1 设置join组合
pd.merge(left,right,on='key1',how='inner')
|
1 | pd.merge(left,right,on=['key1','key2'])
|
1 | pd.merge(left,right,on=['key1','key2'],how='left')
|
重命名:
1 | right1 = right.rename(columns={'key1':'new_key1','key2':'new_key2'})
|
主键名字不一样的组合:
1 | pd.merge(left,right1,left_on=['key1','key2'],right_on=['new_key1','new_key2'],how='left')
|
索引位与列的组合:
前提设置
1 2 3 | # left_index,right_index默认False, 改为True 表示左边数据集使用索引位
pd.merge(left_Index,right1,left_index=True,right_on=['new_key1','new_key2'],how='left')
|
csv文件中,没有列名.需要自己定义!
1 | user_info = pd.read_csv('user_info_train.txt',header = None , names = ['id','sex','job','education','marriage','hukou']) # 注意names
|
查看唯一值:
1 2 3 | id = user_info['id']
id.unique()
len(id.unique())
|
行变列显示:
1 2 3 4 5 | a = grouped3['amountOfTrans'].sum()
a.unstack()
# stack() 与unstack() 逆操作!!
# a.stack() a.unstack()
|
rename:
1 | a.rename(columns = {a.columns[0]:'shouru',a.columns[1]:'zhichu'},inplace=True)
|
直接运算:
1 | a['diff'] = a['shouru'] - a['zhichu']
|
透视表:
1 2 3 | pd.pivot_table(data = pokemon , index= 'Type 1', columns= 'Type 2' , values=['HP' ,'Total'],aggfunc=[np.sum])
pd.pivot_table(data = pokemon , index= 'Type 1', columns= 'Type 2' , values=['HP' ,'Total'],aggfunc=[np.sum,np.mean])
|
交互表:
计算频率:
1 2 3 | pd.crosstab(index = pokemon['Type 1'],columns= pokemon['Type 2'] )
pd.crosstab(index = pokemon['Type 1'],columns= pokemon['Type 2'] ,margins=True) # margins 显示总频率
|
dummy variables
没有意义的类别,不需要比较的数据
1 2 3 4 | #在Type1的类别中,有且唯有一个 1
pd.get_dummies(data=pokemon,columns=['Type 1'])
pd.get_dummies(data=pokemon,columns=['Type 1','Type 2'])
|
|
