DataFrame(14)：对比MySQL学习“Pandas的groupby分组聚合”(超详细)

本文叙述使用的“数据集”链接下载地址如下：
http://note.youdao.com/noteshare?id=5f44492149116cb6c52233786c1ca98d&sub=6C35AFC6AF9441648F245393DCAC61CB

1、MySQL和Pandas做分组聚合的对比说明

1）都是用来处理表格数据

  不管是mysql，还是pandas，都是处理像excel那样的二维表格数据的。对于一个二维表，每一行都可以看作是一条记录，每一列都可以看作是字段。

2）分组聚合的风格不同

  学过mysql的人都知道，mysql在做数据处理和统计分析的时候，有一个很大的痛点：语法顺序和执行顺序不一致，这就导致很多初学者很容易写错sql语句。
  业界处理像excel那样的二维表格数据，通常有如下两种风格：

• DSL风格：使用面向对象的方式来操作，pandas就是采用这种方式，通俗说就是“语法顺序和执行顺序一致”。
• SQL风格：写sql语句来处理。

3）从代码角度，说明两者的不同

① mysql

语法顺序：

SELECT Column1, Column2, mean(Column3), sum(Column4)  
FROM SomeTable  
WHERE Condition 1  
GROUP BY Column1, Column2  
HAVING Condition2 

逻辑执行顺序：

from...where...group...select...having...limit

② pandas

语法顺序和逻辑执行顺序：

df[Condition1].groupby([Column1,Column2],as_index=False).agg({Column3: "mean",Column4:"sum"})

③ 图示说明

• 首先from相当于取出MySQL中的一张表，对比pandas就是得到了一个df表对象。
• 然后就是执行where筛选，对比pandas就相当于写一个condition1过滤条件，做一个分组前的筛选筛选。
• 接着就是执行group分组条件，对比pandas就是写一个groupby条件进行分组。
• 再接着就是执行select条件，聚合函数就是写在select后面的，对比pandas就是执行agg()函数，在其中针对不同的列执行count、max、min、sum、mean聚合函数。
• 最后执行的是having表示分组后的筛选，在pandas中，通过上图可以发现我们得到了一个df1对象，针对这个df1对象，我们再做一次筛选，也表示分组后的筛选。
• 综上所述：只要你的逻辑想好了，在pandas中，由于语法顺序和逻辑执行顺序是一致的，你就按照逻辑顺序写下去，就很容易了。

4）用一个例子讲述MySQL和Pandas分组聚合

① 求不同deptno(部门)下，sal(工资)大于8000的部门、工资；

② mysqi中代码执行如下

select deptno,sum(sal) sums
from emp
group by deptno
having sums > 9000;

结果如下：

③ pandas中代码执行如下

df = pd.read_excel(r"C:\Users\黄伟\Desktop\emp.xlsx")
display(df)

df = df.groupby("deptno",as_index=False).agg({"sal":"sum"})
display(df)

df1 = df[df["sal"]>9000]
display(df1)

结果如下：

2、groupby分组聚合的原理说明

1）原理图

2）原理说明

• split：按照指定规则分组，由groupby实现；
• apply：针对每个小组，使用函数进行操作，得到结果，由agg()函数实现；
• combine：将每一组得到的结果，汇总起来，得到最终结果；
• 注意：combine这一步是自动完成的，因此针对pandas中的分组聚合，我们只需要学习两个内容，① 学习怎么分组；② 学习如何针对每个分组中的数据，进行对应的逻辑操作；

3、groupby分组对象的相关操作

  我们可以通过groupby方法来对Series或DataFrame对象实现分组操作，该方法会返回一个分组对象。但是，如果直接查看（输出）该对象，并不能看到任何的分组信息。

1）groupby()函数语法

① 语法如下

• groupby(by=[“字段1”,“字段2”,…],as_index=True)

② 参数说明

• by参数传入的分组字段，当只有一个字段的时候，可以直接写by=“字段1”。当多字段联合分组的时候，就写成列表形式by=[“字段1”,“字段2”]。
• as_index参数的使用如图所示
  

③ 参数as_index的使用说明

x = {"name":["a","a","b","b","c","c","c"],"num":[2,4,0,5,5,10,15]}
df = pd.DataFrame(x)
display(df)

df.groupby("name",as_index=True).agg({"num":"sum"})
df.groupby("name",as_index=False).agg({"num":"sum"})

结果如下：

2）groupby分组对象的常用方法或属性。

① groups属性：返回一个字典，key表示组名，value表示这一组中的所有记录；

② size()方法：返回每个分组的记录数；

x = {"name":["a","a","b","b","c","c","c"],"num":[2,4,0,5,5,10,15]}
df = pd.DataFrame(x)
display(df)

df.groupby("deptno").groups
df.groupby("deptno").size()

结果如下：

3）使用for循环打印groupby()分组对象中每一组的具体数据

x = {"name":["a","a","b","b","c","c","c"],"num":[2,4,0,5,5,10,15]}
df = pd.DataFrame(x)
display(df)

groupdf = df.groupby("name")
for (x,y) in groupdf:
    display(x, y)

结果如下：

4）groupby()分组参数的4种形式

• 单字段分组：根据df中的某个字段进行分组。
• 多字段分组：根据df中的多个字段进行联合分组。
• 字典或Series：key指定索引，value指定分组依据，即value值相等的记录，会分为一组。
• 自定义函数：接受索引，索引相同的记录，会分为一组。

使用如下数据演示这4种分组参数：

df = pd.DataFrame({"部门":["A", "A", "B", "B"],
                   "小组":["g1", "g2", "g1", "g2"], 
                   "利润":[10, 20, 15, 28], 
                   "人员":["a", "b", "c", "d"], 
                   "年龄":[20, 15, 18, 30]})
display(df)

结果如下：

① 单字段分组：根据df中的某个字段进行分组。

g = df.groupby("部门")
display(g)

for (x,y) in g:
    display(x, y)

结果如下：

② 多字段分组：根据df中的多个字段进行联合分组。

g = df.groupby(["部门","小组"])
display(g)

for (x,y) in g:
    display(x, y)

结果如下：

③ 字典：key指定索引，value指定分组依据，即value值相等的记录，会分为一组。

g = df.groupby({0:1, 1:1, 2:1, 3:2})
display(g)

for (x,y) in g:
    display(x, y)

结果如下：

④ Series：分组排序(很重要)

df = pd.DataFrame({"部门":["A", "A", "A", "B", "B", "B"],
                   "利润":[10, 32, 20, 15, 28, 10], 
                   "销售量":[20, 15, 33, 18, 30, 22]})
display(df)

df["排名"] = df["销售量"].groupby(df["部门"]).rank()
df

结果如下：

⑤ 自定义函数：将部门A、B分为一组，C单独成为一组(很特别的需求)

df = pd.DataFrame({"部门":["A", "A", "B", "B", "C", "C"],
                   "小组":["g1", "g2", "g1", "g2", "g1", "g2"], 
                   "利润":[10, 20, 15, 28, 12, 14], 
                   "人员":["a", "b", "c", "d", "e", "f"], 
                   "年龄":[20, 15, 18, 30, 23, 34]})
df = df.set_index("部门")
display(df)

def func(x):
    if x=="A" or x=="B":
        return 0
    else:
        return 1

g = df.groupby(func)
display(g)

for (x,y) in g:
    display(x, y)

结果如下：

4、agg()聚合操作的相关说明

  当使用了groupby()分组的时候，得到的就是一个分组对象。当没有使用groupby()分组的时候，整张表可以看成是一个组，也相当于是一个分组对象。
  针对分组对象，我们既可以直接调用聚合函数sum()、mean()、count()、max()、min()，还可以调用分组对象的agg()方法，然后像agg()中传入指定的参数。

1）直接针对分组对象，调用聚合函数

① 针对df整张表，直接调用聚合函数

df = pd.DataFrame({"部门":["A", "A", "B", "B", "C", "C"],
                   "小组":["g1", "g2", "g1", "g2", "g1", "g2"], 
                   "利润":[10, 20, 15, 28, 12, 14], 
                   "人员":["a", "b", "c", "d", "e", "f"], 
                   "年龄":[20, 15, 18, 30, 23, 34]})
display(df)

df["利润"].mean()
df[["年龄","利润"]].mean()

结果如下：

② 针对df分组后的对象，直接调用聚合函数

df = pd.DataFrame({"部门":["A", "A", "B", "B", "C", "C"],
                   "小组":["g1", "g2", "g1", "g2", "g1", "g2"], 
                   "利润":[10, 20, 15, 28, 12, 14], 
                   "人员":["a", "b", "c", "d", "e", "f"], 
                   "年龄":[20, 15, 18, 30, 23, 34]})
display(df)

df.groupby("部门")["利润"].mean()
df.groupby("部门").mean()

结果如下：

2）直接针对分组对象，调用agg()函数(很重要)

  下面知识的讲解，涉及到“聚合函数字符串”，这是我自己起的名字，类似于"sum"、“mean”、“count”、“max”、“min”，都叫做“聚合函数字符串”。同时还需要注意一点，agg（)函数中还有一个axis参数，用于指定行、列。

• df.agg(“mean”)
• df.agg([“mean”, “sum”, “max”])
• df.agg({“利润”:[“mean”, “sum”] , “年龄”:[“max”, “min”]})
• df.agg(lambda x: x.mean())

① 传入单个聚合函数字符串

df = pd.DataFrame({"部门":["A", "A", "B", "B"],
                   "利润":[10, 20, 15, 28], 
                   "年龄":[20, 15, 18, 30]})
display(df)

df1 = df.groupby("部门").agg("mean")
display(df1)

结果如下：

② 传入多个聚合函数字符串

df = pd.DataFrame({"部门":["A", "A", "B", "B"],
                   "利润":[10, 20, 15, 28], 
                   "年龄":[20, 15, 18, 30]})
display(df)

df1 = df.groupby("部门").agg(["sum","mean"])
display(df1)

结果如下：

③ 传入一个字典：可以针对不同的列，提供不同的聚合信息。

df = pd.DataFrame({"部门":["A", "A", "B", "B"],
                   "利润":[10, 20, 15, 28], 
                   "年龄":[20, 15, 18, 30]})
display(df)

df1 = df.groupby("部门").agg({"利润":["sum","mean"],"年龄":["max","min"]})
display(df1)

结果如下：

④ 传入自定义函数

df = pd.DataFrame({"部门":["A", "A", "A", "B", "B", "B"],
                   "利润":[10, 32, 20, 15, 28, 10], 
                   "销售量":[20, 15, 33, 18, 30, 22]})
display(df)

df.groupby("部门").agg(lambda x:x.max()-x.min())

结果如下：