Pandas中groupby的这些用法


 

01 如何理解pandas中的groupby操作

groupby是pandas中用于数据分析的一个重要功能,其功能与SQL中的分组操作类似,但功能却更为强大。理解groupby的原理可参考官网给出的解释:

其中:

  • split:按照某一原则(groupby字段)进行拆分,相同属性分为一组

  • apply:对拆分后的各组执行相应的转换操作

  • combine:输出汇总转换后的各组结果

 

 



02 分组(split)——groupby

 

groupby首先要指定分组原则,这也是groupby函数的第一步,其常用参数包括:

  • by,分组字段,可以是列名/series/字典/函数,常用为列名

  • axis,指定切分方向,默认为0,表示沿着行切分

  • as_index,是否将分组列名作为输出的索引,默认为True;当设置为False时相当于加了reset_index功能

  • sort,与SQL中groupby操作会默认执行排序一致,该groupby也可通过sort参数指定是否对输出结果按索引排序

 

另有其他参数,但很少用到不再列出。给出几个典型应用示例:

示例数据

  • 单列作为分组字段,不设置索引

 

  • 单列字段的转换格式作为分组字段

 

  • 字典,根据索引对记录进行映射分组

 

  • 函数,根据函数对索引的执行结果进行分组

 

 


03 转换(apply)——agg/apply/transform

 

分组之后的第二个步骤即为分组转换操作,也就是应用(apply)一定的函数得到相应的结果。常用的执行操作方式有4种:

  • 直接加聚合函数,但只能实现单一功能,常用聚合函数包括:mean/sum/median/min/max/last/first等,最为简单直接的聚合方式

 

  • agg(或aggregate),执行更为丰富的聚合功能,常用列表、字典等形式作为参数

 

例如需要对如上数据表中两门课程分别统计平均分和最低分,则可用列表形式传参如下:

 

如果想对语文课求平均分和最低分,而数学课求平均分和最高分,则可用字典形式参数:

 

  • apply,除了agg丰富的可选聚合函数外,apply还可以自定义面向分组的聚合函数

 

这里apply函数实际上是一个应用非常广泛的转换函数,例如面向series对象,apply函数的处理粒度是series的每个元素(标量);面向dataframe对象,apply函数的处理粒度是dataframe的一行或一列(series对象);而现在面向groupby后的group对象,其处理粒度则是一个分组(dataframe对象)。例如,需要计算每个班级语文平均分与数学平均分之差,则用apply会是一个理想的选择:

 

  • transform,又一个强大的groupby利器,其与agg和apply的区别相当于SQL中窗口函数和分组聚合的区别:transform并不对数据进行聚合输出,而只是对每一行记录提供了相应聚合结果;而后两者则是聚合后的分组输出。

 

例如,想对比个人成绩与班级平均分,则如下操作会是首选:

 

当然,这一操作也可以通过mean聚合+merge连接实现:

实际上,pandas中几乎所有需求都存在不止一种实现方式!

 

 


04 时间序列的groupby——resample

 

再次指出,groupby相当于是按照某一规则对数据进行分组聚合,当分组的规则是时间序列时,还存在另一种特殊的分组方式——重采样resample。理解groupby的split-apply-combine三步走处理流程,那么自然也很容易理解resample处理流程:按照时间split——apply——combine。同时,也正因为resample是一种特殊的分组聚合,所以groupby的4种转换操作自然也都适用于resample。

 

生成以下含有时间序列的样例数据:

 

需统计每15天的平均分数,用resample可实现如下:

 

当然,这是直接用了聚合函数,更复杂的例如agg、apply和transform等用法也是一样的。换句话说,resample与groupby的核心区别仅在于split阶段:前者按照时间间隔进行分组,而后者是按照定义的某种规则进行分组。

 

另外,还可将groupby与resample链式使用,但仅可以是resample在groupby之后,反之则会报错。例如:

需要指出,resample等价于groupby操作一般是指下采样过程;同时,resample也支持上采样,此时需设置一定规则进行插值填充。