agg 方法將一個函數使用在一個數列上,然后返回一個標量的值。也就是說agg每次傳入的是一列數據,對其聚合后返回標量。
對一列使用三個函數:

對不同列使用不同函數

apply 是一個更一般化的方法:將一個數據分拆-應用-匯總。而apply會將當前分組后的數據一起傳入,可以返回多維數據。

實例:
1、數據如下:
lawsuit2[['EID','LAWAMOUNT','LAWDATE']]

2、groupby后應用apply傳入函數數據如下:
lawsuit2[['EID','LAWAMOUNT','LAWDATE']].groupby(['EID']).apply(lambda df:print(df))

3、如果使用agg,對于兩列可以處理,但對于上面的三列,打印數據如下:
lawsuit2[['EID','LAWAMOUNT','LAWDATE']].groupby(['EID']).agg(lambda df:print(df))

可以看到agg傳入的只有一列數據,如果我們使用df加列下表強行取值也能取到,但是有時會出現各種keyError問題。
4、完整代碼:
判斷最近一次日期的花費是否是所有的花費中最大花費。
def handle(df):
# print(df)
# 找最大日期
maxdate = df['LAWDATE'].max()
# 找最大費用
left = df[ df['LAWDATE']==maxdate ]['LAWAMOUNT'].max()
# 取ID
EID = df['EID'].values[0]
# print(EID)
# 從已存在的表中根據EID找到最大費用
right = LAW_AMOUNT_MAX.loc[EID,'LAW_AMOUNT_MAX']
# 判斷費用是否相等
if left==right:
return 1
else:
return 0
LAW_AMOUNT_MAX_IS_LAST = lawsuit2[['EID','LAWAMOUNT','LAWDATE']].groupby(['EID']).apply(handle)
其他注意點:
在groupby后使用apply,如果直接返回,會出現有多余的groupby索引問題,可以使用group_keys解決:
orgin = reviews_df.sort_values(["reviewerID","unixReviewTime"]).groupby("reviewerID",group_keys=False)
train = orgin.apply(lambda df: df[:-2])
train.head()
補充:pandas分組聚合運算groupby之agg,apply,transform
groupby函數是pandas中用以分組的函數,可以通過指定列來進行分組,并返回一個GroupBy對象。對于GroupBy對象的聚合運算,其有經過優化的較為常用的sum,mean等函數,但是如果我們需要用自定義的函數進行聚合運算,那么就需要通過agg,apply,transform來實現。
agg,apply和transform三者之間的區別在于:1、agg和transform之間的區別為:前者經過聚合后,只會在該組單列中返回一個標量值,而transform則會將該標量值在該組單列內進行廣播,保持原DataFrame的索引不變;2、agg和transform中的函數參數是以分組后的單列(Series)為操作對象的,即傳入agg和transform的函數的參數是列,而apply中的函數參數是分組后整個的DataFrame。下面分別對這兩點進行說明。
一、agg和transform
如下代碼所示,構造一個df,agg和transform中lambda函數的input都為單列,但是agg返回的索引是分組的key的唯一值,而transform返回的索引和原df一樣,但是相比于agg返回的結果,發現transform只是在d行處的值進行了重復的廣播,這個目的就是維持原df的索引不變,且被拿來分組的列會被剔除。
df
Out[1]:
index a b c
0 d 0 1 2
1 d 3 4 5
2 e 6 7 8
df.groupby(by='index').agg(lambda x:x.shape)
Out[2]:
a b c
index
d (2,) (2,) (2,)
e (1,) (1,) (1,)
df.groupby(by='index').transform(lambda x:x.shape)
Out[3]:
a b c
0 (2,) (2,) (2,)
1 (2,) (2,) (2,)
2 (1,) (1,) (1,)
二、agg和apply
下面的是apply的結果,相比于上面agg的結果,可以發現,實際上lambda函數的input不再是一個Series,而是分組后的整個DataFrame。
dd.groupby(by='index').apply(lambda x:x.shape)
Out[4]:
index
d (2, 4)
e (1, 4)
三、其他注意點
對于agg函數,其不僅可以傳入一個函數對每列執行相同的操作,還可以傳入一個字典{'col_name':func},來對不同的列做不同的操作,也可以將func替換為由多個不同的函數組成的list,實現對同一列做多個不同的操作,這是agg函數最為靈活的地方。
這三個函數,參數形式都為(func, *args,**kwargs),所以可以通過位置參數和關鍵字參數給func傳遞額外的參數。
以上為個人經驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。
您可能感興趣的文章:- pandas DataFrame實現幾列數據合并成為新的一列方法
- pandas分組排序 如何獲取第二大的數據
- 使用pandas忽略行列索引,縱向拼接多個dataframe
- pandas group分組與agg聚合的實例
- pandas groupby分組對象的組內排序解決方案
- pandas組內排序,并在每個分組內按序打上序號的操作
- pandas 實現將兩列中的較大值組成新的一列