[Pandas] groupby

정의

DataFrame.groupby(key) 는 데이터를 그룹으로 나누고 (split), 각 그룹에 함수를 적용 (apply), 결과를 합쳐 (combine) 새 DataFrame 으로 만드는 split-apply-combine 패턴의 구현.

SQL 의 GROUP BY 와 같은 개념, 더 풍부한 API.

시각화

기본

df.groupby('city')['salary'].mean()
df.groupby('city')['salary'].sum()
df.groupby('city').agg({'salary': 'mean', 'age': 'max'})
df.groupby(['city', 'dept']).size()

import pandas as pd
df = pd.DataFrame({
  'city': ['Seoul', 'Busan', 'Seoul', 'Busan', 'Seoul'],
  'dept': ['A', 'A', 'B', 'B', 'A'],
  'salary': [3000, 4000, 5000, 4500, 3500],
})
print(df.groupby('city')['salary'].mean())

city
Busan    4250.0
Seoul    3833.333333
Name: salary, dtype: float64

여러 컬럼 그룹

df.groupby(['city', 'dept'])['salary'].mean()

import pandas as pd
df = pd.DataFrame({
  'city': ['Seoul', 'Busan', 'Seoul', 'Busan', 'Seoul'],
  'dept': ['A', 'A', 'B', 'B', 'A'],
  'salary': [3000, 4000, 5000, 4500, 3500],
})
print(df.groupby(['city', 'dept'])['salary'].mean())

city   dept
Busan  A       4000.0
     B       4500.0
Seoul  A       3250.0
     B       5000.0
Name: salary, dtype: float64

결과는 MultiIndex Series. .reset_index() 또는 .unstack() 으로 평탄화.

agg 로 여러 함수

df.groupby('city').agg({
    'salary': ['mean', 'sum', 'max'],
    'age': 'mean',
})

Pandas agg 참고.

자주 쓰는 메서드

groupby 결과는 lazy

g = df.groupby('city')      # GroupBy 객체만, 아직 계산 안 함
g.groups                     # {'Seoul': [0, 2, 4], 'Busan': [1, 3]}
g.get_group('Seoul')         # 한 그룹의 DataFrame
list(g)                      # [(name, df), ...]

명시적으로 집계 함수를 호출해야 계산 발생.

그룹별 정렬 후 head (top N per group)

df.sort_values(['city', 'salary'], ascending=[True, False]) \
   .groupby('city').head(2)

각 city 별 salary 상위 2 명.

그룹별 정규화 (transform)

df['salary_z'] = df.groupby('dept')['salary'].transform(
    lambda x: (x - x.mean()) / x.std()
)

각 부서 내에서 z-score, 원본 DataFrame 의 shape 유지.

함정

1. as_index 의 의미

df.groupby('city')['salary'].mean()             # MultiIndex Series
df.groupby('city', as_index=False)['salary'].mean()   # DataFrame, city 가 컬럼

2. NaN 그룹

기본은 NaN 그룹 제외. dropna=False 로 포함 가능.

df.groupby('city', dropna=False)['salary'].mean()

3. groupby + apply 의 느림

df.groupby('x').apply(complex_function)
# apply 는 가장 느림, 가능하면 agg / transform / 벡터 연산

4. SettingWithCopyWarning

group = df.groupby('city').get_group('Seoul')
group['new'] = 1     # ⚠️
group = group.copy()

Named Aggregation (NamedAgg)

pandas 0.25+ 의 명시적 이름 집계. MultiIndex 컬럼 없이 깔끔한 결과.

result = df.groupby('city').agg(
    mean_salary=('salary', 'mean'),
    max_age=('age', 'max'),
    total=('salary', 'sum'),
    count=('name', 'count'),
)
# 컬럼: mean_salary, max_age, total, count

기존 agg({'salary': ['mean', 'sum']}) 의 MultiIndex 컬럼을 회피.

split-apply-combine 시각화

flowchart LR
    Raw["원본 DataFrame"] -->|"groupby(key)"| Split["Split: 그룹 분리"]
    Split -->|"agg / transform"| Apply["Apply: 함수 적용"]
    Apply --> Combine["Combine: 결과 합산"]
    Combine --> Out["집계 DataFrame"]

시계열 groupby: resample

DatetimeIndex 가 있을 때 시간 단위 groupby.

df = df.set_index('date')
df.resample('ME')['revenue'].sum()     # 월별 합계
df.resample('W')['sales'].mean()       # 주별 평균
df.resample('QE')['profit'].agg(['sum', 'mean'])

pandas-resample 참고.

Categorical 컬럼과 groupby

df['dept'] = pd.Categorical(df['dept'], categories=['A', 'B', 'C'])
result = df.groupby('dept', observed=False)['salary'].mean()
# 등장하지 않은 카테고리도 NaN 으로 포함

observed=False: 등장하지 않은 카테고리도 결과 포함. pandas 2.x 기본값 observed=True.

pandas-categorical 참고.

성능 팁

# 느림: apply (Python loop)
df.groupby('city').apply(lambda g: g['salary'].mean())

# 빠름: 내장 벡터 집계
df.groupby('city')['salary'].mean()

# 매우 큰 데이터: Categorical 지정 + observed=True
df['city'] = df['city'].astype('category')
df.groupby('city', observed=True)['salary'].mean()

참고

• Pandas DataFrame
• Pandas agg
• Pandas transform / apply
• Pandas pivot_table
• pandas-resample
• pandas-categorical
• pandas-performance