[Pandas] 개요

정의

pandas 는 Python 의 데이터 분석/조작 라이브러리. 두 가지 핵심 자료형을 중심으로 동작한다.

• Pandas Series : 1차원 레이블 배열 (NumPy array + index)
• Pandas DataFrame : 2차원 테이블 (행 / 열 모두 레이블)

NumPy 의 ndarray 위에 구축되어 빠른 수치 연산과 SQL/Excel 스타일의 직관적 조작을 결합. 데이터 분석, ETL, 머신러닝 전처리의 사실상 표준.

빠르게 보기

import pandas as pd
​
df = pd.DataFrame({
  'name': ['Alice', 'Bob', 'Charlie'],
  'age': [30, 25, 35],
  'city': ['Seoul', 'Busan', 'Seoul'],
})
print(df)
print(df.shape, df.dtypes.tolist())

      name  age   city
0    Alice   30  Seoul
1      Bob   25  Busan
2  Charlie   35  Seoul
(3, 3) [dtype('O'), dtype('int64'), dtype('O')]

테이블 형태로 보면:

역사와 배경

pandas 생태계 구조

flowchart TD
    subgraph "하위 계층"
        NP["NumPy (ndarray)"]
        PA["PyArrow (Apache Arrow)"]
    end

    subgraph "pandas 핵심"
        SR["Series (1D)"]
        DF["DataFrame (2D)"]
        IX["Index"]
    end

    subgraph "연계 라이브러리"
        MPL["Matplotlib / Seaborn"]
        SK["scikit-learn"]
        SP["SciPy"]
        PL["Polars"]
    end

    NP --> SR
    NP --> DF
    PA --> SR
    PA --> DF
    SR --> DF
    IX --> SR
    IX --> DF
    DF --> MPL
    DF --> SK
    DF --> SP
    DF -.->|"Arrow 호환"| PL

NumPy / PyArrow 와의 관계

NumPy 기반

전통적으로 pandas Series/DataFrame 의 내부는 NumPy ndarray. 빠른 수치 연산이 가능하지만 문자열/nullable 타입에는 약했다.

import numpy as np, pandas as pd

arr = np.array([1, 2, 3])
s = pd.Series(arr)          # NumPy array 위에 index 추가
s.values                     # 다시 numpy array 로

PyArrow 백엔드 (pandas 2.0+)

# Arrow 기반 dtype
s = pd.Series(['a', 'b', 'c'], dtype='string[pyarrow]')
df = pd.read_csv('data.csv', dtype_backend='pyarrow')

PyArrow 백엔드의 장점:

• null 을 모든 타입에서 지원 (NumPy 는 float 만)
• 메모리 효율 향상 (columnar, compressed)
• Apache Arrow 생태계 (Polars, DuckDB, Spark) 와 무복사 교환

자세히: Pandas PyArrow Backend, [[Pandas Nullable Types (Int64, boolean, string[pyarrow])]]

핵심 자료형

flowchart LR
    DF["DataFrame\n(2D 테이블)"]
    SR["Series\n(1D 열)"]
    IX["Index\n(행/열 라벨)"]

    DF --"df['col'] → Series"--> SR
    DF --"df.index / df.columns"--> IX
    SR --"s.index"--> IX
    SR --"s.to_frame()"--> DF

Series

s = pd.Series([10, 20, 30], index=['a', 'b', 'c'], name='score')
s.dtype   # int64
s.index   # Index(['a', 'b', 'c'])

DataFrame

df = pd.DataFrame({'x': [1, 2], 'y': [3, 4]})
df.columns  # Index(['x', 'y'])
df['x']     # Series

Index

행과 열 모두 Index 객체. RangeIndex, DatetimeIndex, MultiIndex 등 여러 서브타입이 있다.

자세히: Pandas Series, Pandas DataFrame, Pandas Index

어디에 쓰는가

주요 I/O

# 읽기
df = pd.read_csv('data.csv')
df = pd.read_excel('data.xlsx')
df = pd.read_parquet('data.parquet')
df = pd.read_sql('SELECT * FROM t', conn)

# 쓰기
df.to_csv('out.csv', index=False)
df.to_parquet('out.parquet')
df.to_json('out.json', orient='records', lines=True)

자세히: Pandas read_csv, Pandas read_excel, Pandas read_parquet, Pandas read_sql

학습 경로

1. 자료형 이해: Pandas Series, Pandas DataFrame, Pandas Index
2. I/O: Pandas read_csv, Pandas read_excel
3. 선택: Pandas .loc / .iloc, Pandas query
4. 필터링: Pandas Boolean Indexing
5. 그룹/집계: Pandas groupby
6. 변형: Pandas pivot, Pandas melt
7. 결합: Pandas merge

버전 관습

본 wiki 는 2.x 기준 으로 작성. 1.x 와 차이가 있는 부분은 명시.

성능 특성

10M+ 행 이상의 대용량 처리에는 Pandas PyArrow Backend 나 Polars/DuckDB 고려.

자세히: Pandas 성능 / 메모리 최적화

함정

# ❌ pandas 1.x
df = df.append({'a': 1}, ignore_index=True)

# ✓ pandas 2.x
df = pd.concat([df, pd.DataFrame([{'a': 1}])], ignore_index=True)

관련 위키

• Pandas Series
• Pandas DataFrame
• Pandas Index
• Pandas .loc / .iloc
• Pandas groupby
• Pandas merge
• Pandas 성능 / 메모리 최적화
• Pandas PyArrow Backend