[Observability] Prometheus: pull 기반 메트릭, PromQL

Prometheus, PromQL, scrape, exporter, Alertmanager, Thanos, Mimir, recording rule

정의

Prometheus = pull 기반 시계열 metric 시스템. PromQL 로 쿼리. CNCF graduated. 2026 클라우드 네이티브 메트릭 표준.

아키텍처

flowchart LR
    App1[App + /metrics] -.HTTP GET.-> Prom[Prometheus]
    App2[App + /metrics] -.HTTP GET.-> Prom
    NodeEx[node-exporter] -.HTTP GET.-> Prom
    KSM[kube-state-metrics] -.HTTP GET.-> Prom
    Prom --> TSDB[(Time Series DB)]
    Prom --> AM[Alertmanager]
    AM --> Slack[Slack / PagerDuty / Email]
    Prom --> Grafana

Pull 모델: Prometheus 가 각 target 의 /metrics 정기 scrape. Push 가 아닌 이유: target healthy 자동 확인, scrape interval 통제.

Exposition Format

# HELP http_requests_total Total HTTP requests
# TYPE http_requests_total counter
http_requests_total{method="GET",status="200",path="/api/users"} 1234
http_requests_total{method="POST",status="201",path="/api/orders"} 567

# HELP http_request_duration_seconds Request duration
# TYPE http_request_duration_seconds histogram
http_request_duration_seconds_bucket{le="0.1"} 5000
http_request_duration_seconds_bucket{le="0.5"} 5800
http_request_duration_seconds_bucket{le="1.0"} 5900
http_request_duration_seconds_bucket{le="+Inf"} 6000
http_request_duration_seconds_sum 412.5
http_request_duration_seconds_count 6000

4가지 메트릭 타입

타입	의미	예
Counter	단조 증가	requests_total
Gauge	임의 변동	memory_usage_bytes
Histogram	분포 (bucket)	request_duration_seconds
Summary	quantile (클라이언트 계산)	request_duration_quantile

PromQL 예시

# 요청률 (5분)
rate(http_requests_total[5m])

# 에러 비율
sum(rate(http_requests_total{status=~"5.."}[5m]))
  / sum(rate(http_requests_total[5m]))

# 평균 응답 시간
rate(http_request_duration_seconds_sum[5m])
  / rate(http_request_duration_seconds_count[5m])

# p95 latency (histogram_quantile)
histogram_quantile(0.95,
  sum by (le, service) (rate(http_request_duration_seconds_bucket[5m]))
)

# 메모리 사용량 (gauge)
process_resident_memory_bytes

# CPU 사용률
rate(process_cpu_seconds_total[1m])

# 가용성 (up)
avg_over_time(up{job="api"}[5m])

Exporter

Exporter	메트릭
node-exporter	Linux node (CPU, RAM, disk, network)
kube-state-metrics	K8s 객체 상태
cAdvisor	container metric (K8s 기본 포함)
postgres_exporter	PG 통계
redis_exporter	Redis
blackbox_exporter	HTTP/TCP probe
nginx-exporter	nginx

4 Golden Signals (Google SRE)

flowchart TD
    G[4 Golden Signals]
    G --> Lat[Latency]
    G --> Tra[Traffic]
    G --> Err[Errors]
    G --> Sat[Saturation]

모든 서비스 대시보드의 기본 4. 이 4 가지면 대부분의 문제 발견.

Alertmanager

# Alert rule
groups:
  - name: api
    rules:
      - alert: HighErrorRate
        expr: |
          sum(rate(http_requests_total{status=~"5.."}[5m]))
            / sum(rate(http_requests_total[5m])) > 0.05
        for: 5m
        labels: { severity: page }
        annotations:
          summary: "5xx rate > 5%"

# Alertmanager 설정
route:
  group_by: [alertname, severity]
  receiver: slack
  routes:
    - match: { severity: page }
      receiver: pagerduty
receivers:
  - name: slack
    slack_configs:
      - api_url: https://hooks.slack.com/...
  - name: pagerduty
    pagerduty_configs:
      - service_key: ...

Long-Term Storage

	Local TSDB	Thanos	Mimir	Cortex
Retention	15일 기본	무제한 (S3)	무제한	무제한
HA	없음	있음	있음	있음
Multi-tenancy	없음	있음	있음	있음

수년 retention + 다중 cluster = Thanos / Mimir.

Recording Rule

- record: job:http_requests:rate5m
  expr: sum by (job) (rate(http_requests_total[5m]))

자주 쓰는 쿼리 결과 미리 계산. 대시보드 속도 ↑.

흔한 함정

Prometheus Operator / ServiceMonitor

Kubernetes 환경에서 kube-prometheus-stack (helm chart) 가 표준.

# ServiceMonitor: app 의 /metrics 를 자동 scrape
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: api
  labels:
    release: kube-prometheus-stack
spec:
  selector:
    matchLabels:
      app: api
  endpoints:
    - port: http
      path: /metrics
      interval: 30s

prometheus.io/scrape: "true" annotation 방식은 레거시. Operator 환경에서는 ServiceMonitor / PodMonitor 를 사용.

Pushgateway (Batch Job 메트릭)

flowchart LR
    Job["Batch Job (짧은 수명)"] -->|push metrics| PG[Pushgateway]
    PG -.scrape.-> Prom[Prometheus]
    Prom --> Grafana

일반 service = pull. Batch job 처럼 짧게 실행 후 종료 = Pushgateway push.

PromQL 핵심 함수

함수	설명	예시
rate(v[d])	초당 평균 변화율	rate(http_requests_total[5m])
irate(v[d])	순간 변화율 (최근 2점)	스파이크 민감 탐지
increase(v[d])	범위 내 총 증가량	increase(errors_total[1h])
sum by(label)	레이블로 집계	sum by (service)
topk(n, v)	상위 N 시리즈	topk(5, rate(rps[5m]))
absent(v)	시리즈 없을 때 1 반환	서비스 다운 감지
histogram_quantile	bucket 에서 quantile 계산	p99 latency
avg_over_time	시간 범위 평균	가용성 계산

Histogram vs Summary

항목	Histogram	Summary
다중 인스턴스 집계	가능 (서버 집계)	불가 (클라이언트 계산)
정확도	bucket 오차 존재	정확
quantile 변경	재배포 없이 변경 가능	재배포 필요
권장 상황	대부분, 다중 인스턴스	단일 인스턴스 정확 측정

Long-term Storage 선택

flowchart LR
    Prom[Prometheus] -->|remote_write| TH[Thanos / Mimir]
    TH --> S3[(S3: 무제한)]
    TH --> GQ["Grafana (통합 쿼리)"]

방식	설명
Federation	상위 Prometheus 가 하위 scrape (레거시)
Remote Write	Prometheus → 외부 저장소 전송 (표준)
Agent Mode	scrape + remote write 만, local TSDB 없음

# Remote Write (Thanos Receiver)
remote_write:
  - url: http://thanos-receive:19291/api/v1/receive
    queue_config:
      max_samples_per_send: 10000

관련 위키

• opentelemetry
• slo-sli-error-budget
• aws-cloudwatch
• k8s-pod
• latency-percentiles