Obserwowalność klastrów: Prometheus, Grafana i OpenTelemetry
„Jeśli nie możesz czegoś zmierzyć, nie możesz tym zarządzać”. W przypadku produkcyjnego klastra Kubernetes to oznacza to widoczność w trzech wymiarach: metryka (ile zjada każdego składnik), dziennik (co się dzieje w systemie), e namierzać (w jaki sposób żądania przechodzą przez mikrousługi). Prometeusz + Grafana + stos Loki + OpenTelemetry to odpowiedź typu open source na tę potrzebę.
W tym artykule zbudujemy kompletny stos obserwowalności dla Kubernetes: zainstalujemy kube-prometheus-stack w przypadku metryk infrastruktury skonfigurujemy Loki dla logów zbiorczych i dokonamy integracji Kolektor OpenTelemetry do zbierania śladów dystrybuowanych przez aplikacje i przesyłania ich do Tempo (backend śledzenia Grafana). Rezultatem jest ujednolicona platforma obserwowalności prezentowane w Grafanie.
Czego się nauczysz
- Zainstaluj kube-prometheus-stack: Prometheus Operator, kube-state-metrics, Node Exporter
- Utwórz ServiceMonitor i PodMonitor do automatycznego skrobania aplikacji
- PrometheusRule dla krytycznych alertów klastra (OOMKill, CrashLoopBackOff itp.)
- Loki + Promtail dla zagregowanych logów z etykietami Kubernetes
- OpenTelemetry Collector — konfigurowalny potok telemetryczny
- Grafana Tempo do śledzenia rozproszonego
- Gotowe dashboardy Grafana dla Kubernetes
- Korelacja metryk-log-śladów w Grafanie (przykłady)
Architektura stosu obserwowalności
Przed instalacją zrozumiemy, w jaki sposób komponenty są ze sobą powiązane:
- Prometeusz: Zbieraj metryki za pomocą skrobania HTTP. Przechowuj dane przez 15–30 dni
- metryki stanu kube: Udostępnia metryki dotyczące statusu obiektów K8 (wdrożenie, pod itp.)
- Eksporter węzłów: Wyświetla metryki sprzętu węzła (procesor, dysk, sieć)
- Loki: Zbiorcze dzienniki podów. Nie indeksuje treści, tylko etykiety
- Promtail: DaemonSet, który wysyła logi kontenera do Lokiego
- Kolektor OpenTelemetry: Odbiera ślady/metryki/dzienniki z aplikacji i kieruje je do backendów
- Czas Grafany: Backend dla rozproszonego śledzenia (ślady)
- Grafana: Ujednolicony interfejs użytkownika do przeglądania metryk (Prometeusz), dziennika (Loki), śledzenia (Tempo)
Instalowanie kube-prometheus-stack
# Installa kube-prometheus-stack (include Prometheus, Alertmanager, Grafana, kube-state-metrics, Node Exporter)
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
# values.yaml per produzione
cat > kube-prometheus-values.yaml << 'EOF'
# Prometheus
prometheus:
prometheusSpec:
retention: 30d
retentionSize: "50GB"
storageSpec:
volumeClaimTemplate:
spec:
storageClassName: ssd
resources:
requests:
storage: 100Gi
# Scrape tutte le ServiceMonitor/PodMonitor nel cluster
serviceMonitorSelectorNilUsesHelmValues: false
podMonitorSelectorNilUsesHelmValues: false
ruleSelectorNilUsesHelmValues: false
resources:
requests:
cpu: 500m
memory: 2Gi
limits:
cpu: 2000m
memory: 8Gi
# Alertmanager
alertmanager:
alertmanagerSpec:
storage:
volumeClaimTemplate:
spec:
storageClassName: ssd
resources:
requests:
storage: 10Gi
config:
global:
slack_api_url: "https://hooks.slack.com/services/YOUR/WEBHOOK/URL"
route:
receiver: 'slack-critical'
group_wait: 30s
group_interval: 5m
repeat_interval: 12h
routes:
- receiver: 'slack-critical'
matchers:
- alertname =~ ".*Critical.*"
- receiver: 'slack-warning'
matchers:
- severity = warning
receivers:
- name: 'slack-critical'
slack_configs:
- channel: '#alerts-critical'
send_resolved: true
title: '[{{ .Status | toUpper }}] {{ .GroupLabels.alertname }}'
text: '{{ range .Alerts }}{{ .Annotations.summary }}{{ end }}'
- name: 'slack-warning'
slack_configs:
- channel: '#alerts-warning'
send_resolved: true
# Grafana
grafana:
enabled: true
ingress:
enabled: true
hosts:
- grafana.company.com
persistence:
enabled: true
size: 10Gi
# Datasource Loki pre-configurato
additionalDataSources:
- name: Loki
type: loki
url: http://loki.monitoring.svc:3100
jsonData:
derivedFields:
- datasourceUid: tempo
matcherRegex: '"traceID":"(\w+)"'
name: TraceID
url: '${__value.raw}'
- name: Tempo
type: tempo
url: http://tempo.monitoring.svc:3100
# kube-state-metrics
kube-state-metrics:
metricLabelsAllowlist:
- pods=[team,environment,app]
- deployments=[team,environment,app]
EOF
helm install kube-prometheus-stack prometheus-community/kube-prometheus-stack \
--namespace monitoring \
--create-namespace \
--version 65.0.0 \
-f kube-prometheus-values.yaml
# Verifica
kubectl get pods -n monitoring
kubectl get servicemonitors -A
ServiceMonitor do skrobania aplikacji
Używa Operator Prometheus Monitor serwisu e PodMonitor do dynamicznego konfigurowania skrobania metryk aplikacji. To nie ma sensu zmodyfikuj konfigurację Prometheusa:
# servicemonitor-api-service.yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: api-service-monitor
namespace: team-alpha-production
labels:
team: team-alpha # label per selezionare questo monitor
spec:
selector:
matchLabels:
app: api-service # seleziona il Service con questo label
endpoints:
- port: metrics # nome della porta nel Service
interval: 30s
path: /metrics
# Basic auth se le metriche sono protette
# basicAuth:
# username: { name: metrics-auth, key: username }
# password: { name: metrics-auth, key: password }
namespaceSelector:
matchNames:
- team-alpha-production
---
# Aggiungi la porta metrics al Service dell'applicazione
apiVersion: v1
kind: Service
metadata:
name: api-service
namespace: team-alpha-production
labels:
app: api-service
spec:
selector:
app: api-service
ports:
- name: http
port: 8080
- name: metrics # porta dedicata alle metriche
port: 9090
targetPort: 9090
Alert krytyczny dla klastra
# prometheusrule-kubernetes-alerts.yaml
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: kubernetes-critical-alerts
namespace: monitoring
labels:
prometheus: kube-prometheus
spec:
groups:
- name: kubernetes.critical
rules:
# Pod in CrashLoopBackOff
- alert: PodCrashLoopBackOff
expr: |
rate(kube_pod_container_status_restarts_total[15m]) > 0
AND
kube_pod_container_status_waiting_reason{reason="CrashLoopBackOff"} == 1
for: 5m
labels:
severity: critical
annotations:
summary: "Pod {{ $labels.namespace }}/{{ $labels.pod }} in CrashLoopBackOff"
# Pod OOMKilled
- alert: PodOOMKilled
expr: |
kube_pod_container_status_last_terminated_reason{reason="OOMKilled"} == 1
for: 0m
labels:
severity: warning
annotations:
summary: "Pod {{ $labels.namespace }}/{{ $labels.pod }} terminato per OOM"
description: "Aumenta i memory limits del container {{ $labels.container }}"
# Nodo sotto pressione di memoria
- alert: NodeMemoryPressure
expr: kube_node_status_condition{condition="MemoryPressure",status="true"} == 1
for: 2m
labels:
severity: critical
annotations:
summary: "Nodo {{ $labels.node }} sotto MemoryPressure"
# PVC quasi pieno
- alert: PersistentVolumeFillingUp
expr: |
kubelet_volume_stats_available_bytes /
kubelet_volume_stats_capacity_bytes < 0.15
for: 5m
labels:
severity: warning
annotations:
summary: "PVC {{ $labels.namespace }}/{{ $labels.persistentvolumeclaim }} al 85% della capacita"
# Deployment con zero repliche disponibili
- alert: DeploymentUnavailable
expr: kube_deployment_status_replicas_available == 0
for: 5m
labels:
severity: critical
annotations:
summary: "Deployment {{ $labels.namespace }}/{{ $labels.deployment }} ha 0 repliche disponibili"
Loki + Promtail dla dzienników zbiorczych
# Installa Loki (modalita monolitica per cluster medio)
helm repo add grafana https://grafana.github.io/helm-charts
helm install loki grafana/loki \
--namespace monitoring \
--set loki.commonConfig.replication_factor=1 \
--set loki.storage.type=filesystem \
--set singleBinary.replicas=1 \
--set monitoring.selfMonitoring.enabled=false
# Installa Promtail (DaemonSet che invia log a Loki)
helm install promtail grafana/promtail \
--namespace monitoring \
--set config.clients[0].url=http://loki.monitoring.svc:3100/loki/api/v1/push \
--set config.snippets.extraScrapeConfigs='
- job_name: kubernetes-pods
kubernetes_sd_configs:
- role: pod
pipeline_stages:
- cri: {}
- labeldrop:
- filename
relabel_configs:
- source_labels: [__meta_kubernetes_pod_label_team]
target_label: team
- source_labels: [__meta_kubernetes_pod_label_app]
target_label: app
- source_labels: [__meta_kubernetes_namespace]
target_label: namespace'
# Query Loki in Grafana (LogQL):
# Tutti i log error del team-alpha:
# {namespace="team-alpha-production"} |= "ERROR"
# Error rate per app negli ultimi 5 minuti:
# sum(rate({namespace="team-alpha-production"} |= "ERROR" [5m])) by (app)
# Log strutturati JSON - estrai campo:
# {app="api-service"} | json | level="error" | line_format "{{.message}}"
Kolekcjoner OpenTelemetry dla rozproszonych śladów
# Installa OpenTelemetry Operator
kubectl apply -f https://github.com/open-telemetry/opentelemetry-operator/releases/latest/download/opentelemetry-operator.yaml
---
# otel-collector.yaml - pipeline di telemetria
apiVersion: opentelemetry.io/v1beta1
kind: OpenTelemetryCollector
metadata:
name: otel-collector
namespace: monitoring
spec:
mode: DaemonSet # un collector per nodo
config:
receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
http:
endpoint: 0.0.0.0:4318
processors:
batch:
timeout: 1s
send_batch_size: 1024
# Aggiunge metadati Kubernetes ai trace (namespace, pod name, etc.)
k8sattributes:
auth_type: "serviceAccount"
passthrough: false
extract:
metadata:
- k8s.pod.name
- k8s.namespace.name
- k8s.deployment.name
- k8s.node.name
labels:
- tag_name: team
key: team
from: pod
# Campionamento: mantieni solo 10% dei trace in produzione (volume alto)
probabilistic_sampler:
sampling_percentage: 10
exporters:
otlp/tempo:
endpoint: http://tempo.monitoring.svc:4317
tls:
insecure: true
prometheus:
endpoint: "0.0.0.0:8889"
const_labels:
cluster: production
service:
pipelines:
traces:
receivers: [otlp]
processors: [batch, k8sattributes, probabilistic_sampler]
exporters: [otlp/tempo]
metrics:
receivers: [otlp]
processors: [batch, k8sattributes]
exporters: [prometheus]
Instalacja Grafany Tempo
# Installa Grafana Tempo
helm install tempo grafana/tempo-distributed \
--namespace monitoring \
--set storage.trace.backend=local
# Alternativa: Tempo monolitico per cluster piccoli/medi
helm install tempo grafana/tempo \
--namespace monitoring \
--set tempo.storage.trace.backend=filesystem \
--set tempo.storage.trace.local.path=/var/tempo
Panel graficzny Grafana dla Kubernetes
Grafana posiada katalog gotowych dashboardów. Zaimportuj te identyfikatory z interfejsu użytkownika (Panele > Importuj):
| Pulpity nawigacyjne | Identyfikator Grafana | Pożytek |
|---|---|---|
| Przegląd klastra Kubernetes | 7249 | Przegląd procesora/pamięci/poda według węzła |
| Wdrożenia Kubernetesa | 8588 | Stan wdrożenia, częstotliwość ponownego uruchamiania, repliki |
| Pełny eksporter węzłów | 1860 | Metryki sprzętu węzła (procesor, dysk, sieć) |
| Kubernetes PVC | 13646 | Korzystanie z magazynu PCV |
| Panel Lokiego | 15141 | Zagregowane logi, stopa błędów, eksplorator logów |
| Kontroler wejściowy NGINX | 9614 | Częstotliwość żądań, opóźnienie, wejściowy kod stanu |
Korelacja metryk-logów-śladów (przykłady)
Prawdziwą mocą tego stosu jest korelacja: z metryki duże opóźnienia, możesz przejść bezpośrednio do odpowiedniego śladu i ze śladu do dzienników Poda w tamtym czasie. To się nazywa Przykładowy:
# Abilita gli exemplar in Prometheus (già abilitati in kube-prometheus-stack)
# Nell'applicazione, includi il traceID nell'histogram metric:
# Go/Python con OpenTelemetry:
# Quando crei un histogram, aggiungi l'exemplar con il trace ID corrente
# Il Prometheus scraper lo raccoglie e lo conserva
# In Grafana:
# 1. Vai alla dashboard API latency
# 2. Vedi un picco di latenza
# 3. Clicca il diamante (exemplar) sul grafico
# 4. Grafana ti apre automaticamente il trace in Tempo
# 5. Dal trace, clicca sul servizio con errore
# 6. Grafana mostra i log di quel Pod in Loki per quel timestamp
# Questo flusso metriche → trace → log e il "holy grail" dell'osservabilita
Najlepsze praktyki dotyczące obserwowalności Kubernetesa
Lista kontrolna obserwowalności produkcji
- Metoda UŻYCIA dla zasobów: Dla każdego zasobu (procesor, pamięć, dysk, sieć): wykorzystanie, nasycenie, błędy. Są to 3 podstawowe alerty dla każdego węzła
- RED Metoda dla usług: Dla każdej usługi: Szybkość (wymagania/s), Błędy (stopa błędu), Czas trwania (opóźnienie). Alarm we wszystkich trzech
- Alerty oparte na SLO: Nie ostrzegaj o każdej anomalii, ale tylko wtedy, gdy wykorzystujesz budżet błędów SLO. Mniej szumów, więcej sygnału
- Zróżnicowana retencja: Dane surowe 15 dni, agregaty miesięczne 1 rok. Dziennik surowy 7 dni, dziennik audytu 1 rok
- Próbkowanie dla utworów: Nie przechowuj 100% śladów w produkcji – to za dużo kosztuje. Do debugowania wystarczy 1-10%.
- Spójne etykiety: Każda metryka, dziennik i ślad muszą mieć zespół, środowisko, aplikację i wersję do filtrowania
Wnioski i dalsze kroki
Kompletny stos obserwowalności — Prometheus dla metryk, Loki dla logów, OpenTelemetry + Trace Time — przekształca Kubernetesa z czarnej skrzynki w system zrozumiałe. Korelacja pomiędzy trzema sygnałami w Grafanie drastycznie skraca czas Średnia debugowania od godzin do minut.
Kolejny i ostatni artykuł z tej serii — Kubernetes Multi-Cloud z Federation e Submariner — rozwiązuje problem zarządzania wieloma klastrami u różnych dostawców usług w chmurze były tylko jedno, rozszerzając wszystkie koncepcje tej serii na wieloklastrowość.
Następny artykuł z serii
Powiązane serie
- Obserwowalność i OpenTelemetry — dogłębna analiza oprzyrządowania aplikacyjnego
- GitOps z ArgoCD — Argo Rollouts używa Prometheusa do automatycznej analizy kanarków







