Pozorovatelnost shluků: Prometheus, Grafana a OpenTelemetry
"Pokud to nemůžete změřit, nemůžete to řídit." Pro produkční cluster Kubernetes toto to znamená mít viditelnost ve třech rozměrech: metriky (kolik spotřebuje každý součást), log (co se děje v systému), e stopa (jak se požadavky pohybují přes mikroslužby). Zásobník Prometheus + Grafana + Loki + OpenTelemetry je open-source odpověď na tuto potřebu.
V tomto článku vytvoříme kompletní stack pozorovatelnosti pro Kubernetes: nainstalujeme kube-prometheus-stack pro metriky infrastruktury nakonfigurujeme Loki pro agregované protokoly a budeme integrovat OpenTelemetry Collector shromažďovat stopy distribuované aplikacemi a předávat je do Tempo (backend trasování Grafana). Výsledkem je jednotná platforma pozorovatelnosti zobrazeno v Grafaně.
Co se naučíte
- Nainstalujte kube-prometheus-stack: Prometheus Operator, kube-state-metrics, Node Exporter
- Vytvořte ServiceMonitor a PodMonitor pro automatické odstraňování aplikací
- PrometheusRule pro kritické výstrahy clusteru (OOMKill, CrashLoopBackOff atd.)
- Loki + Promtail pro agregované protokoly se štítky Kubernetes
- OpenTelemetry Collector – konfigurovatelné telemetrické potrubí
- Grafana Tempo pro distribuované trasování
- Předem sestavené řídicí panely Grafana pro Kubernetes
- Korelace metriky-log-stopa v Grafaně (příklady)
Architektura zásobníku pozorovatelnosti
Před instalací si ujasněme, jak spolu komponenty souvisí:
- Prometheus: Shromažďujte metriky pomocí stírání HTTP. Uchovávejte data po dobu 15–30 dnů
- kube-state-metrics: Vystavuje metriky stavu objektů K8s (Deployment, Pod, atd.)
- Exportér uzlů: Odhaluje metriky hardwaru uzlů (CPU, disk, síť)
- Loki: Souhrnné protokoly pod. Neindexuje obsah, pouze štítky
- Promtail: DaemonSet, který posílá protokoly kontejneru Lokimu
- OpenTelemetry Collector: Přijímá trasování/metriky/protokoly z aplikací a směruje je do backendů
- Grafana čas: Backend pro distribuované trasování (trasování)
- Grafana: Jednotné uživatelské rozhraní pro zobrazení metrik (Prometheus), protokolu (Loki), trasování (Tempo)
Instalace kube-prometheus-stack
# Installa kube-prometheus-stack (include Prometheus, Alertmanager, Grafana, kube-state-metrics, Node Exporter)
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
# values.yaml per produzione
cat > kube-prometheus-values.yaml << 'EOF'
# Prometheus
prometheus:
prometheusSpec:
retention: 30d
retentionSize: "50GB"
storageSpec:
volumeClaimTemplate:
spec:
storageClassName: ssd
resources:
requests:
storage: 100Gi
# Scrape tutte le ServiceMonitor/PodMonitor nel cluster
serviceMonitorSelectorNilUsesHelmValues: false
podMonitorSelectorNilUsesHelmValues: false
ruleSelectorNilUsesHelmValues: false
resources:
requests:
cpu: 500m
memory: 2Gi
limits:
cpu: 2000m
memory: 8Gi
# Alertmanager
alertmanager:
alertmanagerSpec:
storage:
volumeClaimTemplate:
spec:
storageClassName: ssd
resources:
requests:
storage: 10Gi
config:
global:
slack_api_url: "https://hooks.slack.com/services/YOUR/WEBHOOK/URL"
route:
receiver: 'slack-critical'
group_wait: 30s
group_interval: 5m
repeat_interval: 12h
routes:
- receiver: 'slack-critical'
matchers:
- alertname =~ ".*Critical.*"
- receiver: 'slack-warning'
matchers:
- severity = warning
receivers:
- name: 'slack-critical'
slack_configs:
- channel: '#alerts-critical'
send_resolved: true
title: '[{{ .Status | toUpper }}] {{ .GroupLabels.alertname }}'
text: '{{ range .Alerts }}{{ .Annotations.summary }}{{ end }}'
- name: 'slack-warning'
slack_configs:
- channel: '#alerts-warning'
send_resolved: true
# Grafana
grafana:
enabled: true
ingress:
enabled: true
hosts:
- grafana.company.com
persistence:
enabled: true
size: 10Gi
# Datasource Loki pre-configurato
additionalDataSources:
- name: Loki
type: loki
url: http://loki.monitoring.svc:3100
jsonData:
derivedFields:
- datasourceUid: tempo
matcherRegex: '"traceID":"(\w+)"'
name: TraceID
url: '${__value.raw}'
- name: Tempo
type: tempo
url: http://tempo.monitoring.svc:3100
# kube-state-metrics
kube-state-metrics:
metricLabelsAllowlist:
- pods=[team,environment,app]
- deployments=[team,environment,app]
EOF
helm install kube-prometheus-stack prometheus-community/kube-prometheus-stack \
--namespace monitoring \
--create-namespace \
--version 65.0.0 \
-f kube-prometheus-values.yaml
# Verifica
kubectl get pods -n monitoring
kubectl get servicemonitors -A
ServiceMonitor pro škrábání aplikací
Provozovatel Prometheus používá ServiceMonitor e PodMonitor dynamicky konfigurovat stírání metrik aplikace. Je to k ničemu upravit konfiguraci Prometheus:
# servicemonitor-api-service.yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: api-service-monitor
namespace: team-alpha-production
labels:
team: team-alpha # label per selezionare questo monitor
spec:
selector:
matchLabels:
app: api-service # seleziona il Service con questo label
endpoints:
- port: metrics # nome della porta nel Service
interval: 30s
path: /metrics
# Basic auth se le metriche sono protette
# basicAuth:
# username: { name: metrics-auth, key: username }
# password: { name: metrics-auth, key: password }
namespaceSelector:
matchNames:
- team-alpha-production
---
# Aggiungi la porta metrics al Service dell'applicazione
apiVersion: v1
kind: Service
metadata:
name: api-service
namespace: team-alpha-production
labels:
app: api-service
spec:
selector:
app: api-service
ports:
- name: http
port: 8080
- name: metrics # porta dedicata alle metriche
port: 9090
targetPort: 9090
Cluster Critical Alert
# prometheusrule-kubernetes-alerts.yaml
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: kubernetes-critical-alerts
namespace: monitoring
labels:
prometheus: kube-prometheus
spec:
groups:
- name: kubernetes.critical
rules:
# Pod in CrashLoopBackOff
- alert: PodCrashLoopBackOff
expr: |
rate(kube_pod_container_status_restarts_total[15m]) > 0
AND
kube_pod_container_status_waiting_reason{reason="CrashLoopBackOff"} == 1
for: 5m
labels:
severity: critical
annotations:
summary: "Pod {{ $labels.namespace }}/{{ $labels.pod }} in CrashLoopBackOff"
# Pod OOMKilled
- alert: PodOOMKilled
expr: |
kube_pod_container_status_last_terminated_reason{reason="OOMKilled"} == 1
for: 0m
labels:
severity: warning
annotations:
summary: "Pod {{ $labels.namespace }}/{{ $labels.pod }} terminato per OOM"
description: "Aumenta i memory limits del container {{ $labels.container }}"
# Nodo sotto pressione di memoria
- alert: NodeMemoryPressure
expr: kube_node_status_condition{condition="MemoryPressure",status="true"} == 1
for: 2m
labels:
severity: critical
annotations:
summary: "Nodo {{ $labels.node }} sotto MemoryPressure"
# PVC quasi pieno
- alert: PersistentVolumeFillingUp
expr: |
kubelet_volume_stats_available_bytes /
kubelet_volume_stats_capacity_bytes < 0.15
for: 5m
labels:
severity: warning
annotations:
summary: "PVC {{ $labels.namespace }}/{{ $labels.persistentvolumeclaim }} al 85% della capacita"
# Deployment con zero repliche disponibili
- alert: DeploymentUnavailable
expr: kube_deployment_status_replicas_available == 0
for: 5m
labels:
severity: critical
annotations:
summary: "Deployment {{ $labels.namespace }}/{{ $labels.deployment }} ha 0 repliche disponibili"
Loki + Promtail pro souhrnné protokoly
# Installa Loki (modalita monolitica per cluster medio)
helm repo add grafana https://grafana.github.io/helm-charts
helm install loki grafana/loki \
--namespace monitoring \
--set loki.commonConfig.replication_factor=1 \
--set loki.storage.type=filesystem \
--set singleBinary.replicas=1 \
--set monitoring.selfMonitoring.enabled=false
# Installa Promtail (DaemonSet che invia log a Loki)
helm install promtail grafana/promtail \
--namespace monitoring \
--set config.clients[0].url=http://loki.monitoring.svc:3100/loki/api/v1/push \
--set config.snippets.extraScrapeConfigs='
- job_name: kubernetes-pods
kubernetes_sd_configs:
- role: pod
pipeline_stages:
- cri: {}
- labeldrop:
- filename
relabel_configs:
- source_labels: [__meta_kubernetes_pod_label_team]
target_label: team
- source_labels: [__meta_kubernetes_pod_label_app]
target_label: app
- source_labels: [__meta_kubernetes_namespace]
target_label: namespace'
# Query Loki in Grafana (LogQL):
# Tutti i log error del team-alpha:
# {namespace="team-alpha-production"} |= "ERROR"
# Error rate per app negli ultimi 5 minuti:
# sum(rate({namespace="team-alpha-production"} |= "ERROR" [5m])) by (app)
# Log strutturati JSON - estrai campo:
# {app="api-service"} | json | level="error" | line_format "{{.message}}"
OpenTelemetry Collector pro distribuované stopy
# Installa OpenTelemetry Operator
kubectl apply -f https://github.com/open-telemetry/opentelemetry-operator/releases/latest/download/opentelemetry-operator.yaml
---
# otel-collector.yaml - pipeline di telemetria
apiVersion: opentelemetry.io/v1beta1
kind: OpenTelemetryCollector
metadata:
name: otel-collector
namespace: monitoring
spec:
mode: DaemonSet # un collector per nodo
config:
receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
http:
endpoint: 0.0.0.0:4318
processors:
batch:
timeout: 1s
send_batch_size: 1024
# Aggiunge metadati Kubernetes ai trace (namespace, pod name, etc.)
k8sattributes:
auth_type: "serviceAccount"
passthrough: false
extract:
metadata:
- k8s.pod.name
- k8s.namespace.name
- k8s.deployment.name
- k8s.node.name
labels:
- tag_name: team
key: team
from: pod
# Campionamento: mantieni solo 10% dei trace in produzione (volume alto)
probabilistic_sampler:
sampling_percentage: 10
exporters:
otlp/tempo:
endpoint: http://tempo.monitoring.svc:4317
tls:
insecure: true
prometheus:
endpoint: "0.0.0.0:8889"
const_labels:
cluster: production
service:
pipelines:
traces:
receivers: [otlp]
processors: [batch, k8sattributes, probabilistic_sampler]
exporters: [otlp/tempo]
metrics:
receivers: [otlp]
processors: [batch, k8sattributes]
exporters: [prometheus]
Instalace Grafana Tempo
# Installa Grafana Tempo
helm install tempo grafana/tempo-distributed \
--namespace monitoring \
--set storage.trace.backend=local
# Alternativa: Tempo monolitico per cluster piccoli/medi
helm install tempo grafana/tempo \
--namespace monitoring \
--set tempo.storage.trace.backend=filesystem \
--set tempo.storage.trace.local.path=/var/tempo
Grafana dashboard pro Kubernetes
Grafana má katalog předpřipravených přístrojových desek. Importujte tato ID z uživatelského rozhraní (Panely > Import):
| Řídicí panely | ID Grafana | Utility |
|---|---|---|
| Přehled clusteru Kubernetes | 7249 | Přehled CPU/paměti/podu podle uzlu |
| Nasazení Kubernetes | 8588 | Stav nasazení, rychlost restartu, repliky |
| Plný exportér uzlu | 1860 | Hardwarové metriky uzlů (CPU, disk, síť) |
| Kubernetes PVC | 13646 | Použití skladu PVC |
| Loki Dashboard | 15141 | Souhrnné protokoly, chybovost, průzkumník protokolů |
| Vstupní řadič NGINX | 9614 | Rychlost požadavku, latence, vstupní stavový kód |
Metrics-Log-Trace Correlation (příklady)
Skutečná síla tohoto zásobníku je korelace: z metriky s vysokou latencí můžete přejít přímo na odpovídající trasování a ze trasování do protokolů z Pod v té době. Tomu se říká Příkladný:
# Abilita gli exemplar in Prometheus (già abilitati in kube-prometheus-stack)
# Nell'applicazione, includi il traceID nell'histogram metric:
# Go/Python con OpenTelemetry:
# Quando crei un histogram, aggiungi l'exemplar con il trace ID corrente
# Il Prometheus scraper lo raccoglie e lo conserva
# In Grafana:
# 1. Vai alla dashboard API latency
# 2. Vedi un picco di latenza
# 3. Clicca il diamante (exemplar) sul grafico
# 4. Grafana ti apre automaticamente il trace in Tempo
# 5. Dal trace, clicca sul servizio con errore
# 6. Grafana mostra i log di quel Pod in Loki per quel timestamp
# Questo flusso metriche → trace → log e il "holy grail" dell'osservabilita
Osvědčené postupy pro pozorovatelnost Kubernetes
Kontrolní seznam pozorovatelnosti výroby
- USE metodu pro zdroje: Pro každý zdroj (CPU, paměť, disk, síť): Využití, Sytost, Chyby. Toto jsou 3 základní výstrahy pro každý uzel
- ČERVENÁ metoda pro služby: Pro každou službu: Rate (požadavek/s), Errors (chybovost), Duration (latence). Pozor na všechny tři
- Upozornění na základě SLO: Neupozorňujte na každou anomálii, ale pouze tehdy, když vyčerpáte rozpočet na chyby SLO. Méně šumu, více signálu
- Diferencovaná retence: Nezpracované metriky 15 dní, měsíční agregáty 1 rok. Raw log 7 dní, audit log 1 rok
- Vzorkování pro stopy: Nenechávejte 100 % stop ve výrobě – stojí to příliš mnoho. Na odladění stačí 1-10%.
- Konzistentní štítky: Každá metrika, protokol a trasování musí mít tým, prostředí, aplikaci, verzi pro filtrování
Závěry a další kroky
Kompletní zásobník pozorovatelnosti — Prometheus pro metriky, Loki pro protokoly, OpenTelemetry + Trace Time — přemění Kubernetes z černé skříňky na systém pochopitelné. Korelace mezi třemi signály v Grafaně drasticky zkracuje čas Průměr ladění od hodin do minut.
Další a poslední článek v této sérii — Kubernetes Multi-Cloud s Federation e Submariner — řeší problém správy více clusterů u různých poskytovatelů cloudu, jako by byl byly pouze jedny, čímž se všechny koncepty této řady rozšířily na multiklastr.
Další článek v seriálu
Související série
- Pozorovatelnost a OpenTelemetry — hloubková analýza aplikačního vybavení
- GitOps s ArgoCD — Argo Rollouts používá Prometheus pro automatickou analýzu kanárů







