Централизованная обработка алертов: интеграция VictoriaMetrics, Alertmanager, Grafana OnCall и Telegram

Эффективный мониторинг является краеугольным камнем надежности любой IT-системы, позволяя своевременно выявлять возникающие проблемы. Однако само по себе обнаружение проблемы – это лишь полдела. Не менее важна быстрая и скоординированная реакция команды. Инструменты вроде Alertmanager и Grafana OnCall играют ключевую роль в автоматизации процесса оповещения и управления инцидентами.

В этой статье мы подробно рассмотрим, как выстроить цепочку взаимодействия между различными компонентами системы мониторинга и оповещения, чтобы каждый инцидент автоматически отслеживался от момента его фиксации правилом мониторинга до доставки уведомления ответственному инженеру в мессенджер, например, Telegram.

➡️Подробнее

🖥 Исходный код

#Monitoring #VictoriaMetrics #Alertmanager #Grafana #OnCall #Telegram

Вышла новая версия AlertCLI - консольной утилиты для просмотра алертов (CLI для управления Alertmanager)

Alertmanager – это компонент системы мониторинга Prometheus, который занимается обработкой, группировкой, маршрутизацией и отправкой уведомлений.

alertcli alerts list -A -u https://alertmanager.k8s.dev.corp | grep -v ScrapePoolHasNoTargets
ALERT                                  SEVERITY      STATE    SINCE      INSTANCE                                                                  SUMMARY                                                                                                    SILENCED BY   INHIBITED BY
KubernetesJobFailed                    warning       active   25h0m0s    victoria-metrics-k8s-stack-kube-state-metrics.victoria-metrics.svc:8080   Kubernetes Job failed (instance victoria-metrics-k8s-stack-kube-state-metrics.victoria-metrics.svc:8080)

📱 Git
➡️AlertCLI описание

#AlertCLI #AlertManager #Prometheus #Monitoring #Linux #DevOps