Καταχωρίσεις και κοινοποιήσεις: PagerDuty, Opsgenie

Καταχωρίσεις και κοινοποιήσεις: PagerDuty, Opsgenie

1) Γιατί μια ξεχωριστή πλατφόρμα καταχωρίσεων

• Δρομολόγηση με υπηρεσίες/ετικέτες/περιβάλλοντα.
• Κλιμάκωση και χρονοδιαγράμματα (σε υπηρεσία, ακολουθώντας τον ήλιο).
• Απενεργοποίηση/συσχέτιση γεγονότων.
• Ήσυχα παράθυρα (συντήρηση/πάγωμα) και κανόνες μουσικής.
• Ολοκλήρωση με παρακολούθηση, CI/CD και ChatOps.

Υποστήριξη: κατώφλι SLO → συναγερμός → πρόσωπο/μηχάνημα → runbook → rollback/fix → μεταθανάτια.

2) Μοντέλο και σοβαρότητα σήματος

• κρίσιμη (σελίδα) - παραβίαση SLO/σφάλμα διαδρομής χρήματος (κατάθεση/απόσυρση), μείωση διαθεσιμότητας, ποσοστό καύσης.
• υψηλή (σελίδα/εισιτήριο) - σημαντική υποβάθμιση χωρίς προφανή ανάλυση SLO.
• μέσο (εισιτήριο) - χωρητικότητα, υποβάθμιση της πλάτης, επανασυσκευασία.
• χαμηλή (ενημέρωση) - τάσεις, προειδοποιήσεις.

Κανόνας: σελίδα προς SLO ή μόνο ρητή επιχειρηματική ενεργοποίηση.

3) Αρχιτεκτονική δρομολόγησης

1. Πηγή (Prometheus/Alertmanager, Grafana, παρακολούθηση νέφους, δικά τους webhooks).
2. (PagerDuty/Υπηρεσία Opsgenie/ενσωμάτωση).
3. Πολιτικές: διαδρομές με ετικέτες («υπηρεσία», «env», «περιφέρεια»), σοβαρότητα, ωφέλιμο φορτίο.
4. Κλιμάκωση: ακολουθία επιπέδων καθηκόντων (L1→L2→menedzher).
5. Επικοινωνίες: κανάλια ChatOps, σελίδες κατάστασης, ταχυδρομικές αποστολές.

Παράδειγμα ετικετών κλειδιών (τυποποίηση)

'service', 'env', 'region', 'version', 'runbook', 'release _ i ,' route ',' renant '(εάν B2B/multi-penant).

4) Χρονοδιαγράμματα εφημερίας και κλιμάκωσης

Προγράμματα: πρωτοβάθμια/δευτεροβάθμια, роли (SRE, DBRE, Sec).
Περιστροφές: μέρα/νύχτα, ακολουθήστε τον ήλιο, Σαββατοκύριακο.
Παράκαμψη: Αφήστε/αρρώστια.
Κλιμάκωση: ack-timeout 5-10 λεπτά → επόμενο στρώμα. Με το ωράριο εργασίας - προς το τμήμα προφίλ· εκτός - πλατφόρμα εφημερίας.

Συμβουλή: Κρατήστε τα σύντομα βήματα κλιμάκωσης τη νύχτα (λιγότερη κόπωση) και περισσότερο κατά τη διάρκεια της ημέρας (υπάρχει πλαίσιο).

5) Ενσωμάτωση στο Alertmanager (βασικό πρότυπο)

yaml receivers:
- name: pagerduty pagerduty_configs:
- routing_key: ${PAGERDUTY_ROUTING_KEY}
severity: '{{ if eq. Labels. severity "critical" }}critical{{ else }}error{{ end }}'
class: '{{.Labels. service }}'
component: '{{.Labels. env }}'
group: '{{.Labels. region }}'
description: '{{.Annotations. summary }}'
details:
service: '{{.Labels. service }}'
env: '{{.Labels. env }}'
runbook: '{{.Annotations. runbook }}'
release: '{{.Annotations. release }}'
route:
receiver: pagerduty group_by: ["service","env","region"]
group_wait: 30s group_interval: 5m repeat_interval: 2h

Opsgenie (webhook)

yaml receivers:
- name: opsgenie opsgenie_configs:
- api_key: ${OPSGENIE_API_KEY}
responders:
- name: "SRE Primary"
type: team priority: '{{ if eq. Labels. severity "critical" }}P1{{ else }}P3{{ end }}'
details:
trace: '{{.Labels. trace_id }}'
runbook: '{{.Annotations. runbook }}'

6) Θόρυβος, θάνατος και συσχέτιση

Κλειδί αφαίρεσης: χρησιμοποιήστε σταθερό δακτυλικό αποτύπωμα (για παράδειγμα, υπηρεσία + κωδικός διαδρομής +).
Ομαδοποίηση: 'group _ by' ανά υπηρεσία/περιβάλλον έτσι ώστε ο καταρράκτης 5xx να μην γεννά δεκάδες σελίδες.
Mutes/ήσυχα παράθυρα: κατά τη διάρκεια των μεταναστεύσεων/απελευθερώσεων/δοκιμών φορτίου.
Καταστολή για κάποιο λόγο: εάν υπάρχει ήδη ένα περιστατικό P1 για την «api-gateway @ prod», καταστείλετε την παιδική P2/P3.

Αντι-μοτίβο: Σελίδα CPU/Μνήμη χωρίς επιβεβαιωμένη επίδραση στο SLO.

7) Σύνδεση με ελευθερώσεις και αυτόματες ενέργειες

Με την κατάθλιψη των καναρινιών, το PagerDuty/Opsgenie λαμβάνει συναγερμό από την πύλη SLO → webhook σε CI/CD → παύση/rollback (Argo Rollouts/Helm).
Η καταχώριση περιέχει: 'release _ i ,' image. ετικέτα ', αναφορά στον αγωγό και το rollback runbook.

Παράδειγμα συνδέσμου runbook σε σχολιασμούς

runbook: https://runbooks. company/rollback/api-gateway#canary

8) Chatops and Communications

Αυτόματη δημιουργία ενός καναλιού περιστατικών στο Slack/Teams, που συνδέει με ένα εισιτήριο.
Slash - команды: 'ack', 'assign @ user', 'status set', 'postmortem start'.
Σελίδα κατάστασης - Αυτόματη ενημέρωση σε P1/P2.

9) Κύκλος ζωής των περιστατικών (ελάχιστο)

1. Ενεργοποίηση (προειδοποίηση από SLO/αισθητήρες).
2. Σελίδα (πρωτογενής εφημερία).
3. Ack (επιβεβαίωση, TTA).
4. Επικοινωνία (δίαυλος/κατάσταση).
5. Μετριασμός (rollback/feature-flag/απομόνωση).
6. Ανάλυση (TTR).
7. Μεταθανάτια (χρονοδιάγραμμα, λόγοι, ενέργειες, διδάγματα, υπεύθυνος εργασίας).

Σετ ρόλων: IC (διοικητής συμβάντων), Ops επικεφαλής, Comms, Scribe.

10) Πεδία ωφέλιμου φορτίου (κανονικοποιήστε)

json
{
"service": "payments-api",
"env": "prod",
"region": "eu-central-1",
"severity": "critical",
"event_class": "slo_burn",
"summary": "Withdraw 5xx > 0. 5% for 10m",
"runbook": "https://runbooks/payments/withdraw-5xx",
"release_id": "rel-2025-11-03-14-20",
"image": "ghcr. io/org/payments:1. 14. 2",
"trace_id": "8a4f0c2e9b1f42d7",
"annotations": { "canary": "25%" }
}

11) Ενσωμάτωση των πηγών σημάτων

Το Prometheus/Alertmanager είναι η κύρια πηγή του SLO/RED.
Η Grafana Alerting είναι ευκολότερη για ταμπλό/επιχειρηματικές μετρήσεις.
OpenTelemetry/SpanMetrics - καθυστέρηση/σφάλμα ανά διαδρομή.
γεγονότα - αποτυχίες συστάδων (έλεγχος-αεροπλάνο, παραβιάσεις PDB).
DB/Ουρές αναμονής - καθυστέρηση/κλειδαριές/αντιγραφή.
Webhooks εφαρμογής - σήματα πεδίου (σφάλμα PSP, αύξηση απάτης).

12) Πολιτικές και συμμόρφωση

RBAC για τη δημιουργία/τροποποίηση πολιτικών, χρονοδιαγραμμάτων, mutas.
Έλεγχος: ποιος αναγνώρισε/διόρισε/άλλαξε το καθεστώς, χρονοσφραγίδες.
Ελαχιστοποίηση PII σε ωφέλιμα φορτία (ταυτότητα εισιτηρίου αντί του ηλεκτρονικού ταχυδρομείου/τηλεφώνου του χρήστη).
Σχέδιο DR: τι κάνουμε όταν το PagerDuty/Opsgenie δεν είναι διαθέσιμο (εφεδρικό κανάλι).

13) Μελέτες περιπτώσεων (PagerDuty vs Opsgenie)

14) Ήσυχα παράθυρα και παγετοί

Πάγωμα: Απαγόρευση τηλεειδοποίησης σε προγραμματισμένα παράθυρα απελευθέρωσης, αφήνοντας μόνο P1.
Απομνημόνευση ετικετών: 'env = stage', 'region = dr', 'service = batch'.
Προσωρινό βουβό: κατά τη μετάβαση σε βάσεις δεδομένων/δοκιμές φορτίου - με ρητό ιδιοκτήτη.

15) Μετρήσεις επιδόσεων (SRE/DORA για καταχωρίσεις)

MTTA/MTTR (κατά ομάδες/υπηρεσίες/βάρδιες).
% των καταχωρίσεων με runbook (στόχος ≥ 95%).
Μερίδιο των καταχωρίσεων σελίδας από την SLO (στόχος ≥ 90%).
Λόγος χρήσιμου/θορυβώδους (στόχος ≥ 3:1).
% των αυτόματων ενεργειών (παύση/ανατροπή μέσω webhook) - αύξηση.
Καίγονται μεταθανάτια αντικείμενα δράσης σε 14/30 ημέρες.

16) Αντι-μοτίβα

Σελίδα ανά υλικό (ΚΜΕ, δίσκος) χωρίς να επηρεάζεται ο χρήστης.
Απουσία «ομάδας _ by» → «θύελλας» συναγερμών.
Δεν υπάρχουν ήσυχα παράθυρα - απελευθερώνει όλα τα κόκκινα.
Ωφέλιμα φορτία χωρίς «υπηρεσία/env/runbook» - δεν μπορούν να δρομολογηθούν/να ενεργοποιηθούν.
Δεν υπάρχει ενιαία κλίμακα σοβαρότητας και κανόνες (κάθε πηγή είναι διαφορετική).
«Αιώνιες» προειδοποιήσεις ότι κανείς δεν επισκευάζει (ειδοποιήστε το χρέος).

17) Κατάλογος ελέγχου εφαρμογής (0-45 ημέρες)

0- 10 ηµέρες

Ευθυγράμμιση κλίμακας σοβαρότητας και τυποποίηση ετικετών/σημειώσεων.
Δημιουργία υπηρεσιών σε PagerDuty/Opsgenie, προγραμματισμούς ρυθμίσεων και βασικές κλιμακώσεις.
Bind Alertmanager/Grafana, enable 'group _ by' και deadup.

11-25 ημέρες

Εισάγετε ειδοποιήσεις SLO (καύση πολλαπλών παραθύρων), προσθέστε ένα βιβλίο σύνδεσης.
Ρύθμιση ChatOps: αυτόματο κανάλι, ack/εκχώρηση εντολών.
Ενεργοποίηση αθόρυβων παραθύρων σε απελευθερώσεις/μεταναστεύσεις.

26-45 ημέρες

Ενσωμάτωση αυτόματης παύσης/ανατροπής για καναρίνια (webhooks).
Εισάγετε τις αναφορές MTTA/MTTR και την υγιεινή συναγερμού (καθαρισμός θορύβου).
Τυποποίηση μεταθανάτια και έλεγχος των αντικειμένων δράσης.

18) Έτοιμα κομμάτια

Grafana Alerting → PagerDuty (χαρτογράφηση σώματος JSON)

json
{
"routing_key": "${PAGERDUTY_ROUTING_KEY}",
"event_action": "trigger",
"payload": {
"summary": "{{.RuleName }}: {{ index. Labels \"service\" }}",
"severity": "{{ if eq (index. Labels \"severity\") \"critical\" }}critical{{ else }}error{{ end }}",
"source": "grafana",
"component": "{{ index. Labels \"env\" }}",
"group": "{{ index. Labels \"region\" }}"
},
"links": [
{ "href": "{{.DashboardURL }}", "text": "Dashboard" },
{ "href": "{{ index. Labels \"runbook\" }}", "text": "Runbook" }
]
}

Webhook from alert → Argo Rollouts pause

bash curl -X POST "$ARGO_API/rollouts/pause" \
-H "Authorization: Bearer $TOKEN" \
-d '{"name":"api-gateway","namespace":"prod"}'

Opsgenie - Κανόνας δρομολόγησης (ψευδο)

yaml if:
tags: ["service:payments","env:prod"]
severity: ["P1","P2"]
then:
route_to: "SRE-Payments"
notify: ["Primary OnCall","Secondary"]

19) Συμπέρασμα

Ένα ισχυρό περίγραμμα συναγερμών είναι μια διαδικασία + πειθαρχία: διαστρωμάτωση με προσανατολισμό SLO, κατάλληλη δρομολόγηση και κλιμάκωση, ομοιόμορφες ετικέτες και ωφέλιμα φορτία, ήσυχα παράθυρα, ChatOps και αυτόματες ενέργειες (παύση/ανατροπή). Επιλέξτε PagerDuty ή Opsgenie για τον προϋπολογισμό και UX, αλλά τηρήστε τους ίδιους κανόνες θορύβου, καθήκοντος και ευθύνης - τότε η σελίδα θα είναι σπάνια, ακριβής και χρήσιμη, και τα περιστατικά θα είναι σύντομα και διαχειρίσιμα.