Μηχανική χάους: Ανθεκτικότητα του συστήματος

Μηχανική χάους: Ανθεκτικότητα του συστήματος

1) Γιατί χάος στη μηχανική

• υποθέσεις δοκιμής σχετικά με τη συμπεριφορά του συστήματος και επικύρωση SLO·
• να ανιχνεύουν κρυμμένα SPOF, εσφαλμένα χρονοδιαγράμματα/retrays, φαινόμενα κλιμάκωσης·
• ομάδες αμαξοστοιχίας: ημέρες παιχνιδιού, κατάρτιση βιβλίων δρομολογίων, επικοινωνίες·
• να διαμορφώσει μια κουλτούρα «εξ ορισμού βιωσιμότητας» αντί να «ελπίζει για το καλύτερο».

Σημαντικό: Το Chaos Engineering ≠ "σπάσει τα πάντα. "Αυτή είναι μια επιστημονική μέθοδος: υπόθεση σταθερής κατάστασης πειράματα συμπεράσματα βελτίωση.

2) Βασικός κύκλος πειραμάτων

1. Σταθερή κατάσταση (τιμή αναφοράς): Ποια SLI είναι σταθερά (για παράδειγμα, επιτυχία ≤500 ms στα 99. 95%).
2. Υπόθεση: με την απώλεια ενός AZ, το p95 θα αυξηθεί <10% και η διαθεσιμότητα ≥99. 9%.
3. Πείραμα: προγραμματισμένο φάουλ με περιορισμένη ακτίνα έκρηξης και κριτήρια διακοπής.
4. Παρατήρηση: μετρήσεις/μονοπάτια/αρχεία καταγραφής, επιτόκιο καύσης SLO, επιχειρηματικές SLI (για παράδειγμα, επιτυχημένες καταθέσεις).
5. Βελτιώσεις: καταγράφουμε ευρήματα, αλλάζουμε χρονοδιαγράμματα/όρια/δρομολόγηση, επικαιροποιούμε το runbook.
6. Αυτοματοποίηση/παλινδρόμηση: επανάληψη στο πρόγραμμα, προσθήκη σε CI/CD και ημερολόγια ημερών παιχνιδιού.

3) Ασφάλεια πρώτα

Ακτίνα έκρηξης: αρχή με ένα στενό - έναν θάλαμο/παράδειγμα/διαδρομή/χώρο ονομάτων.
Guardrails: ειδοποιήσεις για ρυθμό καύσης SLO (γρήγορη/αργή), όρια επαναπροσδιορισμού, όριο QPS, προϋπολογισμός συμβάντων.
Κριτήρια διακοπής: «εάν ο ρυθμός σφάλματος> X% ή p99> Y ms N λεπτά - αμέσως διακοπή και ανατροπή».
Παράθυρα: ώρες εφημερίας, κοινοποιημένα ενδιαφερόμενα μέρη, παγωμένες εκλύσεις.
Επικοινωνία: IC/Tech lead/Comms, καθαρό κανάλι (War-room), πρότυπο μηνύματος.

4) Τάξεις αποτυχίας και ιδέες υποθέσεων

Δίκτυο: καθυστέρηση/νευρικότητα/απώλεια, μερική πτώση των λιμένων, «flopping» επικοινωνία μεταξύ υπηρεσιών/PSP.
Υπολογιστής/κόμβοι: διαδικασίες θανάτωσης, υπερθέρμανση ΚΜΕ, εξάντληση περιγραφικών αρχείων, στενές δεξαμενές σύνδεσης.
Αποθήκευση και βάση δεδομένων: ανάπτυξη δίσκων καθυστέρησης, αντίγραφα καθυστέρησης, διακοπή ενός θραύσματος/ηγέτη, διαχωρισμός εγκεφάλου.
Εξαρτήσεις: υποβάθμιση εξωτερικών API, όρια παρόχου, 5xx/429 εκρήξεις.
Διαχείριση αλλαγών: ανεπιτυχής απελευθέρωση, κακή σημαία χαρακτηριστικών, μερική ανάπτυξη.
Αποικοδομήσεις CDN, μετατόπιση DNS/Anycast, αστοχία προστασίας WAF/bot.
Περιφέρεια/AZ: πλήρης απώλεια ή «μερικό» περιστατικό (ελαφρώς χειρότερο και απρόβλεπτο).

5) Εργαλεία και τεχνικές

Kubernetes: Chaos Mesh, Litmus, Seal, kube-monkey.
Σύννεφα: AWS Προσομοιωτής έγχυσης βλάβης (FIS), τομείς βλάβης κοντά σε σύννεφα.
Toxiproxy (δηλητήριο TCP), tc/netem, iptables, σφάλμα απεσταλμένου (καθυστέρηση/ματαίωση), ένεση βλάβης Istio.
Διεργασίες/κόμβοι: 'stress-ng', cgroups/CPU-ghottle, πλήρωση δίσκων.
Οδήγηση κυκλοφορίας: βάρη GSLB/DNS, καναρίνι/μπλε-πράσινο αλλαγή για πλαστούς ελέγχους.

6) Δείγμα σεναρίων (Kubernetes)

6. 1 Καθυστέρηση/ματαίωση της διαδρομής (Istio VirtualService)

yaml apiVersion: networking. istio. io/v1alpha3 kind: VirtualService metadata: { name: api-chaos }
spec:
hosts: ["api. internal"]
http:
- route: [{ destination: { host: api-svc } }]
fault:
delay: { percentage: { value: 5 }, fixedDelay: 500ms }
abort: { percentage: { value: 1 }, httpStatus: 503 }

Υπόθεση: timeouts/retrays πελατών και CB θα κατέχουν p95 <300 ms και ποσοστό σφάλματος <0. 5%.

6. 2 Pod Kill (Χάος)

yaml apiVersion: chaos-mesh. org/v1alpha1 kind: PodChaos metadata: { name: kill-one-api }
spec:
action: pod-kill mode: one selector:
namespaces: ["prod"]
labelSelectors: { "app": "api" }
duration: "2m"

Υπόθεση: ο ισοσκελιστής και η HPA αντισταθμίζουν την απώλεια μιας περίπτωσης χωρίς ανάπτυξη p99> 20%.

6. Χάος δικτύου (καθυστέρηση στη βάση δεδομένων)

yaml apiVersion: chaos-mesh. org/v1alpha1 kind: NetworkChaos metadata: { name: db-latency }
spec:
action: delay mode: all selector: { namespaces: ["prod"], labelSelectors: {"app":"payments"} }
delay: { latency: "120ms", jitter: "30ms", correlation: "25" }
direction: to target:
selector: { namespaces: ["prod"], labelSelectors: {"role":"db"} }
mode: all duration: "5m"

Υπόθεση: ομαδοποιήσεις/χρονοδιαγράμματα/κρύπτες θα μειώσουν τον αντίκτυπο· Οι πληρωμές p95 θα παραμείνουν ≤ SLO.

6. 4 Γέμιση δίσκων

yaml apiVersion: chaos-mesh. org/v1alpha1 kind: IOChaos metadata: { name: disk-fill-logs }
spec:
action: fill mode: one selector: { labelSelectors: {"app":"ingest"} }
volumePath: /var/log size: "2Gi"
duration: "10m"

Υπόθεση: η εναλλαγή κορμοτεμαχίων/ποσοστώσεων/καταχωρίσεων θα λειτουργήσει πριν από την υποβάθμιση των διαδρομών.

7) Πειράματα εκτός K8s

7. 1 Τοξιπροξία (τοπική/ενσωμάτωση)

bash toxiproxy-cli create psp --listen 127. 0. 0. 1:9999 --upstream psp. prod:443 toxiproxy-cli toxic add psp -t latency -a latency=200 -a jitter=50 toxiproxy-cli toxic add psp -t timeout -a timeout=1000

7. 2 Σφάλμα HTTP απεσταλμένου (περίμετρος/πλέγμα)

yaml fault:
delay: { fixed_delay: 0. 3s, percentage: { numerator: 10, denominator: HUNDRED } }
abort: { http_status: 503, percentage: { numerator: 1, denominator: HUNDRED } }

7. 3 AWS FIS (παράδειγμα ιδέας)

Το πείραμα «σκοτώνει» N% EC2 στην Auto Scaling Group, αυξάνει τεχνητά την καθυστέρηση EBS, απενεργοποιεί το NAT-GW σε ένα AZ.
Ενσωματωμένα κριτήρια ακινητοποίησης για μετρήσεις CloudWatch SLO.

8) Μετρήσεις παρατηρησιμότητας κατά τη διάρκεια του χάους

SLO/SLI: κλάσμα των καλών αιτημάτων, p95/p99, ρυθμός καύσης.
Μοντέλο RED για κρίσιμες διαδρομές (ρυθμός, σφάλματα, διάρκεια).
Πισίνες: αναμονή σύνδεσης p95, χρήση.
DB: lag replicas, κλειδαριές, παρασυρόμενα p95 αιτήματα.
Δίκτυο: αναμεταδόσεις, συμπεριφορά RTT, dscp/ecn.
Επιχειρηματικό SLI: επιτυχία των συναλλαγών (καταθέσεις/έλεγχοι),% αποδόσεις/σφάλματα.
Ιχνηλάτηση: επιλεκτικά μονοπάτια (υποδείγματα), συσχέτιση των σημειώσεων απελευθέρωσης.

9) Ενσωμάτωση στο SLO/Προϋπολογισμός λάθους

Πειράματα σχεδιασμού εντός του προϋπολογισμού των σφαλμάτων: το χάος δεν πρέπει να «διαταράσσει» τους τριμηνιαίους στόχους.
Προειδοποιήσεις ταχύτητας καύσης ως αυτόματος διακόπτης θανάτωσης.
Αναφορά: «πόσος προϋπολογισμός κάηκε», «τι αποκλίσεις σε σταθερή κατάσταση».

10) Ημέρες παιχνιδιού (άσκηση)

Σενάριο: σύντομη διατύπωση (π.χ. «χαμένη περιοχή-ανατολή»), βήματα έγχυσης, στόχοι SLO, ρόλοι, χρόνος.
Αξιολόγηση: RTO/RPO πραγματική, ποιότητα των επικοινωνιών, ορθότητα του runbook.
Ρετρό: κατάλογος βελτιώσεων με τους ιδιοκτήτες και τις προθεσμίες, επικαιροποίηση εγγράφων/ταμπλό.

11) Αυτοματοποίηση και CI/CD

Χάος καπνού: σύντομες δοκιμές στάσης σε κάθε απελευθέρωση (π.χ. 1 pod-kill + 200ms καθυστέρηση ανά διαδρομή).
Νυχτερινή/Εβδομαδιαία: Βαρύτερα σενάρια (5-15 λεπτά) με αναφορά.
Πύλες Promo: εάν p95/σφάλματα> κατώφλι στο καναρίνι - αυτόματη ανατροπή.
Αποθετήρια με κατάλογο πειραμάτων (YAML + runbook + SLO-κατώφλια).

12) Αντι-μοτίβα

«Σπάζοντας τρόφιμα χωρίς κιγκλιδώματα»: κανένα κριτήριο διακοπής, καμία εφημερία → ο κίνδυνος πραγματικού συμβάντος.
Εφάπαξ δράση αντί διαδικασίας.
Χάος χωρίς σταθερή κατάσταση: Δεν είναι σαφές τι μετράει ως επιτυχία/αποτυχία.
Υπερβολικές επαναλήψεις → αυτο-DDoS κατά την ένεση καθυστερήσεων.
Αγνοώντας τις επιχειρήσεις SLI: «Technarian» επιτυχία όταν οι πληρωμές/παραγγελίες αποτυγχάνουν.
Έλλειψη ιδιοκτητών μετά την ανάλυση και βελτίωσης.

13) Κατάλογος ελέγχου εφαρμογής (0-45 ημέρες)

0- 10 ηµέρες

Ορισμός SLI σταθερής κατάστασης (χρήστης + επιχείρηση).
Επιλέξτε ένα εργαλείο (Chaos Mesh/Litmus/Toxiproxy/FIS).
Περιγράψτε κιγκλιδώματα: ακτίνα έκρηξης, κριτήρια ακινητοποίησης, παράθυρα, ρόλοι.

11-25 ημέρες

Εκτελέστε τα πρώτα πειράματα: pod-kill, 100-200 ms καθυστέρηση ανά κρίσιμη ανάντη, πτώση 1% των πακέτων.
Ρυθμίστε τις ειδοποιήσεις ταχύτητας καύσης, συσχετίστε τον διακόπτη διακοπής με τα κριτήρια στάσης.
Περάστε την πρώτη ημέρα παιχνιδιού, συλλέξτε ρετρό και διορθώσεις.

26-45 ημέρες

Προσθήκη σεναρίων επιπέδου AZ/εξάρτησης (εξωτερικό PSP, DB-lag).
Αυτοματοποιημένο νυχτερινό χάος κατά τη στάθμευση. προετοιμάζουν «εποχιακά» σενάρια (κορυφές).
Κατάλογος πειραμάτων και τακτικές εκθέσεις διαχείρισης/SRE.

14) Μετρήσεις διάρκειας

Το% των κρίσιμων οδών έχουν τα περιγραφόμενα πειράματα και μετρήσεις σταθερής κατάστασης.
Αυτόματος διακόπτης ενεργοποίησης ενεργοποιείται όταν σημειώνεται υπέρβαση των ορίων p99/ποσοστού σφάλματος.
Τριμηνιαία - επίπεδο παιχνιδιού-ημερών AZ/περιφέρεια· ≥1 φορές/μήνα - σενάριο-στόχος εξαρτήσεων.
Η MTTR μειώνεται μετά από έναν κύκλο βελτιώσεων, η συσχέτιση «απελευθέρωσης ↔ συμβάντος» μειώνεται.
Το ποσοστό των «απροσδόκητων» πτώσεων σε πραγματικές αστοχίες → τείνει στο μηδέν.
Τα Dashboards δείχνουν «ανθεκτικότητα» ως KPI (ρυθμός καύσης, χρόνος ανάκτησης, ποσοστό επιτυχών δράσεων DR).

15) Παραδείγματα φρουρών και σκανδάλων διακοπής

Σταματήστε στη διεύθυνση: 'http _ req _ απέτυχε> 1%' 3 λεπτά, 'p99> 1000 m 3 παράθυρα,' deposit _ success <99. 5%`.
Μείωση της ακτίνας έκρηξης: αυτόματη ανατροπή του δηλωτικού, επιστροφή των βαρών GSLB, απενεργοποίηση των ενέσεων βλάβης.
Εντολή διακοπής: ένα κουμπί/σενάριο με καταγραφή αιτιών.

16) Πολιτισμός και διαδικασίες

Το χάος είναι μέρος του ρυθμού SRE, όχι «ακραίο».
Διαφανής υποβολή εκθέσεων, αναγνώριση τρωτότητας, διορθωτικά μέτρα.
Κατάρτιση εφημερίας, προσομοίωση επικοινωνιών με πελάτες/εταίρους.
Σύνδεση με την SLA/SLO και τους προϋπολογισμούς: Το χάος πρέπει να ενισχύσει, όχι να υπονομεύσει, την αξιοπιστία.

17) Συμπέρασμα

Η Chaos Engineering μετατρέπει την «ελπίδα στα εννιάρια» σε αποδεδειγμένη βιωσιμότητα. Διαμόρφωση σταθερής κατάστασης, τοποθέτηση κιγκλιδωμάτων, σπάσιμο μικρών και ελεγχόμενων, παρατήρηση SLI και επιχειρήσεων, καταγραφή και αυτοματοποιημένες βελτιώσεις. Τότε οι πραγματικές αποτυχίες θα γίνουν ελεγχόμενα γεγονότα: προβλέψιμος RTO, προστατευμένος προϋπολογισμός σφάλματος και η προθυμία της ομάδας να δράσει χωρίς πανικό.