Chaos Engineering

1) ძირითადი პრინციპები

Steady State, როგორც საწყისი ჰიპოთეზა. მკაფიოდ განსაზღვრეთ ნორმა (მაგალითად: p95 <200 ms, error rate <0). 3%, კრიტიკული flow> 99 წარმატების მიღწევა. 5%).
იზოლირებული ცვლადები. თუ ეს შესაძლებელია, შეცვალეთ ერთი ფაქტორი ერთხელ, რომ დააკავშიროთ ეფექტი და გაუმჯობესება.
ხარისხი. ჩვენ ვიწყებთ მცირე ამპლიტუდით უსაფრთხო გარემოში და ვაფართოვებთ დაფარვას და ინტენსივობას.
Guardrails. აშკარა გაჩერების პირობები SLO/Alertams/შეცდომების ბიუჯეტში.
განმეორება. ექსპერიმენტი უნდა იყოს დეტერმინირებული (სკრიპტები/მანიფესტები/IaC).
ეთიკა და უსაფრთხოება. სარისკო ექსპერიმენტებში არ არსებობს რეალური პერსონალური მონაცემები და ფინანსური გარიგებები.

2) რა არის „სტაბილური მდგომარეობა“

• ლატენტობა p50/p95/p99 მთავარი ენდოინტი.
• წარმატებული გარიგების წილი და კრიტიკული გზების კონვერტაცია.
• Error rate, Timauts, „shed“ მოთხოვნის წილი (გაწყვეტილი გაჯერების დროს).
• თვითგანადგურების სიჩქარე (MTTR), რეაგირების წინააღმდეგობა (ქარიშხლის გარეშე).
• დომენის ინვარიანტები: „მინუსების ნაკლებობა ბალანსში“, ერთხელ შესრულებული გადახდები, საანგარიშო დღის თანმიმდევრულობა და ა.შ.

3) ინექციების კატალოგი (რომელიც „გატეხილია“)

ქსელი: შეფერხება, ჯიტერი, დაკარგვა/დუბლიკატები, გამტარუნარიანობის შეზღუდვა, TLS კლდეები, DNS ფუფუნება.
გამოთვლები: CPU გადატვირთვა, მეხსიერების წნევა/GC, აღწერილობების ამოწურვა, კლოკის ციკლი.
საცავი: მაღალი p95 I/O, ENOSPC, ლიდერის უარი/შენიშვნები, split-brain, გახანგრძლივებული fsync.
დამოკიდებულებები: 5xx/429, „ნელი წარმატება“, გარე API- ის დეგრადაცია, საბაზო-ლიმიტი.
მონაცემები: შეტყობინებების დუბლირება/გამოტოვება, out-of-order, „ბინძური“ ჩანაწერები, ვერსიების კონფლიქტი.
ოპერაციები: წარუმატებელი გამოშვება/ჩამორთმევა, შეცდომის დროშა, ამოწურული სერთიფიკატი, გასაღების როტაცია.
ხალხი და პროცესები: პასუხისმგებლობის მიუწვდომლობა, სახელმძღვანელო აფროვის შეფერხება, არასწორი რუნბოკი.

4) ექსპერიმენტის დიზაინი (შაბლონი)

1. ჰიპოთეზა: „P99 ძირითადი API <450 ms სავალუტო მომსახურებისთვის + 300 ms, იხსნება შესვენება, იხსნება stale პასუხი 15 წუთიანი წინ“.
2. ინექცია: უკმარისობის პროფილი (ტიპი/ამპლიტუდა/ხანგრძლივობა) და სამიზნე წრე.
3. მეტრიკი/ლოგის ჭდეები: ეტიკეტირება 'ქაოსი. experiment_id`, `phase=inject|recover`.
4. Guardrails: abort 'error _ rate> 2%' ან p99> SLA × 2 1 წუთზე მეტი ხნის განმავლობაში.
5. შედეგები/დასკვნა: დაკვირვებების, შეცდომების, გაუმჯობესების სია, სამუშაო გეგმა და განმეორებითი პროგონი.

5) დაკვირვება: რა არის აუცილებელი

ტრეისი: მოთხოვნის გზა დამოკიდებულებით; დეგრადაციის სეგმენტები აღინიშნება.
რესურსების მეტრიკა: CPU, heap/GC, FD, დისკი IOPS/lat, ქსელის ბანდიტი, რიგის სიღრმე.
ბიზნეს მეტრიკა: კონვერტაცია/ოპერაციების წარმატება, კომპენსირებული გარიგების წილი.
მოვლენების ლოგიკა: ბრეიკერების გახსნა/დახურვა, რეკრუტირება და მათი ბიუჯეტი, BD- ის ლიდერის გადართვა.
ექსპერიმენტის პანელი: ცოცხალი დაშბორდი, რომელსაც აქვს guardrails და აბორტის „წითელი ღილაკი“.

6) Guardrails და უსაფრთხოება

ტექნიკური: error rate/latence ზედა საზღვრები, წარმატებული ოპერაციების წილის ვარდნა, DLQ ზრდა.
ორგანიზაციული: on-call ჩართული დროის ფანჯარა, პრინციპი „ერთი ზონა - ერთი ექსპერიმენტი“.
მონაცემები/შესაბამისობა: მხოლოდ სინთეზური ან ანონიმური ნაკრები; რეგულირების დარღვევისკენ მიმავალი ტესტების აკრძალვა.
დაბრუნება: მზა rollback/disable დროშის/რბილი დრაივის ტრაფიკის პროცედურა.

7) სტაბილურობის ნიმუშები, რომლებიც უნდა გამოჩნდეს

Taimaut ბიუჯეტები და Jitter Retrais (ქარიშხლის გარეშე).
Circuit Breaker ნახევარგამოყოფით და ექსპონენციალური აღდგენით.
Bulkheads: კრიტიკული ტყვიების იზოლაცია (გადახდა ანალიტიკოსისთვის).
Backpressure და rate-limit: პროგნოზირებადი დაბალი პრიორიტეტის შემცირება.
ქეში კოალიზაციით, დაცვა „გათბობის ქარიშხლებისგან“.
გვერდითი მოვლენებისა და საგნების იდემპოტენტურობა კომპენსაციის მოქმედებებით.
კვორუმი, ფეილოვერი და ენტროპია მონაცემების აღდგენის მიზნით.

8) სცენარების მაგალითები (ესკიზები)

8. 1 ნელი დამოკიდებულება (YAML)

yaml experiment: slow-downstream target: svc:api inject:
dependency:
name: currency mode: add_latency p95_ms: 300 duration: 10m guardrails:
error_rate: "< 1. 5%"
p99_latency: "< 450ms"
expectations:
breaker_open: true stale_data_served: "<= 15m"

8. 2 BD ლიდერის დაკარგვა

ინექცია: ლიდერის შეჩერება/იძულებითი ხელახალი არჩევნები.
მოლოდინი: ჩანაწერების დროებითი აკრძალვა, კვორუმის წაკითხვა, WAL/Outbox- ის უსაფრთხოება, რეპლიკაციის მანქანის აღდგენა, ორმაგი ჩაწერის არარსებობა.

8. 3 ENOSPC ლოგის დისკზე

ინექცია: დისკის შევსება 95-100% -მდე.
ლოდინი: ლოგოების გადაუდებელი როტაცია, კრიტიკული ჟურნალების უსაფრთხოება, არაკრიტიკული შეცდომების გამორთვა, ალერტი და მანქანის რემედიაცია.

8. 4 Burst ტრაფიკი + shading

ინექცია: × 3 RPS 5 წუთის განმავლობაში ცხელ ენდოინტში.
მოლოდინი: დაბალი პრიორიტეტის გამოტოვება, სტაბილური p95 „ბირთვი“, რეტრაის კასკადის არარსებობა.

9) ავტომატიზაცია CI/CD- ში

Chaos-smoke ღუმელში თითოეული გამოშვებისთვის (მოკლე ინექციები უსაფრთხო ამპლიტუდებში).
ღამის საფენები ექსპერიმენტების კატალოგის მიხედვით (სერვისების მატრიცა × ტიპის წარუმატებლობები).
კარიბჭეები: გამოშვება იბლოკება, თუ „სტაბილურობა ზღურბლზე დაბალია“ (მაგალითად, წარმატებული fallback <95%).
არტეფაქტები: მოხსენება, ტრეისი, CPU/heap ფლეიმგრაფები, მეტრიკის სნაიპშოტები და კონფისკაციები.

10) თამაშის დღეები (თამაშის დღეები)

• როლები: ექსპერიმენტის წამყვანი, მეტრიკის დამკვირვებელი, დაბრუნების ოპერატორი, ბიზნესის წარმომადგენელი.
• სკრიპტები: ქეშის დეგრადაცია, AZ/Faylover რეგიონის ნაწილობრივი უკმარისობა, „ცუდი გამოშვება“, გარე პროვაიდერის მიუწვდომლობა.
• შედეგები: ნაპოვნი ხარვეზები runbook- ში, ალერტების გაუმჯობესება, SLO- ს კორექტირება და რეაგირების ბიუჯეტები.

11) ქაოსი მონაცემებისთვის, მოვლენებისთვის და ML

მონაცემთა ნაკადები: ტესტები დუბლიკატებზე, გამოტოვებაზე, შეფერხებებზე; იდემპოტენტური კონსიუმერების და DLQ სტრატეგიების შემოწმება.
საცავი: ინდექსების დეგრადაცია, ცხელი წვეულება, დაბლოკვის კონფლიქტი, დაბლოკვის ქვეშ რეპლიკაცია.
ML: შეფერხება faseline მოდელზე, შეყვანის მონაცემების ხარისხის გაუარესება (drift) - სისტემა უნდა „რბილად ბლაგვი“ და არ დაეცეს.

12) ანტი შაბლონები

ქაოსი დაკვირვების გარეშე: თქვენ ხართ „ბრმა“, დასკვნები სპეკულაციურია.
ინექციები დაუყოვნებლივ იყიდება stage და gard Reills გარეშე.
„ერთი დიდი ექსპერიმენტი“ ერთდროულად - გაურკვეველია რა მუშაობდა.
არასისტემური ქაოსის მოქმედებები ჰიპოთეზისა და რეტესტრის გარეშე ფიქსაციის შემდეგ.
მხოლოდ ინფრასტრუქტურაზე ფოკუსირება დავიწყებულია ბიზნეს ინვარიანტებით.
ადამიანების/პროცესების უგულებელყოფა: ალერტები, on-call, runbook - სისტემის ნაწილი.

13) პრაქტიკის სიმწიფე (მოდელი)

1. Ad-hoc: ერთჯერადი ინექციები ადგილობრივად.
2. სახელმწიფო ქაოსი: სკრიპტების კატალოგი, განმეორებითი გადახურვები, დაშბორდები.
3. გამოშვება-ქაოსი: მცირე ქაოსი თითოეულ გამოშვებაში, კარიბჭეები, მოხსენებები.
4. Prod ქაოსი შეზღუდვებით: მცირე ტრაფიკი, მკაცრი guardrails, მზა გამოტოვება.
5. უწყვეტი სტაბილურობა: ავტო ექსპერიმენტები, SLO კონტროლი, გაუმჯობესება, როგორც მუშაობის ნაკადი.

14) არქიტექტურული პრაქტიკის ინტეგრაცია

სტაბილურობის ტესტირება: ქაოსი ექსპერიმენტები ავსებს fault ინექციებს და დეგრადაციის სცენარებს.
დატვირთვის ტესტირება: კომბინირებული ექსპერიმენტები „დატვირთვა + უკმარისობა“ ავლენს კასკადებს და ჭიდაობის ქარიშხალს.
პოლიტიკა as Code/RBAC/ABAC: guardrails, საპასუხო ნაბიჯები და შეზღუდვები, როგორც პოლიტიკოსები.
თანხმობის/კონფიდენციალურობის მართვა: არ დაუშვათ ექსპერიმენტები, რომლებიც არღვევს მონაცემთა დამუშავების რეჟიმს.
Geo-არქიტექტურა: რეგიონების ფეილოვერის შემოწმება და მონაცემების იურისდიქციებთან დაკავშირება.

15) მინი რეცეპტები (ფსევდო კოდი)

ბრეიკერი + დეგრადაცია

if breaker. open():
return serve_stale(cache. max_age=15m)
try:
res = call(dep, timeout=250ms)
return res except Timeout:
breaker. trip()
return serve_stale()

Limiter + shading

if cpu. load() > 0. 85 or queue. depth() > HIGH:
if req. priority < HIGH: return 503_SHED limiter. acquire()

Idempotent გვერდითი ეფექტი

key = "payout:"+external_id if kv. exists(key): return kv. get(key)
res = side_effect()
kv. put(key, res, ttl=30d)
return res

16) არქიტექტორის ჩეკის სია

1. განსაზღვრულია Steady State და guardrails?
2. არსებობს სკრიპტების კატალოგი (ქსელი/CPU/საცავი/დამოკიდებულება/მონაცემები/ოპერაციები)?
3. დაკვირვება მოიცავს რესურსებს, ლატენტობის კუდებს, ბიზნეს ინვარიანტებს?
4. Taimauts/retrais/brekers/limiters/bulkheads ასევე შედის პარამეტრიზემები?
5. მომზადებულია runbook და წითელი ღილაკი?
6. არსებობს ქაოსი-სმოკი სტეჯში და nightly ექსპერიმენტები?
7. ასახულია „უსაფრთხო“ ფანჯრები და როლები თამაშზე?
8. ექსპერიმენტები რეპროდუცირებულია (IaC/სკრიპტები), შედეგები ვერსირებულია?
9. გაუმჯობესებები ფიქსირდება დავალებებით, ხდება რეპეტიცია?
10. დაფარული დანიური და ML კონვეიერები, არა მხოლოდ HTTP?

დასკვნა

Chaos Engineering „გაუთვალისწინებელ ინციდენტებს“ პროგნოზირებად სცენარებად აქცევს. სტაბილურობის ჰიპოთეზა, კონტროლირებადი ინექციები, მკაცრი guardrails, მდიდარი დაკვირვება და რეტესტრის დისციპლინა არის ინსტრუმენტები, რომლებიც ამცირებენ გამოშვების რისკს და ზრდის პლატფორმისადმი ნდობას. შედეგად, გუნდს ესმის სისტემის საზღვრები, შეუძლია ელეგანტური დეგრადაცია და სწრაფად დაუბრუნდეს მომსახურება მომხმარებელს, თუნდაც უარის თქმის პირობებში.