Chaos Engineering

1) Негизги принциптер

Steady мамлекеттик баштапкы гипотеза катары. Норманы так аныктаңыз (мисалы: p95 <200 ms, error rate <0. 3%, сынчы Flow ийгилиги> 99. 5%).
Обочолонгон өзгөрмөлөр. Таасир менен жакшыртууну себептүү байланыштыруу үчүн мүмкүн болушунча бир эле учурда бир факторду өзгөртүңүз.
Градустук. Коопсуз чөйрөдө кичинекей амплитудалардан баштайбыз → камтууну жана интенсивдүүлүктү кеңейтебиз.
Guardrails. SLO/Alert/бюджет каталар үчүн так токтоо шарттары.
Кайталануу. Эксперимент детерминацияланган болушу керек (скрипттер/манифесттер/IaC).
Этика жана коопсуздук. Эч кандай реалдуу жеке маалыматтар жана тобокелдик эксперименттер каржылык бүтүмдөр.

2) "туруктуу абалы" деген эмне

• Жашыруун p50/p95/p99 негизги End.
• Ийгиликтүү транзакциялардын үлүшү жана критикалык жолдордун конверсиясы.
• Error rate, таймауттар, "shed" суроо үлүшү (каныкканда кесип).
• Өзүн-өзү калыбына келтирүү ылдамдыгы (MTTR), retrains каршылык (бороон жок).
• Домендин инварианттары: "баланста минустардын" жоктугу, бир жолу аткарылган төлөмдөр, отчеттук суткалардын консистенттүүлүгү ж.б.

3) Инъекция каталогу ("сынган")

Network: кечигүү, JITS, жоготуу/кайталоо, кубаттуулугун чектөө, TLS-үзүндүлөр, DNS-Fapping.
Эсептөө: CPU ашыкча, эс басымы/GC, дескриптордун түгөнүшү, clock skew.
Сактоо: жогорку p95 I/O, ENOSPC, лидер/реплика, split-brain, fsync.
Көз карандылык: 5xx/429, "жай ийгилик", тышкы API деградациясы, rate-limit.
Маалыматтар: Double/ката билдирүүлөр, out-of-order, "кир" жазуулар, чыр-чыгаруу.
Операциялар: ийгиликсиз релизи/ , мүчүлүштүктөр менен флаг, мөөнөтү өтүп кеткен сертификат, ачкычтын айлануусу.
Адамдар жана процесстер: жоопкерлердин жеткиликсиздиги, кол менен апрувдун кечеңдеши, туура эмес runbook.

4) Эксперимент Дизайн (шаблон)

1. Гипотеза: "Негизги API p99 валюталык кызматына + 300 мс болгондо <450 мс, брейкер ачылат, 15 мүнөт мурун stale ≤ жооп берилет".
2. Инъекция: мүчүлүштүк профили (түрү/амплитуда/узактыгы) жана максаттуу контур.
3. Метрика/лог-теги: маркировка 'chaos. experiment_id`, `phase=inject|recover`.
4. Guardrails: 'error _ rate> 2%' же p99> SLA × 2 мүнөттөн ашык 1.
5. Натыйжалар/жыйынтык: байкоолордун, мүчүлүштүктөрдүн, жакшыртуулардын тизмеси, иш планы жана кайталап өтүү.

5) байкоо: эмне милдеттүү

Trace: көз карандылык аркылуу сурам жолу; деградация менен сегменттер белгиленген.
Ресурстардын өлчөмдөрү: CPU, heap/GC, FD, диск IOPS/lat, network bandwidth, кезек тереңдиги.
Бизнес-метрика: конверсия/операциялардын ийгилиги, компенсацияланган транзакциялардын үлүшү.
Иш-чаралардын логдери: брейкерлерди ачуу/жабуу, ретра жана алардын бюджети, БД лидерин которуу.
Эксперимент панели: guardrails босоголору жана "кызыл баскычы" бойдон алдыруу менен live-dashboard.

6) Guardrails жана коопсуздук

Техникалык: жогорку чек error rate/latency, ийгиликтүү иш үлүшү төмөндөшү, DLQ өсүшү.
Уюштуруу: on-call тартылган убакыт терезеси, "бир зона - бир эксперимент" принциби.
Маалыматтар/комплаенс: синтетика же жекелештирилген топтомдор гана; эрежелерди бузууга алып келген тесттерге тыюу салуу.
Артка: даяр жол-жобосу rollback/disable желек/жумшак drain жол.

7) Көрүнүшү керек болгон туруктуулук үлгүлөрү

Таймаут бюджеттер жана Jitter Retray (бороон жок).
Жарым ачуу (half-open) жана экспоненциалдык калыбына келтирүү менен Circuit Breaker.
Bulkheads: көлмөлөрдү критикалык изоляциялоо (төлөмдөр vs аналитика).
Backpressure жана rate-limit: төмөн артыкчылыктуу алдын ала өчүрүү.
coalescing менен кэш, "бороон-чапкын жылытуу" каршы коргоо.
Терс таасирлердин жана компенсациялык аракеттер менен саганын демпотенттиги.
Кворумдар, фейловер жана маалыматтарды калыбына келтирүү үчүн анти-энтропия.

8) Сценарийлердин мисалдары (эскиздер)

8. 1 Жай көз карандылык (YAML)

yaml experiment: slow-downstream target: svc:api inject:
dependency:
name: currency mode: add_latency p95_ms: 300 duration: 10m guardrails:
error_rate: "< 1. 5%"
p99_latency: "< 450ms"
expectations:
breaker_open: true stale_data_served: "<= 15m"

8. 2 DD лидери жоготуу

Инъекция: лидерди токтотуу/мажбурлап кайра шайлоо.
Күтүү: жазууларды убактылуу тыюу салуу, кворумдан окуу, WAL/Outbox коопсуздугу, автоматтык калыбына келтирүү репликациясы, кош жазуу жок.

8. 3 ENOSPC логикалык дискте

Инъекция: 95-100% чейин диск толтуруу.
Күтүү: блогдорду авариялык ротациялоо, критикалык журналдарды сактоо, критикалык эмес көрүнүштөрдү өчүрүү, алерт жана авто-ремедиация.

8. 4 Бурст трафик + shading

Injection: × 3 RPS ысык end-point боюнча 5 мүнөт.
Күтүү: төмөн артыкчылык ыргытып, туруктуу p95 "ядро", retrains каскадынын жоктугу.

9) CI/CD автоматташтыруу

Chaos-smoke ар бир бошотуу үчүн туруктуу (коопсуз amplitudes боюнча кыска инъекция).
Эксперименттердин каталогу боюнча түнкү прогондор (матрица кызматтары × мүчүлүштүктөрдүн түрлөрү).
Гейтс: "босогодон төмөн туруктуулук" (мисалы, ийгиликтүү fallback үлүшү <95%) болсо, бошотуу бөгөттөлгөн.
Артефакттар: отчет, соодалар, CPU/heap флеймграфтары, метриктер жана конфигурациялар.

10) Оюн күндөрү (Оюн күндөрү)

• Ролдору: эксперименттин алып баруучусу, метриктердин байкоочусу, артка кайтаруу оператору, бизнес өкүлү.
• Сценарийлер: кэштин бузулушу, АЗ/аймак-фейловердин жарым-жартылай иштебей калышы, "начар релиз", тышкы провайдердин жеткиликсиздиги.
• Натыйжалары: runbook табылган боштуктар, alerts жакшыртуу, SLO жана retrains бюджеттерди тууралоо.

11) маалыматтар, окуялар жана ML үчүн башаламандык

маалымат агымы: кайталанма тесттер, пропуск, out-of-order, кечигүү; DLQ стратегияларын текшерүү.
Сактоо: индекстердин деградациясы, hot-partition, блоктоо чыр-чатагы, лагдын астындагы репликация.
ML: Fich Store кечигүү, baseline-моделге артка чегинүү, кириш маалыматтардын сапатынын начарлашы (drift) - система жыгылбай, "жумшак келесоо" болушу керек.

12) Анти-үлгүлөрү

Байкоосуз башаламандык: сиз "сокур", тыянактар ​ ​ спекулятивдүү.
Stage жана Гвард-Рейл жок өнүмдө дароо инъекциялар.
"Бир чоң эксперимент" бир эле учурда - так эмне иштегени белгисиз.
phicks кийин гипотезалар жана retest жок системасыз башаламандык-аракеттер.
Инфраструктурага гана көңүл буруу - бизнес-инварианттар унутулган.
Адамдарды/процесстерди этибарга албоо: алерт, on-call, runbook - системанын бир бөлүгү.

13) Practice Practice (модель)

1. Ad-hoc: жергиликтүү бир жолу сайынуу.
2. Stage-хаос: сценарийлер каталогу, кайталануучу прогондор, дашборддор.
3. Release-башаламандык: ар бир релизинде smoke-башаламандык, гейтс, отчеттор.
4. Чектөөлөрү бар прод-хаос: чакан трафик, катуу күзөтчүлөр, даяр кайтаруу.
5. Үзгүлтүксүз туруктуулук: auto-эксперименттер, SLO башкаруу, иш агымы катары жакшыртуу.

14) Архитектуралык практикалар менен интеграция

Туруктуулукту сыноо: башаламандык эксперименттер fault-инъекцияларды жана деградация сценарийлерин толуктайт.
Жүктөө сыноо: айкалыштырылган эксперименттер "жүк + ийгиликсиз" каскад жана бороон-чапкын retrains аныктайт.
Policy as Code/RBAC/ABAC: guardrails, кайтаруу кадамдары жана чектер саясат катары жол-жоболоштуруу.
Макулдуктарды/купуялыкты башкаруу: маалыматтарды иштетүү режимин бузган эксперименттерге жол бербөө.
Гео-архитектура: аймактардын жана юрисдикцияларга маалыматтарды байлап Feylover башаламандык текшерүү.

15) Mini Recipes (psevdocode)

Брейкер + деградация

if breaker. open():
return serve_stale(cache. max_age=15m)
try:
res = call(dep, timeout=250ms)
return res except Timeout:
breaker. trip()
return serve_stale()

Лимитер + shading

if cpu. load() > 0. 85 or queue. depth() > HIGH:
if req. priority < HIGH: return 503_SHED limiter. acquire()

Idempotent терс таасири

key = "payout:"+external_id if kv. exists(key): return kv. get(key)
res = side_effect()
kv. put(key, res, ttl=30d)
return res

16) Архитектордун чек тизмеси

1. Steady State жана guardrails аныкталган?
2. Сценарийлердин каталогу барбы (тармак/CPU/сактоо/көз карандылык/маалыматтар/операциялар)?
3. Байкоо ресурстарды камтыйт, жашыруун куйруктары, бизнес инварианттар?
4. Таймауттар/retrailer/брейкерлер/лимиттери/bulkheads камтылган жана параметрлүү?
5. Runbook жана "кызыл баскычы" даярдалган?
6. Stage жана nightly эксперименттер башаламандык smoke бар?
7. Белгиленген "коопсуз" оюн күн терезелер жана ролдору?
8. Эксперименттер ойнотулат (IaC/скрипт), натыйжалары которулат?
9. Жакшыртуулар тапшырмалар менен белгиленет, ретест жасалат?
10. HTTP гана эмес, маалымат жана ML-конвейерлер камтылган?

Корутунду

Chaos Engineering алдын ала жагдайлар "күтүлбөгөн окуялар" бурат. Туруктуулуктун гипотезасы, башкарылуучу инъекциялар, катуу күзөт, бай байкоо жана ретесттин тартиби релиздердин коркунучун азайтуучу жана платформага ишенимди арттыруучу куралдар болуп саналат. Натыйжада команда системанын чектерин түшүнөт, жарашыктуу деградациялоону жана ийгиликсиз шарттарда да сервисти колдонуучуга тез кайтарып берүүнү билет.