Муҳандисии хаос

1) Принсипҳои асосӣ

Ҳолати устувор ҳамчун гипотезаи аслӣ. Меъёрро дақиқ муайян кунед (масалан: p95 <200 ms, сатҳи хатогӣ <0. 3%, муваффақияти ҷараёни интиқодӣ> 99. 5%).
Тағйирёбандаҳои ҷудошуда. То ҳадди имкон як омилро дар як вақт тағир диҳед, то натиҷа ва такмилро бо ҳам пайванд кунед.
Дараҷа. Мо аз амплитудаҳои хурд дар муҳити бехатар § фарогирӣ ва шиддатро васеъ мекунем.
Гвардияҳо. Шартҳои возеҳи таваққуф дар SLO/ҳушдор/хатогӣ.

Такрори. Озмоиш бояд ба таври муайянкунанда репродуктивӣ бошад (скриптҳо/зуҳурот/Ia

Этика ва бехатарӣ. Дар таҷрибаҳои хатарнок ягон маълумоти воқеии шахсӣ ва амалиёти молиявӣ мавҷуд нест.

2) "Ҳолати устувор" чист

• p50/p95/p99 ниҳонии нуқтаҳои ниҳоӣ.
• Сатҳи муваффақият ва табдили роҳи муҳим.
• Меъёри хатогӣ, танаффус, фоизи дархостҳои "рехта" (бо пуррагӣ бурида мешавад).
• Сатҳи худтанзимкунӣ (MTTR), муқовимат ба ақибнишинӣ (бе тӯфон).
• Инвариантҳои домейн: набудани "муқобил дар тавозун", пардохтҳои иҷрошуда, мувофиқати рӯзҳои ҳисоботӣ ва ғайра.

3) Феҳристи тазриқӣ (он чизе ки мо мешиканем)

Шабака: ниҳонӣ, ҷиттер, талафот/нусхабардорӣ, маҳдудияти фарохмаҷро, танаффуси TLS, печонидани DNS.
Ҳисобҳо: изофабори CPU, фишори хотира/GC, фарсудашавии дескриптор, skew соат.
Нигоҳдорӣ: баланд p95 I/O, ENOSPC, нокомии пешво/реплика, тақсимшавӣ-мағзи сар, fsync дароз.
Вобастагӣ: 5xx/429, "муваффақияти суст", таназзули API-ҳои беруна, меъёри маҳдудият.
Маълумот: нусхабардорӣ/пазмон шудани паёмҳо, фармоиш, сабтҳои ифлос, ихтилофи версия.
Амалиётҳо: барориши номуваффақ/конфигуратсия, парчами хусусият бо хатогӣ, шаҳодатномаи мӯҳлати истифодашуда, гардиши калидҳо.
Одамон ва равандҳо: дастрас набудани шахсони масъул, таъхири навсозии дастӣ, дафтарчаи нодуруст.

4) Тарҳи таҷриба (қолаб)

1. Гипотеза: "Дар + 300 мс ба хидмати асъории p99 аз API <450 мс, вайронкунанда кушода мешавад, 15 дақиқа пеш вокуниши кӯҳна дода мешавад".
2. Тазриқ: профили нокомӣ (намуд/амплитуда/давомнокӣ) ва контури мақсаднок.
3. Ченакҳо/барчаспҳои журнал: аломатгузории 'chaos. experiment_id', 'фаза = тазриқи' барқароршавӣ '.
4. Посбонҳо: at 'error _ rate> 2%' ё p99> SLA × 2 -ро барои зиёда аз 1 дақиқа бекор кунед.
5. Натиҷаҳо/натиҷаҳо: рӯйхати мушоҳидаҳо, иштибоҳҳо, такмилҳо, нақшаи корӣ ва дубора иҷро кардан.

5) Мушоҳида: чӣ ҳатмӣ аст

Пайгирӣ: роҳи вобастагиро талаб кунед; сегментҳо бо таназзул қайд карда шудаанд.
Нишондиҳандаҳои захираҳо: CPU, heap/GC, FD, диски IOPS/lat, фарохмаҷрои шабака, умқи навбат.
Нишондиҳандаҳои корӣ: табдили/муваффақияти амалиёт, ҳиссаи амалиётҳои ҷуброншаванда.
Гузоришҳои рӯйдодҳо: кушодан/пӯшидани танаффусҳо, бознигарӣ ва буҷаи онҳо, иваз кардани роҳбари пойгоҳи додаҳо.
Панели таҷрибавӣ: панели мустақим бо ҳадди ақалли посбонҳо ва исқоти ҳамл "тугмаи сурх".

6) Гвардияҳо ва амният

Техникӣ: маҳдудиятҳои болоии сатҳи хатогӣ/ниҳонӣ, кам шудани ҳиссаи амалиётҳои муваффақ, афзоиши DLQ.
Ташкилот: равзанаи вақт, ҳангоми занг задан, принсипи "як минтақа - як озмоиш".
Маълумот/мувофиқат: танҳо синтетика ё маҷмӯаҳои ғайришахсӣ; манъ кардани санҷишҳое, ки ба вайронкунии танзим оварда мерасонанд.
Бозгашт: Тартиби баргардонидан/ғайрифаъол кардани трафики парчам/мулоими нарм.

7) Намунаҳои тобоварӣ, ки бояд нишон дода шаванд

Буҷаҳои танаффус ва ақибнишинӣ (бидуни тӯфон).
Breaker Circuit бо барқароркунии нимтайёр ва экспоненсиалӣ.
Bulkheads: ҷудокунии ҳавзҳои танқид (пардохтҳо vs таҳлилгар).
Backpressure ва меъёри маҳдудият: коҳиши пешгӯишавандаи афзалиятноки паст.
Кэш бо ҳамбастагӣ, муҳофизат аз "тӯфонҳои гарм".
Idempotence таъсири тараф ва sagas бо амалҳои ҷубронӣ.
Кворумҳо, feilover ва анти-энтропия барои барқароркунии маълумот.

8) Сенарияҳои намунавӣ (эскизҳо)

8. 1 Вобастагии суст (YAML)

yaml experiment: slow-downstream target: svc:api inject:
dependency:
name: currency mode: add_latency p95_ms: 300 duration: 10m guardrails:
error_rate: "< 1. 5%"
p99_latency: "< 450ms"
expectations:
breaker_open: true stale_data_served: "<= 15m"

8. 2 Аз даст додани роҳбари DB

Тазриқ: Боздошти пешво/интихоби такрории маҷбурӣ.
Интизорӣ: монеаи муваққатии навиштан, хондани кворум, WAL/Outbox бехатар, нусхабардории худкор барқарор, навиштани дукарата.

8. 3 ENOSPC дар диски Log

Тазриқ: дискро то 95-100% пур кунед.
Интизорӣ: гардиши фаврии журналҳо, бехатарии гузоришҳои интиқодӣ, хомӯш кардани хусусиятҳои ғайримуқаррарӣ, ҳушёрӣ ва барқароркунии худкор.

8. 4 Ҳаракати нақлиёт + сояафкан

Тазриқ: 3 RPS-ро дар тӯли 5 дақиқа дар нуқтаи гарм ҷойгир кунед.
Интизорӣ: тарки афзалияти паст, устувори p95 "аслӣ", каскади бозгашт нест.

9) Автоматика дар CI/CD

Хаос-дуд дар саҳна барои ҳар як озодкунӣ (тазриқи кӯтоҳ дар амплитудаҳои бехатар).
Шабона аз рӯи феҳристи таҷрибаҳо (хадамоти матритса × намудҳои нокомӣ) кор мекунад.
Дарвозаҳо: Озодкунӣ баста мешавад, агар "суботкорӣ аз ҳадди поён аст" (масалан, фоизи хатогиҳои муваффақ <95%).
Артефактҳо: ҳисобот, роҳҳо, CPU/фламешрафҳо, лаҳзаҳои ченакҳо ва конфигуратсияҳо.

10) Рӯзҳои бозӣ (Рӯзҳои бозӣ)

• Нақшҳо: роҳбари таҷриба, нозир оид ба ченакҳо, оператори бозгашт, намояндаи тиҷорат.
• Сенарияҳо: таназзули кэш, қисман AZ/нокомии минтақа-фейовер, "озодкунии бад", дастрас набудани провайдери беруна.
• Натиҷаҳо: камбудиҳо дар дафтарчаи корӣ, такмилдиҳии огоҳиҳо, тасҳеҳот ба SLO ва бозпас гирифтани буҷа.

11) бетартибӣ барои маълумот, рӯйдодҳо ва ML

Ҷараёнҳои маълумот: санҷишҳо барои нусхаҳо, холигоҳҳо, фармоишҳо, таъхирҳо; тасдиқи истеъмолкунандагони idempotent ва стратегияҳои DLQ.
Репозиторияҳо: таназзули индексатсия, тақсимоти гарм, муноқишаи қулф, такрори ақибмонӣ.
ML: таъхири хусусиятҳо, бозгашт ба модели ибтидоӣ, таназзули сифати маълумоти воридотӣ (дрифт) - система бояд "мулоим" бошад ва афтад.

12) Анти-намунаҳо

Бетартибӣ бидуни мушоҳида: шумо "нобино" ҳастед, хулосаҳо баҳсомез мебошанд.
Сӯзандоруҳо фавран бидуни марҳила ва посбонӣ карда мешаванд.
"Як озмоиши калон" дар ҳама чиз якбора - маълум нест, ки маҳз чӣ кор кардааст.
Амалҳои бетартибиҳои Haphazard бидуни фарзияҳо ва санҷишҳо пас аз ислоҳ.
Тамаркуз танҳо ба инфрасохтор - инвариантҳои тиҷорат фаромӯш карда мешаванд.
Нодида гирифтани одамон/равандҳо: огоҳиҳо, зангҳо, дафтарчаи корӣ - қисми система.

13) Камолоти амалия (модел)

1. Ad-hoc: тазриқи ягона дар маҳал.
2. Бетартибиҳои марҳилавӣ: феҳристи сенарияҳо, даврҳои такрорӣ, панелҳои панелӣ.
3. Рафъи бетартибӣ: бетартибиҳои дуд дар ҳар як озодкунӣ, дарвозаҳо, гузоришҳо.
4. Бетартибиҳои ғизоӣ бо маҳдудиятҳо: трафики кам, посбонҳои қатъӣ, бозгашти омода.
5. Устувории доимӣ: таҷрибаҳои худкор, идоракунии SLO, такмилдиҳӣ ҳамчун ҷараёни кор.

14) Ҳамгироӣ бо амалияи меъморӣ

Озмоиши муқовимат: Таҷрибаҳои бесарусомонӣ сӯзандоруҳо ва сенарияҳои таназзулро пурра мекунанд.
Озмоиши сарборӣ: Сарбории омехта + таҷрибаҳои ноком каскадҳо ва тӯфони бозгаштро нишон медиҳанд.
Сиёсат ҳамчун Кодекс/RBAC/ABAC: посбонҳо, қадамҳо ва маҳдудиятҳо ҳамчун сиёсат таҳия карда мешаванд.
Идоракунии ризоият/махфият: ба таҷрибаҳое, ки режими коркарди маълумотро вайрон мекунанд, роҳ надиҳед.
Меъмории гео-архитектура: чекҳои бесарусомонии минтақаҳо ва ҳатмии маълумот дар қаламравҳо.

15) Дорухатҳои мини (псевдокод)

Вайронкунанда + таназзул

if breaker. open():
return serve_stale(cache. max_age=15m)
try:
res = call(dep, timeout=250ms)
return res except Timeout:
breaker. trip()
return serve_stale()

Маҳдудият + соякунӣ

if cpu. load() > 0. 85 or queue. depth() > HIGH:
if req. priority < HIGH: return 503_SHED limiter. acquire()

Таъсири паҳлӯии Idempotent

key = "payout:"+external_id if kv. exists(key): return kv. get(key)
res = side_effect()
kv. put(key, res, ttl=30d)
return res

16) Рӯйхати назорати меъморон

1. Ҳолати устувор ва посбонҳо муайян карда шудааст?
2. Оё феҳристи скрипт вуҷуд дорад (шабака/CPU/нигоҳдорӣ/вобастагӣ/маълумот/амалиёт)?
3. Оё мушоҳидаҳо захираҳо, думҳои ниҳонӣ ва инвариантҳои тиҷоратро фаро мегиранд?
4. Вақтсанҷӣ/ақибнишинӣ/breakers/limiters/bulkheads фаъол ва parameterizable?
5. Китобчаи тайёр ва "тугмаи сурх"?
6. Оё дар саҳна дуди бетартибӣ ва таҷрибаҳои шабона вуҷуд доранд?
7. Оё дар рӯзҳои бозӣ тирезаҳо ва нақшҳои "бехатар" мавҷуданд?
8. Таҷрибаҳо репродуктивӣ мебошанд (IAC/скриптҳо), натиҷаҳо санҷида мешаванд?
9. Такмилҳо аз рӯи вазифаҳо муқаррар карда мешаванд, бозсозӣ анҷом дода мешавад?
10. Маълумот ва қубурҳои ML пӯшонида шудаанд, на танҳо HTTP?

Хулоса

Муҳандисии хаос "ҳодисаҳои ғайричашмдошт" -ро ба сенарияҳои пешбинишаванда табдил медиҳад. Гипотезаи муқовимат, тазриқи назоратшаванда, посбонҳои қатъӣ, мушоҳидаҳои бой ва интизоми бозсозӣ воситаҳое мебошанд, ки хатари релизҳоро коҳиш медиҳанд ва эътимодро ба платформа афзоиш медиҳанд. Дар натиҷа, даста ҳудуди системаро мефаҳмад, қодир аст ба таври шево таназзул ёбад ва хидматро ба корбар зуд баргардонад, ҳатто дар шароити нокомӣ.