Муҳандисии бесарусомонӣ: Устувории система

Муҳандисии бесарусомонӣ: Устувории система

1) Чаро муҳандисии бетартибӣ

• фарзияҳои санҷишӣ дар бораи рафтори система ва тасдиқи SLO;
• муайян кардани SPOF-ҳои пинҳонӣ, таъхири нодуруст/бозсозӣ, оқибатҳои тасодуфӣ;
• дастаҳои қатора: рӯзҳои бозӣ, коркарди дафтарҳо, иртибот;
• ташаккули фарҳанги "устуворӣ бо нобаёнӣ" ба ҷои "умед ба беҳтаринҳо".

Муҳим: Муҳандисии бесарусомонӣ ≠ "ҳама чизро мешиканад. "Ин усули илмӣ аст: стейдер-статус → гипотеза → таҷриба → хулосаҳо → такмил.

2) Давраи озмоишии асосӣ

1. Ҳолати устувор (ибтидоӣ): Кадом SLI устувор мебошанд? (масалан, муваффақият ≤ 500 мс дар 99). 95%).
2. Гипотеза: ҳангоми аз даст додани як AZ, p95 афзоиш хоҳад ёфт <10% ва дастрасӣ ≥ 99. 9%.
3. Озмоиш: дурушти банақшагирифташуда бо радиуси маҳдуди таркиш ва меъёрҳои қатъ.
4. Мушоҳида: ченакҳо/роҳҳо/гузоришҳо, SLO-и сӯзондан, SLI бизнес (масалан, пасандозҳои муваффақ).
5. Такмилҳо: мо бозёфтҳоро сабт мекунем, вақтро иваз мекунем/маҳдудиятҳо/масирро иваз мекунем, дафтарчаи кориро нав мекунем.
6. Автоматизатсия/регрессия: дар ҷадвал такрор кунед, ба тақвимҳои CI/CD ва рӯзҳои бозӣ илова кунед.

3) Аввал бехатарӣ

Радиуси таркиш: бо танги танг оғоз кунед - як подполковник/проспект/масир/фазои ном.
Гвардияҳо: огоҳиҳо дар бораи сатҳи сӯхтани SLO (зуд/суст), маҳдудиятҳои бозгашт, маҳдудияти QPS, буҷаи ҳодисаҳо.
Меъёрҳои таваққуф: "агар сатҳи хатогӣ> X% ё p99> Y ms N дақиқа - фавран бозистад ва бозистад".
Windows: соатҳои кории занг, ҷонибҳои манфиатдор, варақаҳои яхкардашуда.
Иртибот: Роҳбари IC/Tech/Comms, канали тоза (War-room), қолаби паём.

4) Синфҳои нокомӣ ва ғояҳои гипотеза

Шабака: таъхир/ҷиттер/талаф, қисман тарки бандарҳо, иртиботи байни хидматҳо/PSP.
Компютер/гиреҳҳо: равандҳои куштор, аз ҳад зиёд гарм кардани CPU, фарсудашавии дескрипторҳои файл, ҳавзҳои пайвасти танг.
Нигоҳдорӣ ва пойгоҳи додаҳо: афзоиши дискҳои ниҳонӣ, нусхаҳои ақибмонда, боздоштани як шард/пешво, тақсимшавӣ-майна.
Вобастагӣ: таназзули API-ҳои беруна, маҳдудиятҳои провайдер, таркишҳои 5xx/429.
Идоракунии тағирот: барориши номуваффақ, парчами хусусияти бад, иҷрои қисман.
Периметр: таназзули CDN, DNS/Anycast drift, нокомии муҳофизати WAF/bot.
Минтақа/AZ: талафоти пурра ё ҳодисаи "қисман" (каме бадтар ва пешгӯинашаванда).

5) Воситаҳо ва усулҳо

Kubernetes: Chaos Mesh, Litmus, Powerformancial, kube-маймун.
Абрҳо: AWS Simulator Injection Injection (FIS), Доменҳои хато дар наздикии абрҳо.
Шабака/прокси: Токсипрокси (заҳри TCP), tc/netem, iptables, гуноҳи фиристанда (таъхир/исқоти ҳамл), тазриқи гуноҳи Истио.
Равандҳо/гиреҳҳо: 'стресс-нг', гурбаҳо/CPU-дроссель, пур кардани диск.
Масири ҳаракат: Вазнҳои GSLB/DNS, гузариши канарӣ/кабуд-сабз барои чекҳои қалбакӣ.

6) Скриптҳои намунавӣ (Кубернетес)

6. 1 Таъхир/исқоти ҳамл дар масир (Истио Виртуалӣ)

yaml apiVersion: networking. istio. io/v1alpha3 kind: VirtualService metadata: { name: api-chaos }
spec:
hosts: ["api. internal"]
http:
- route: [{ destination: { host: api-svc } }]
fault:
delay: { percentage: { value: 5 }, fixedDelay: 500ms }
abort: { percentage: { value: 1 }, httpStatus: 503 }

Гипотеза: Вақтсанҷӣ/бозпас гирифтани мизоҷон ва CB-ҳо p95 <300 ms ва дараҷаи хатогӣ <0 -ро нигоҳ медоранд. 5%.

6. 2 Pod Kill (Chaos Mesh)

yaml apiVersion: chaos-mesh. org/v1alpha1 kind: PodChaos metadata: { name: kill-one-api }
spec:
action: pod-kill mode: one selector:
namespaces: ["prod"]
labelSelectors: { "app": "api" }
duration: "2m"

Гипотеза: мувозинат ва HPA талафоти як мисолро бидуни афзоиши p99> 20% ҷуброн мекунанд.

6. 3 бетартибии шабака (таъхир ба пойгоҳи додаҳо)

yaml apiVersion: chaos-mesh. org/v1alpha1 kind: NetworkChaos metadata: { name: db-latency }
spec:
action: delay mode: all selector: { namespaces: ["prod"], labelSelectors: {"app":"payments"} }
delay: { latency: "120ms", jitter: "30ms", correlation: "25" }
direction: to target:
selector: { namespaces: ["prod"], labelSelectors: {"role":"db"} }
mode: all duration: "5m"

Гипотеза: ҳавзҳо/вақтҳо/кэш таъсирро коҳиш медиҳанд; Пардохтҳои p95 ≤ SLO боқӣ хоҳанд монд.

6. 4 Пур кардани диск

yaml apiVersion: chaos-mesh. org/v1alpha1 kind: IOChaos metadata: { name: disk-fill-logs }
spec:
action: fill mode: one selector: { labelSelectors: {"app":"ingest"} }
volumePath: /var/log size: "2Gi"
duration: "10m"

Гипотеза: гардиши гузоришҳо/квотаҳо/огоҳиҳо пеш аз таназзули хатсайрҳо кор хоҳанд кард.

7) Таҷрибаҳо берун аз K8s

7. 1 Токсипрокси (маҳаллӣ/ҳамгироӣ)

bash toxiproxy-cli create psp --listen 127. 0. 0. 1:9999 --upstream psp. prod:443 toxiproxy-cli toxic add psp -t latency -a latency=200 -a jitter=50 toxiproxy-cli toxic add psp -t timeout -a timeout=1000

7. 2 Хатои фиристодаи HTTP (периметри/фикрию)

yaml fault:
delay: { fixed_delay: 0. 3s, percentage: { numerator: 10, denominator: HUNDRED } }
abort: { http_status: 503, percentage: { numerator: 1, denominator: HUNDRED } }

7. 3 AWS FIS (идеяи мисол)

Таҷриба N% EC2-ро дар Auto Scaling Group "кушед", ба таври сунъӣ EBS-ниҳониро баланд бардоред, NAT-GW-ро дар як AZ хомӯш кунед.
Меъёрҳои дарунсохт барои ченакҳои Cloud-Watch SLO.

8) Нишондиҳандаҳои мушоҳида дар вақти бетартибӣ

SLO/SLI: ҳиссаи дархостҳои хуб, p95/p99, сатҳи сӯзондан.
Модели RED барои хатсайрҳои интиқодӣ (Нарх, Хатогиҳо, Давомнокӣ).
Ҳавзҳо: интизори пайвасти p95, истифода.
DB: нусхаҳои ақибмонда, қуфлҳо, дархостҳои drift p95.
Шабака: retransmitts, RTT, рафтори dscp/ecn.
Бизнес SLI: муваффақияти амалиётҳо (амонатҳо/чекҳо),% баргардонидан/хатогиҳо.
Пайгирӣ: роҳҳои интихобӣ (намунаҳо), таносуби эзоҳҳо.

9) Ҳамгироӣ бо SLO/Хатогӣ-буҷет

Таҷрибаҳоро дар доираи буҷаи хатогиҳо ба нақша гиред: бетартибӣ набояд ҳадафҳои семоҳаро "халалдор кунад".
Огоҳии сатҳи сӯхтан ҳамчун гузариши автоматии куштор.
Ҳисобот: "чӣ қадар буҷа сӯхт", "кадом тамоюлҳо устувор аст".

10) Рӯзҳои бозӣ (машқ)

Сенария: афсонаи мухтасар (масалан, "минтақа-Шарқ гум шуд"), қадамҳои тазриқӣ, ҳадафҳои SLO, нақшҳо, вақт.
Рейтинг: RTO/RPO воқеӣ, сифати иртибот, дурустии дафтарча.
Retro: рӯйхати такмилҳо бо соҳибон ва мӯҳлатҳо, навсозии ҳуҷҷатгузорӣ/панели панелҳо.

11) Автоматика ва CI/CD

Дуд-бетартибӣ: санҷишҳои кӯтоҳмуддат дар ҳар як нашрия (масалан, 1 pod-kill + 200ms таъхир дар як масир).
Шабона/Ҳафта: Сенарияҳои вазнинтар (5-15 дақиқа) бо гузориш.
Дарвозаҳои Promo: агар p95/хатогиҳо> ҳадди канарӣ - худкори бозгашт.
Репозиторияҳо бо феҳристи таҷрибаҳо (YAML + runbook + SLO-ҳудудҳо).

12) Анти-намунаҳо

"Шикастани хӯрок бидуни релс": ҳеҷ гуна меъёрҳои таваққуф, занг задан § хатари ҳодисаи воқеӣ нест.
Амали яквақта ба ҷои раванд.
Бесарусомонӣ бидуни ҳолати устувор: Маълум нест, ки муваффақият/нокомӣ чист.
Ҳангоми таъхири сӯзандору аз ҳад зиёд ба даст овардани худидоракунии DD.
Нодида гирифтани тиҷорати SLI: Муваффақияти "Техникӣ" ҳангоми пардохт/фармоиш ноком аст.
Набудани соҳибони пас аз таҳлил ва такмил.

13) Рӯйхати санҷиши амалисозӣ (0-45 рӯз)

0-10 рӯз

SLI-и устуворро муайян кунед (корбар + бизнес).
Асбобро интихоб кунед (Chaos Mesh/Litmus/Toxiproxy/FIS).
Тасвирҳоро тавсиф кунед: радиуси таркиш, меъёрҳои таваққуф, тирезаҳо, нақшҳо.

11-25 рӯз

Таҷрибаҳои аввалро иҷро кунед: pod-kill, таъхири 100-200 мс дар як ҷараёни болооб, 1% бастаҳоро партоед.
Танзимоти огоҳиҳои сатҳи сӯхтан, пайвастшавӣ ба куштор бо меъёрҳои таваққуф.
Рӯзи аввалро сарф кунед, ретро ва ислоҳҳоро ҷамъ кунед.

26-45 рӯз

Илова кардани скриптҳои сатҳи/вобастагии AZ (PSP беруна, DB-lag).
Автоматикунонии бетартибиҳои шабона дар саҳна; сенарияҳои "мавсимӣ" (қуллаҳо) омода созед.
Феҳристи таҷрибаҳо ва ҳисоботи мунтазам барои менеҷмент/SRE.

14) Нишондиҳандаҳои камолот

≥ 80% хатсайрҳои интиқодӣ таҷрибаҳои тавсифшуда ва ченакҳои устувор доранд.
Вақте ки ҳадди ниҳоии p99/хатогӣ зиёд карда мешавад, гузариши худкори худкор оғоз карда мешавад.
Ҳар семоҳа - сатҳи рӯзи бозӣ AZ/минтақа; ≥ 1 маротиба/моҳ - сенарияи мақсадноки вобастагӣ.
MTTR пас аз як давраи такмилдиҳӣ коҳиш меёбад, таносуби "озод ↔ ҳодиса" коҳиш меёбад.
Таносуби қатраҳои "ғайричашмдошт" дар нокомии воқеӣ → ба сифр мерасад.
Панели панелҳо "устуворӣ" -ро ҳамчун KPI нишон медиҳанд (сатҳи сӯхтан, вақти барқароршавӣ, таносуби амалҳои бомуваффақияти DR).

15) Намунаҳои посбонҳо ва триггерҳо

Таваққуф дар: 'http _ req _ ноком> 1%' 3 дақиқа, 'p99> 1000 ms' 3 windows, 'амонат _ муваффақият <99. 5%`.
Кам кардани радиуси таркиш: бозгашти худкори манифест, баргардонидани вазнҳои GSLB, хомӯш кардани тазриқи хато.
Фармони таваққуф: тугмаи ягона/скрипт бо сабти сабабҳо.

16) Фарҳанг ва равандҳо

Хаос як қисми ритми SRE аст, на "шадид".
Ҳисоботи шаффоф, шинохти осебпазирӣ, амали ислоҳӣ.
Омӯзиши занг, тақлид кардани иртибот бо муштариён/шарикон.
Робита бо SLA/SLO ва буҷетҳо: бетартибӣ бояд эътимодро афзоиш диҳад, на халалдор кунад.

17) Хулоса

Муҳандисии бесарусомонӣ "умедро ба нинҳо" ба устувории собит табдил медиҳад. Таҳияи ҳолати устувор, ҷойгиркунӣ, шикастани хурд ва назоратшаванда, SLO ва тиҷорати SLI, сабт ва автоматикунонии такмилҳо. Он гоҳ нокомиҳои воқеӣ рӯйдодҳои назоратшаванда хоҳанд буд: RTO пешгӯишаванда, буҷаи ҳифзшуда ва омодагии даста барои бидуни ваҳм амал кардан.