Hyzmat penjireleri

1) "Hyzmat penjiresi" näme we näme üçin zerur?

Hyzmat ediş penjiresi - elýeterlilige/öndürijilige täsir edip biljek işler üçin öňünden ylalaşylan wagt aralygy. Maksat - öňünden aýdyp boljak töwekgelçilik, aç-açan aragatnaşyk we subutnama hasabatlylygy bilen gözegçilik edilýän üýtgeşmeler.

• Planned (meýilleşdirilen): relizler, göçmek, şahadatnamalaryň/açarlaryň aýlanmagy, BD/dellallaryň täzelenmeleri.
• Gyssagly (gyssagly): gyssagly howpsuzlyk fikleri/hadysalar.
• Silent/Zero-impact: ulanyjy täsiri bolmazdan (gizlin kanareýkalar, replikalar, paralel giriş).
• Provider-led: daşarky üpjün edijileriň penjireleri (PSP/KYC/CDN/Cloud).

2) Ýörelgeler

SLO-first: penjiräniň wagty/formaty barada karar SLI-e we ýalňyşlyklaryň býudjetine täsir etmek bilen kabul edilýär.
Iň pes partlama radiusy: kanareýa → basgançakly → doly açylýar.
Yzyna gaýdyp gelmek: her bir amalyň backout-meýilnamasy we barlanan yzyna gaýtarylmagy bar.
Hakykatyň ýeke-täk çeşmesi: penjireleriň senenamasy + doly maglumat bukjasy bolan bilet/RFC.
Subutnama: evidence ýygnamak (loglar, grafikler, skrinshotlar, artefaktlaryň heşleri).
SLA boýunça aragatnaşyklar: öňünden, iş wagtynda, tamamlanandan soň.

3) Meýilnamalaşdyrmak: wagty we gurşawy saýlamak

Penjiräni saýlamak: az traffik, esasy kodlar üçin minimal impakt (sebitler/VIP/hyzmatdaşlar).
Wagt zolaklary: UTC + ýerli wagt (mysal üçin Europeewropa/Kiýew).
Blacklaut-döwürler: iň ýokary möwsümlerde/wakalarda (oýunlar, satuwlar, "ölüm penjireleri") işe gadaganlyk.
Blast radius: kime täsir etjekdigini anyk kesgitlemek (hyzmatlar, sebitler, üpjün edijiler).

4) Ylalaşmak prosesi (RFC/CAB lite)

1. Inisiator töwekgelçilik seljermesi we meýilnama bilen/RFC bilet döredýär (aşakdaky şablona serediň).
2. Töwekgelçiliklere baha bermek (Low/Med/High) we hyzmatyň eýesi tarapyndan tassyklamak + SRE/howpsuzlyk.
3. Senenama: slot bronlamak; gapma-garşylyklary barlamak (beýleki penjireler/üpjün edijiler).
4. Komm-meýilnama: öňünden ylalaşylan habarnamalar we status-sahypa.
5. Ýokary töwekgelçilikli üýtgeşmeler üçin Go/No-Go-duşuşyk (24-48 sagat).

5) Taýýarlyk: howpsuzlyk geýtleri

Başlamazdan öň barlaglar: steýjada üstünlikli synaglar, artefaktlara gol çekilip, umumy töwekgelçilikler rugsat ≤.
Kanareýa: 1% → 5% → 25% awtomatiki SLO-gardrailler we awto-yza gaýdyp gelmek.
Pese gaçmagyň baýdaklary we çäkleri taýýar.
Rollback/backout-plan gum gutusynda barlandy; yzyna gaýtarmak buýruklary resminamalaşdyryldy.
Alertleriň suppressiony: diňe garaşylýan ses üçin SLO signallary öçürilmeýär.
Elýeterliligi: JIT/JEA amallar üçin hasaplar, mandat barlagy.

6) Aragatnaşyk (taýming we mazmuny)

T-14/7/2 gün (meýilleşdirilen): müşderiler/içerki toparlar üçin heads-up (näme/haçan/täsir/aragatnaşyk).
T-60/30/15 minut: içindäki we status sahypasyndaky ýatlatmalar.
Iş wagtynda: täzelenmeler her 15-30 minutda (SEV-garaşly) şablon boýunça: Impact → Etap → Indiki täzelenme.
Soňky "Completed/Partially completed/Rolled back", üýtgeşmeleriň sanawy, SLO barlagy.

7) Işleri geçirmek (referens-ssenariýa)

1. Freeze baglanyşykly däl relizler.
2. SLI/p95/p99 metriklerine syn edýäris.
3. Ýaşyl gardreýllerde paýyň ädimme-ädim köpelmegi.
4. Biznes-SLI barlagy (konwersiýa, tölegleriň/hasaba alnyşlaryň üstünligi).
5. Çek sanawy bilen funksiýany barlamak (happy path + möhüm ssenariler).
6. Release/No-release çözgüt (IC/SRE/hyzmat eýesi).
7. Suppressiony aýyrmak, alert syýasatlaryny yzyna gaýtarmak.

8) Penjireden soň: barlamak we hasabat bermek

Observation window (mysal üçin, 1-24 sagat): SLO we ýalňyşlyklary yzarlamak.
Penjire boýunça hasabat: näme edildi, metrikler, gyşarmalar, evidence, jemi.
Kynçylyklar bar bolsa: AAR → RCA → CAPA (düzgünleriň, synaglaryň, resminamalaryň fiksi).
Arhiw: bilet, artefaktlar, gollar, gözegçilik pullary.

9) Daşarky üpjün edijiler bilen utgaşdyrmak

Üpjün edijiniň tassyklanan slotlary we aragatnaşyklary; Olaryň status-ulgamyndaky penjire.
Iş döwri üçin alternatiw üpjün edijä folbek/marşrut.
Üpjün ediji (chat/bridge) we SLA täzelenmeleri bilen bir war-room.

10) Prosesiň kämillik ölçegleri

On-time rate: wagtynda başlanan/tamamlanan penjireleriň% -i.
Change failure rate: SLO-a täsir eden penjireler%.
Incident-during-MW: penjire wagtynda bolup geçen wakalar.
Communication SLA: öz wagtynda täzelenmeleriň paýy.
Evidence completeness: Penjireleriň% -i doly subutnama bilen.
Customer impact: 1 penjire üçin şikaýatlar/biletler, trend.
7/30 günden soň: SLO durnuklylygy we gaýtalanmazlyk.

11) Çek-listler

Penjiräniň öňünde

• RFC/bilet dolduryldy; töwekgelçilik-baha bermek ýerine ýetirildi; eýesi bellendi.
• Kanarya we backout-plan barlandy; yzyna gaýtarmak buýruklary synagdan geçirildi.
• JIT elýeterliligi berildi; alertler sazlandy (SLO siňmez).
• Senenama/status-sahypa we habarnamalar taýýarlandy.
• Neşirler/bäsleşýän penjireler - doňduryldy/göçürildi.
• Üpjün edijiler tassyklandy; aragatnaşyklar we SLA hasaba alyndy.

Wagtynda

• Täzelenmeler; war-room işjeň.
• SLO/ýalňyşlyklaryň iň ýokary derejesi boýunça gardreýller berjaý edilýär; düzgün bozulan halatynda - awto-yza gaýdyp gelmek.
• Evidence ýygnalýar (skrinshotlar, grafikler öň/soň, hereket ýazgysy).

• Observation window-da ýaşyl zolakda SLO.
• evidence bilen gutarnykly hasabat; status-sahypa täzelendi.
• CAPA resmileşdirildi (eger gyşarmalar bar bolsa); resminamalar täzelendi.

12) Şablonlar

Hyzmat penjiresine RFC şablony

RFC: MW-2025-11-05-DB-Upgrade
Window: 2025-11-05 00: 00-02: 00 UTC (Europe/Kyiv 02: 00-04: 00)
Service/component: payments-db (PostgreSQL cluster A)
Type: Planned (High)
Target: Upgrade to 15. x for security/bugs
Blast radius: EU region, tenant EU, all write operations
Impact: up to 2 × p99 growth to 400 ms; short-term read-only (≤5 min)
Gardrails: error-rate <0. 5%, p99 <400 ms, SLO not impaired
План: expand→migrate→contract; canary 1 %/5 %/25%; 1..N steps (with commands)
Backout: rolling back replica/slots; TTL DNS does not change; rollback time ≤ 10 min
Suppression: noise of database/replica alerts; SLO alerts are active
Communications: T-7/T-2 days and T-60/15 minutes; war-room #mw-db-a
Owners: @ db-tl, @ sre-ic, @ payments-pm
Evidence: before/after p95/p99 graphs, migration logs, checksums
Risk: High (data) - confirmed by CAB

Müşderi habarnamasynyň şablony (gysgaça)

Topic: Planned work 05. 11. 2025 02:00–04:00 (Europe/Kyiv)
We will update the payment database. Short delays and read-only mode (up to 5 minutes) are possible.
On-call contacts: status. example. com      support@example. com

Suppression düzgünleri (ideýa)

yaml suppress:
- name: db-maintenance when: window("2025-11-05T00:00Z","2025-11-05T02:00Z")
match: [ "db. replica. lag", "db. connection. reset", "migration. progress" ]
keep: [ "slo. payment. success", "api. availability" ]

13) Düzgünleşdirilýän domenler üçin aýratynlyklar

Audit-log üýtgemez: kim tassyklady, kim ýerine ýetirdi, haýsy buýruklar, artefaktlaryň heşleri.
PII/Maliýe: evidence-de gizlenmek, hasabatlara girmegiň çäklendirilmegi.
Müşderilere we hyzmatdaşlara habar bermegiň möhletleri - şertnamalara laýyklykda.
Provaýder penjireleri - daşarky SLA we aragatnaşyklar bilen resminamalaşdyrylýar.

14) Anti-patternler

Backout-plansyz penjire.
SLO signallaryny "mümkin boldugyça" öçürmek.
Bir domen/sebitde bäsleşýän penjireler.
Komm-dymmak: "öň/wagtynda/soň" täzelenmeleri ýok.
Auditsiz we skriptsiz önümdäki el bilen düzedişler.
Üstünligiň näbelli ölçegleri sebäpli "tükeniksiz" penjireler.
"Evidence" -iň ýoklugy - hilini tassyklaýan zat ýok.

15) Durmuşa geçirmegiň ýol kartasy (4-6 hepde)

1. Ned. 1: ýekeje senenama we RFC şablonyny girizmek; bleklaut-döwürleri kesgitlemek.
2. Ned. 2: geýtleri standartlaşdyrmak (kanareýa, SLO-gardrailler, backout).
3. Ned. 3: neşirleriň suppression/düşündirişlerini we status sahypasyny awtomatlaşdyrmak.
4. Ned. 4: hasabatlylyk we kämillik ölçegleri; hepdelik MW-review.
5. Ned. 5-6: üpjün edijiler we audit-arhiw bilen integrasiýa; Ýokary töwekgelçilikli penjiräniň simulýasiýasy.

16) Jemleýji

Dogry guralan hyzmat penjireleri dolandyrylyp bilinýän, yzyna öwrülip bilinýän we subut edilip bilinjek howpsuz üýtgeşmelerdir. SLO-gardrailler, kanareýa ýaýlary, berk aragatnaşyklar we "evidence" -iň doly toplumy bilen penjire "iş wagtynyň elhenç wagtyndan" ulanyjylar we hyzmatdaşlar üçin garaşylmadyk ýagdaýda gowulaşmagyň adaty mehanizmine öwrülýär.