SLA we SLO gözegçilik

1) Adalgalar we rollar

SLA (Service Level Agreement) - müşderiniň öňündäki daşarky şertnama borçnamasydyr (jerimeler, karzlar).
SLO (Service Level Objective) - SLA-nyň ýerine ýetirilmegini goldaýan maksatly içerki hyzmat derejesi.
SLI (Service Level Indicator) - ölçenen görkeziji, onuň esasynda SLO/SLA baha berilýär.
Error Budget - "Elýeterlilik/ýalňyşlyklar" döwri üçin ýol berilýän paý: 'Budget = 1 − SLO'.
Skope: ulanyjynyň gözleri bilen ölçelýär (end-to-end). Mikroservislerde - komponentiň derejesinde-de, geçip barýan ýolda-da.

2) SLI-ni saýlamak: nämäni ölçemeli

Kriteriýa - ulanyjy tejribesi we işewürlik gymmaty bilen baglanyşyk.

• Elýeterlilik: Üstünlikli haýyşlaryň paýy. 'SLI = üstünlikli/hemmesi'.
• Gizlinlik: haýyşlaryň paýy T. bosagasyndan has çalt 'SLI = P (latency ≤ T)'.
• Hili: dogry jogaplaryň paýy (5xx/funksiýasyz). ýalňyşlyklar).
• Maglumatlaryň ýerlikliligi: replikasiýanyň/ETL-iň gijä galmagy ≤ X minut.
• Işewürlik işiniň netijeliligi: üstünlikli tölegleriň/hasaba alnyşlaryň paýy.

Anti-pattern: diňe 200-leri "üstünlik" diýip hasaplamak, iş ýalňyşlyklaryny äsgermezlik etmek; ulanyjynyň ýerine synag torunda ölçemek.

3) Gözegçilik formulalary we penjireleri

• `Availability = (OK_requests / All_requests) × 100%`.

• 'P95 ≤ T' → bölek hökmünde düzmek has gowudyr: 'SLI =% soraglar ≤ T'.
• Mysal: "Gözleg soraglarynyň 99% ≤ 28 günde 300 ms".
• Süýşýän penjire: 28 ýa-da 30 gün (duýgurlyk we durnuklylyk deňagramlylygy). Wakalar üçin - goşmaça penjireler: 1 sagat, 6 sagat, 24 sagat.

4) Error Budget we üýtgetmek tizligini dolandyrmak

Hasap: 'SLO = 99. 9% 'býudjet =' 0. Döwür üçin% 1 'ýalňyşlyk/elýeterlilik.

• Býudjet> 50%: meýilnama boýunça çykarylmalar we synaglar.
• 10-50% býudjet: diňe pes girdejili relizler, kanareýalary berkitmek.
• Býudjet <10%: relizleri doňdurmak, esasy sebäp, ygtybarlylygy ýokarlandyrmak.
• Progressiw neşirler bilen baglanyşyk: canary/feature-flags "iýýär" býudjeti dozaly, zaýalananda awto-yza gaýdyp gelýär.

5) Alert-syýasatlar: bosagadan burn rate

Näme üçin "daupal SLO - aladany galdyryň": gaty giç. Proýaktiwlik gerek.

• 'BR = (gysga penjireden syn edilen ýalňyşlyk/bu penjireden syn edilen ýalňyşlyk)'.
• Eger 'BR> 1' - býudjet kadadan has çalt sarp edilýär.

• Çalt alert (ses duýgur, betbagtçylyklary tutýar): penjire 5-10 minut, BR bosagasy 14-20 ×.
• Haýal alert (süýrenýän degradasiýalary tutýar): penjire 1-6 sagat, BR bosagasy 2-4 ×.
• Kombinasiýa şertleri: çalt ýa-da haýal işledi - jaň etmek.
• Derejeler: ulanyjy SLO-lary üçin habarçy, içerki SLI-leriň çal pese gaçmagy üçin biletler/habarnamalar.

6) Syn etmek we hakykat çeşmeleri

Logi - sebäpleri anyklamak.
Metrikler - san SLI (üstünlik/ýalňyşlyk, latentlik, paýlar, hasaplaýjylar).
Söwda - ýollar, "gyzgyn" segmentleriň lokalizasiýasy.
Sintetika - periferiýadan (region-aware) işjeň nusgalar.
Hakyky wakalar - RUM/telemetriýa, biznes-metrika (öwrülişik, üstünlikli tölegler).

Talaplar: neşirleriň we hadysalaryň daşbordlarynda bir surat, "wersiýa/kanareýa/baýdak" düşündirişleri.

7) SLO dizaýny: ädimme-ädim şablon

1. Möhüm ýoly beýan ediň (mysal üçin, "depozit kartoçka").
2. SLI kesgitläň: üstünlik/ýalňyşlyk, gizlinlik çägi, dolulyk.
3. SLO bilen ylalaşyň: 28 günlük maksat + kadadan çykmalar (meýilleşdirilen penjireler).
4. SLA bilen baglanyşdyryň: kanuny borçnama ≦ hakyky SLO.
5. Eýesini (service owner), RACI we alert kanalyny belläň.
6. Alert syýasatlaryny (iki penjireli BR) we awto-yza gaýdyşlary kesgitläň.
7. Hasabat giriziň: hepdelik býudjet synlary, wakadan soňky seslenme.
8. SLO-ny çärýekde gözden geçiriň (ýüküň/arhitekturanyň üýtgemegi).

8) SLO mysallary (şablonlar)

• Elýeterliligi: '99 ≥. 95% '(28d, yglan edilen penjireleri hasaba almazdan ≤ 30 min/aý).
• Gizlinlik: '99% ≥' ≤ 400 ms '.
• Iş amallarynyň üstünligi: '≥ 98. 5% üstünlikli ygtyýarnamalar (fraud-süzgüçler hasaba alyndy).

• Gizlinlik: '99% ≥' soraglar '≤ 300 ms'.
• Kesiň aktuallygy: '≤ 5 min' 99% ýagdaýynda yza galmak.

• Eltip bermek: '99 ≥. 9% 'içinde' ≤ 60 s '(end-to-end, retraýlar bilen).
• Ýitgi: '≤ 0. 01% 'habarlar (idempotentlik/duplikasiýa goşuldy).

9) Köp sebit we köp tenant

SLO "kogortlar boýunça": ýurt, töleg üpjün ediji, VIP-segment, enjam.
Kenaryndaky lokal SLO: Ulanyja iň ýakyn nokatlardan metrikler (edge/PoP).
Jemlemek: umumy SLO möhüm kogortlarda şowsuzlyklary gizlemeli däldir.
Üpjün edijileri üýtgetmek: SLO gates derejesinde awtomatiki fallback-marşrutlar.

10) Daşbordlar we hasabatlylyk

Reliz daşbordy: wersiýa, kanareýka (traffigiň%), SLI (üstünlik/gizlinlik), BR, baýdaklaryň düşündirişleri.
Operasiýa dashbord: burn-down býudjet gün, top-hadysalar, MTTR, problemaly kogortlar.
Hepdelik hasabatlar: býujetiň galyndysy, BR trendleri, tehniki bergi (dar ýerler), gowulaşdyrmalar meýilnamasy.

11) Prosesler: hadysalar, RCA we gowulaşmalar

Waka-dolandyryş: alert → baha BR → kanareýkalaryň/baýdaklaryň masştaby → gaýdyş/fiks.
RCA (kök sebäbi): faktlar/wagt/çaklamalar/düzedişler/SLI boýunça täsirini barlamak.
Alnan sapaklar: çilim çekmeýän post-mortemler, eýeleri we möhletleri bilen hökmany action items.
Aýlawyň ýapylmagy: synaglarda, baýdaklarda, çäklerde, keşlerde, retralarda, kwotalarda üýtgeşmeler.

12) Komplayens we audit

SLO/SLI gözegçilik artefaktlary hökmünde (policy-as-code, üýtgemeýän loglar).
Talaplara baglanyşyk (mysal üçin, töleg amallarynyň elýeterliligi).
Subutnamalar: alertleriň teswirnamalary, býudjet boýunça hasabatlar, goýberilişleriň/yzyna gaýtarmalaryň žurnallary.

13) Ýygy-ýygydan ýalňyşlyklar we olardan nädip gaça durmaly

“99. 99% ýa-da ölüm": ýetip bolmajak maksatlar → hemişelik alert-ses. Hakyky SLO saýla.
Global orta ýerli şowsuzlyklary gizleýär → kogortlary girizmek.
e2e däl metrikler: müşderide hakyky pese gaçanda ýokary SLO → RUM/sintetika goşuň.
Alertler bir bosagada → iki penjireli burn rate geçiň.
Üýtgeşmeler bilen baglanyşyk ýok → neşirler düşündirilmedi, awto-yza gaýdyp gelmek ýok.

14) Ornaşdyrmagyň kiçi çek-sanawy

• Möhüm ýollar we olaryň SLI/SLO-lary beýan edilýär.
• Gözegçilik we kadadan çykma penjiresi berildi.
• Iki penjireli BR-alertler sazlandy (çalt we haýal).
• Wersiýalaryň/baýdaklaryň düşündirişleri bilen çykyşlaryň we amallaryň daşbordlary.
• Error budget syýasaty neşirlere täsir edýär.
• Yzygiderli býudjet synlary we wakadan soňky RCA.
• Resminamalar we görkezijileriň eýeleri.

15) Hasaplamanyň mysaly (aýratynlygy)

API elýeterliliginiň SLO: 99. 28 gün üçin 9% → býudjet = 0. 1%.
7 günüň içinde toplandy 0. Ýalňyşlyklaryň 06% -i → hepdelik býudjetiň 60% -i sarp edildi.
15 minutlyk gysga penjirede ýalňyşlyklaryň 2% -i bolýar. Bu penjirede geçerli: '0. 1% × (15 min/40320 min) ≈ 0. 000037%`.
Burn Rate ≫ 1 (onlarça ×) → çalt habarçy işleýär, kanareýa 1% -e çenli yza gaýdýar, "degrade-payments-UX" fika baýdagy açylýar, RCA işe girizilýär.

16) Jemleýji

SLA/SLO-nyň gözegçiligi diňe hasabatdaky sanlar däl, eýsem, üýtgeşmeleriň töwekgelçiligini we hyzmatyň hilini dolandyrmagyň mehanizmidir. Dogry SLI, hakyky SLO, error budget dolandyryşy, iki penjireli burn-rate alertleri we e2e-syn etmek metrikleri iş çözgütlerine öwürýär: gymmaty has çalt çykarmak we ulanyjy tejribesini öňünden aýdyp bolar.