Apteimi yzarlamak

1) Näme üçin aptaime gözegçilik etmeli?

Aptime - hyzmat ulanyja elýeterli bolan wagtyň paýy. Bu syn etmegiň "birinji ugry": elýeterliligiň, toruň zaýalanmagynyň, DNS/TLS şowsuzlygynyň, marşrut meseleleriniň ýa-da CDN-iň derrew duýulmagy. Ýokary ýüklenen we düzgünleşdirilýän ulgamlar (fintech, iGaming) üçin aptaim girdejä, SLA-nyň ýerine ýetirilmegine we jerime töwekgelçiligine gönüden-göni täsir edýär.

2) Adalgalar we formulalar

SLI elýeterliligi: 'SLI = (üstünlikli barlaglar/ähli barlaglar) × 100%'.
SLO: penjiräniň aňyrsynda maksatly elýeterlilik (adatça 28-30 gün), mysal üçin 99. 9%.
SLA: daşarky borçnama; elmydama içerki SLO ≤.
MTBF/MTTR: şowsuzlyklaryň arasyndaky ortaça wagt/ortaça dikeldiş wagty.

99. 0% → ~ 432 minutlyk elýeterlilik

99. 9% → ~ 43 minut

99. 99% → ~4. 3 minut

99. 999% → ~ 26 sek

3) Haýsy barlaglar zerur (gara guty)

Hyzmaty "müşderiniň gözi bilen" görmek üçin daşarky nokatlardan (dürli sebitler/üpjün edijiler) işe girizilýär.

1. ICMP (ping) - esasy tor/düwün elýeterliligi. Çalt, ýöne işewürlik üstünligini görkezmeýär.
2. TCP connect - port diňleýär? Brokerler/DB/SMTP üçin peýdalydyr.
3. HTTP/HTTPS - status-kody, sözbaşylary, ululygy, redaksiýalary, ilkinji baýta çenli wagt.
4. TLS/şahadatnamalar - hereket ediş möhleti, zynjyr, algoritmler, SNI, teswirnamalar.
5. DNS - A/AAAA/CNAME, NS-saglyk, paýlanyş, DNSSEC.
6. gRPC - jaň ýagdaýy, deadline, meta-maglumatlar.
7. WebSocket/SSE - el çarpmak, baglanyşygy saklamak, habaryň ýaňlanmagy.
8. Proxy/routing/CDN - dürli PoP, kesh heş synagy, geo-wariantlar.
9. Geleşik sintetiki ssenariýalary (klik/formalar): "login → gözleg → goýum (sandbox)".
10. Heartbeat/cron-monitoring - hyzmat "urmaga" borçludyr (her N minutda bir gezek); signal ýok - duýduryş.

• Taýmutlary hakyky UX-a has ýakyn goýuň (mysal üçin TTFB ≤ 300 ms, total ≤ 2 s).
• "200 OK" ýalňyşlyk bilen üstünlik gazanmaz ýaly mazmuny (açar söz/JSON) barlaň.
• Garaşsyz üpjün edijiler we ulgamlar (multi-hop, dürli ASN) arkaly barlaglary köpeldiň.

4) Ak guty we hyzmatyň saglygy

Orkestrator üçin Liveness/Readiness synaglary (prosesler janly? traffigi kabul etmäge taýýar?).
Endikleriň saglygy: DB, nagt pul, waka brokeri, daşarky API (tölegler/KYC/AML).
Ficha-baýdaklar/pese gaçmak: kynçylyklar ýüze çykan halatynda kritiki däl ýollary ýumşaklyk bilen öçürýäris.

Ak nusgalar daşarky barlaglaryň ornuny tutmaýar: hyzmat "içerde sagdyn" bolup biler, ýöne DNS/TLS/ugry sebäpli ulanyjy üçin elýeterli däl.

5) Geografiýa we köp sebitlilik

Traffigiň esasy sebitlerinden we möhüm garaşlylyk üpjün edijileriniň ýanynda sintetikany işe giriziň.
Kworum: ýerli anomaliýalary kesmek üçin N ≥ sebitlerde (mysal üçin 3-den 2-si) şowsuzlyk ýüze çyksa, hadysany ýazga alýarys.
Kogortlar boýunça çäk: möhüm segmentler (ýurtlar, VIP, aragatnaşyk operatorlary) üçin aýratyn SLI/SLO.

6) Alertleriň syýasaty (iň az ses)

Köp sebit + köp synag: habarçy diňe ylalaşylan şowsuzlykda (mysal üçin, HTTP we TLS bir wagtda, ≥ 2 sebit).
Debauns: Yzygiderli şowsuzlyklaryň N ýa-da penjire 2-3 minut öň.

• L1: on-call (production-services).
• L2: şowsuzlygyň alamatyna baglylykda tor/platforma/howpsuzlyk.
• Awto-ýapylyş: durnukly M üstünlikli barlaglardan soň.
• Asuda sagatlar/ýeňillikler: möhüm däl içerki hyzmatlar üçin - diňe habarnamalar, habarçy ýok.

7) Status-sahypa we aragatnaşyk

Jemgyýetçilik (müşderi) we hususy (içerki) status-sahypalary.
Sintetikadan awtomatiki hadysalar + el düşündirişleri.
Habar şablonlary: tapyldy - kesgitlenildi - täsir - aýlanyp geçýän ýol - ETA - çözüldi - post-mordem.
Meýilleşdirilen penjireler: öňünden yglan etmek, SLO-dan aýratyn hasaba almak.

8) Daşarky garaşlylygy hasaba almak

Her bir üpjün ediji üçin (tölegler, KYC, poçta, CDN, bulutlar) - birnäçe sebitlerden öz barlaglary.
Failover-marşrutlar: sintetikanyň signaly boýunça alternatiw üpjün edijä awto geçiş.
Üpjün ediji derejesinde aýratyn SLO we integral e2e-SLO.
Üpjün edijiler bilen SLA barada ylalaşyň (status-webhuklar, goldaw ileri tutulýan ugur).

9) Daşbordlar we esasy widjetler

Barlaglaryň ýagdaýy bilen dünýä kartasy (HTTP, DNS, TLS).
Relizleriň/baýdaklaryň düşündirişleri bilen wakalaryň wagty.
P50/P95/P99 boýunça TTFB/TTL/latency.
Kogortlar boýunça elýeterlilik (ýurt/üpjün ediji/enjam).
MTTR/MTBF, bir aýyň içinde elýeterlilik býudjetiniň "iş wagty" we "burn-down" tendensiýalary.
Şowsuzlygyň esasy sebäpleri (TLS-expiry, DNS-resolving, 5xx, timeouts).

10) Waka prosesi (gysga möhletli ssenariýa)

1. Köp sebit/köp görnüşli alert işleýär.
2. Nobatçy tassyklaýar, goýberilişleriň doňdurylmagyny öz içine alýar, eýelerine habar berýär.
3. Çalt diagnostika: DNS/TLS/CDN ýagdaýy, iň soňky neşirler, ýalňyşlyklaryň tertibi.
4. Aýlanyp geçmek: marşruty üýtgetmek, folbek-mazmun/üpjün ediji, zaýalanma re modeimini açmak.
5. Dikeldiş: sintetikanyň/hakyky traffigiň ýaşyl bolandygyny barlamak.
6. Status-sahypadaky aragatnaşyk; wakanyň ýapylmagy.
7. RCA we action items: düzedişler, synaglar, aladalar, oýunlar.

11) SLA/SLO boýunça hasabat

Aýlyk hasabatlar: hyzmatlar/sebitler boýunça aptaim, iş wagty, MTTR, sebäpler.
SLA bilen deňeşdirme: Eger ulanylsa, karzlar/öwezini dolmalar.
Çärýekleýin gykylyk: çäkleri täzelemek, sintetikany paýlamak, endikleriň sanawy.

12) Barlaglaryň şablonlary (mysal)

• Usul: 'GET/healthz/public' (syrsyz).
• Wagt: 2 s, retry: 1.
• Üstünlik: '2xx', 'X-App-Version' sözbaşy bar, JSON 'status': 'ok'.

• Möhlet> 14 gün, walid zynjyry, protokollar 'TLS 1. 2 + ', dogry SNI.

• Jogap wagty ≤ 100 ms, A/AAAA ýazgylary meýilnama laýyk gelýär, SERVFAIL/REFUSED ýok.

• Webhuk '/beat/{ service} 'her 5 minutda bir gezek; yzly-yzyna 2 signalyň ýoklugy - alert L2 (fon meseleleri/ETL).

13) Girizmegiň çek-sanawy

• Köp sebitli daşarky barlaglar (HTTP/TCP/DNS/TLS/çuňňur ssenariler).
• Orkestrator üçin ak readiness/liveness synaglary.
• Kritiki/kritiki däl ýollaryň bölünmegi, degradasiýa baýdaklary.
• Alertlerde kworum we debauns, eskalasiýa we awto-ýapylmalar.
• Jemgyýetçilik we içerki status sahypalary, habar şablonlary.
• Daşarky üpjün edijiler üçin aýratyn barlaglar we SLO + awtomatiki failover.
• Daşbordlar: kartoçka, taýmline, burç, iş wagty, MTTR/MTBF.
• SLA/SLO we wakadan soňky RCA boýunça yzygiderli hasabatlar.

14) Ýygy-ýygydan ýalňyşlyklar

Diňe NTTR/mazmunsyz ping/port - hakyky elýeterli bolmadyk ýagdaýynda "ýaşyl".
Gözegçiligiň bir nokady - ýalan oňyn/negatiw netijeler.
TLS/DNS gözegçiliginiň ýoklugy - gijikdirme/diskonfig sebäpli duýdansyz iş kesilmegi.
Goşmaça ses: bir sebitden/barlag görnüşinden ýekeje şowsuzlyk boýunça alertler.
Üýtgeşmeler bilen baglanyşyk ýok - dashbordlarda neşirleriň we baýdaklaryň düşündirişleri ýok.
Hasaba alynmadyk garaşlylyk - töleg üpjün edijisi ýykyldy, umumy statusy bolsa "ýaşyl".

15) Jemleýji

Apteimi yzarlamak diňe "URL-i göçürmek" däl. Bu hakyky sebitlerden sintetiki barlaglaryň ulgamy, sessiz paýhasly aladalar, status-sahypalar arkaly aç-açan aragatnaşyk, daşarky garaşlylygy hasaba almak we berk hasabat bermek. Dogry gurlan dermanhana gözegçiligi MTTR-ni azaldýar, SLA-ny goraýar we ulanyjy tejribesiniň öňünden aýdylýandygyny saklaýar.