Грациоздук деградация

1) Мамиленин маңызы

Грациоздук деградация - бул ресурстардын жетишсиздиги, көз карандылыктын бузулушу же жүктүн туу чокулары менен системанын жөнөкөй, бирок пайдалуу режимге башкарылуучу өтүшү. Максаты - колдонуучу үчүн баалуулук өзөгүн жана платформанын туруктуулугун сактап калуу, экинчи даражадагы мүмкүнчүлүктөрдү жана сапатты курмандыкка чалуу.

• Алдын ала: алдын ала аныкталган жагдайлар жана "тепкичтер" деградация.
• Радиусту чектөө: fich жана көз карандылыкты изоляциялоо.
• Байкоо: метрика, Логи жана Tracking "деградация деъгээли активдүү жана эмне үчүн".
• Артка кайтаруу: нормалдуу тез кайтып.

2) Принциптер жана чек аралар

1. Эң негизгиси: негизги SLA/SLO (мисалы, "сатып алуу", "логин", "издөө") - экинчи даражадагы (аватарлар, сунуштар, анимациялар).

• Коопсуздук, төлөмдөр, укуктар - fail-closed (бузууга караганда жакшы баш тартуу).
• Кэшбэк мазмуну, кеңештер, аватарлар - фолбэк менен fail-open.
• 3. Убактылуу бюджеттер: таймауттар жогору-төмөн (кардар <шлюз <кызмат). Кийин - түбөлүккө ретрациялардын ордуна деградация.
• 4. наркын контролдоо: деградация жөн гана каталарды "жашыруу" эмес, CPU/IO/тармак керектөөнү азайтуу керек.

3) Деградациянын деңгээли

3. 1 Кардар/UX

Skeletons/Playsholders жана "жалкоо" кошумча widget жүктөө.
Partial UI: критикалык блоктор жүктөлөт, экинчилик блоктор жашырылат/жөнөкөйлөтүлөт.
Кэш кардар тарапта: last-known-good (LKG) деген белги менен "маалыматтар эскириши мүмкүн".
Оффлайн режими: командалардын кезеги кийинчерээк кайталанып турат (демпотенттүүлүк!).

3. 2 Edge/CDN/WAF/API-шлюз

stale-while-revalidate: кэш беребиз, фонунда жаңылайбыз.
Rate limiting & load shedding: ашыкча арткы/жашыруун жол ыргытып жатканда.
Геофенция/салмактуу роутинг: трафик жакынкы дени сак аймакка алып барат.

3. 3 Тейлөө катмары

Partial response: берилиштердин бир бөлүгүн + 'warnings'.
Read-only режими: мутацияларды убактылуу тыюу (желектер).
Brownout: ресурстарды көп талап кылуучу нерселерди убактылуу өчүрүү (сунуштар, байытуу).
Adaptive concurrency: динамикалык параллелизмди азайтуу.

3. 4 Маалыматтар/агымы

TTL менен чындыктын булагы катары кэш (убактылуу): "эч кандай жакшы".
Моделдин/алгоритмдердин тактыгын төмөндөтүү (fast path vs accurate path).
Defer/queue: фон оор милдеттерди өткөрүп берүү (outbox/job queue).
Артыкчылыктуу кезектер: маанилүү окуялар - өзүнчө класста.

4) "тепкич" деградация (playbooks)

• L0 (норма) → L1: жашыруу жекелештирүү жана баннерлер → L2: өчүрүү синонимдер/Phaszy-издөө → L3: 300 ms чейин жооп жана убакыт өлчөмүн чектөө → L4: кэш жыйынтыктарын берүү 5 мүнөт → L5: "read-only & cached only" + кайра эсептөө үчүн суроо кезек.

• Триггерлер: ашыкча CPU> 85% p95> максаттуу, ката> босого, лаг Kafka> босого, көз карандылыгы.
• Иш-аракеттер: X желегин күйгүзүп, N concurrency азайтуу, Y булагы кэш которуу.
• Чыгуу критерийлери: 10 мүнөт жашыл метрика, ресурстар боюнча запас.

5) Чечим кабыл алуу саясаты

5. 1 Туура эмес бюджет жана SLO

brownout/shedding триггер катары error-budget burn rate колдонуу.
Саясат: "эгерде burn-rate> 4 × 15 мүнөттүн ичинде - L2 деградациясын күйгүзүү".

5. 2 Admission control

p99 кепилдик жана кезектердин кыйрашына жол бербөө үчүн критикалык жолдордо кирген RPS чектөө.

5. 3 Артыкчылыктуу

Класстар: interactive> system> background.
Per-tenant артыкчылыктары (Gold/Silver/Bronze) жана адилеттүүлүк (fair share).

6) Үлгүлөр жана сатуулар

6. 1 Load shedding (Server)

Суроо-талаптарды алар бардык ресурстарды ээлегенге чейин ыргытыңыз.
Кайтаруу '429 '/' 503' менен 'Retry-After' жана саясат түшүндүрмө (кардарлар үчүн).

Envoy (adaptive concurrency + circuit breaking)

yaml typed_extension_protocol_options:
envoy. filters. http. adaptive_concurrency:
"@type": type. googleapis. com/envoy. extensions. filters. http. adaptive_concurrency. v3. AdaptiveConcurrency gradient_controller_config:
sample_aggregate_percentile: 90 circuit_breakers:
thresholds:
- max_requests: 2000 max_pending_requests: 500 max_connections: 1000

6. 2 Brownout (убактылуу жөнөкөйлөтүү)

Идея: "жарыктыгын" азайтуу (наркы) fich, качан ресурстары түгөнүп жатат.

kotlin class Brownout(val level: Int) { // 0..3 fun recommendationsEnabled() = level < 2 fun imagesQuality() = if (level >= 2) "low" else "high"
fun timeoutMs() = if (level >= 1) 150 else 300
}

6. 3 Partial жооп жана эскертүү

json
{
"items": [...],
"degradation": {
"level": 2,
"applied": ["cache_only", "no_personalization"],
"expiresAt": "2025-10-31T14:20:00Z"
}
}

6. 4 Stale-while-revalidate четинде (Nginx)

nginx proxy_cache_valid 200 10m;
proxy_cache_use_stale error timeout http_500 http_502 http_504 updating;
proxy_cache_background_update on;

6. 5 Read-only Switch (Kubernetes + желек)

yaml apiVersion: v1 kind: ConfigMap data:
MODE: "read_only"

The code should check MODE and block mutations with a friendly message.

6. 6 Kafka: backpressure жана кезек класстары

Heavy-консумерлерди кичине 'max. poll. records ', өндүрүштүн батч-жана чектөө.
"Критикалык" жана "булк" окуяларды топиктер/квоталар боюнча бөлүңүз.

6. 7 UI: graceful fallback

"Оор" виджеттерди жашыруу, кэш/скелетти көрсөтүү жана эскирген маалыматтарды так белгилөө.

7) Конфигурациялык мисалдар

7. 1 Istio: outlier + артыкчылыктуу бассейндер

yaml outlierDetection:
consecutive5xx: 5 interval: 10s baseEjectionTime: 30s maxEjectionPercent: 50

7. 2 Nginx: арткы жол бычак биринчи

nginx map $http_x_priority $bucket { default low; high high; }

limit_req_zone $binary_remote_addr zone=perip:10m rate=20r/s;
limit_req_status 429;

server {
location /api/critical/ { limit_req zone=perip burst=40 nodelay; }
location /api/background/ {
limit_req zone = perip burst = 5 nodelay; # stricter
}
}

7. 3 Feature flags / kill-switches

динамикалык конфигурациясында сактоо (ConfigMap/Consul), релизи жок жаңыртуу.
Пер-фич жана глобалдык желектерди бөлүп, активдештирүү логин.

8) Байкоо

8. 1 Метрика

'degradation _ level {service}' - учурдагы деңгээл.
'shed _ requests _ total {route, reason}' - канча ыргытылган жана эмне үчүн.
'stale _ responses _ total' - канча кэш берилген.
`read_only_mode_seconds_total`.
`brownout_activations_total{feature}`.
Туура эмес бюджет: burn-rate, SLO бузуулардын үлүшү.

8. 2 Трейсинг

Span атрибуттары: 'degraded = true', 'level = 2', 'reason = upstream _ timeout'.
куйруктарынын салымын көрүү үчүн Retra/Hedged-суроолор ортосундагы шилтемелер.

8. 3 Логи/Алерт

Өзгөрүүлөрдүн себептери жана ээси менен деградациянын деңгээлин өзгөртүү окуялары.
"жабышуу" деъгээлинде Алерта (бузулуу өтө узакка созулат).

9) Тобокелдиктерди башкаруу жана коопсуздук

маалыматтардын аутентификациясын/авторизациясын/бүтүндүгүн начарлатпаңыз: жакшы баш тартуу.
PII жашыруу ар кандай режимде сакталат.
Финансы/төлөмдөр: бир гана демпотенттик операциялар, катуу таймауттар жана кайтарымдар; күмөн санаганда - read-only/hold.

10) Анти-үлгүлөрү

Колдонуучуга кеңешсиз жана телеметриясыз тынч деградация.
Retray бороон ордуна жүктөө shedding жана кыска убакыт.
Global "рубильники" жок сегментация - чоң blast radius.
Бир кэш/кезек менен "жеңил" жолдорду аралаштыруу.
Түбөлүк деградация: "жаңы норма" катары brownout, унутулган чыгуу критерийлери.
Stale-write: эскирген маалыматтардын негизинде жазуу аракети.

11) Киргизүү чек-тизмеси

• Баалуулуктун өзөгү жана критикалык колдонуучу сценарийлери аныкталган.
• Триггерлер жана чыгуулар менен кызматтар/домендер боюнча деградация тепкичтери түзүлдү.
• Киргизилген убакыт/чектөөлөр жана server-side load shedding.
• Rate limits жана артыкчылыктуу трафик класстары.
• Партиялык жооп, read-only, stale-while-revalidate ишке ашырылган.
• Аудит менен feature flags/kill-switches интеграцияланган.
• Metrics/Trading/Алерт деградация жана себептери үчүн.
• Үзгүлтүксүз game day машыгуу менен симуляция ашыкча/каталар.
• SLO жана error-budget → деградация саясаты документтештирилген.

12) FAQ

Q: Качан тандоо brownout, жана качан - shedding?
A: Максаты болсо - эч кандай баш тартуу суроо наркын азайтуу - brownout. максат болсо - да жөнөкөйлөтүү жардам бербейт, системаны коргоо - shedding кирүү.

Q: Деградация жөнүндө колдонуучуга билдирүү керекпи?
A: критикалык жагдайлар үчүн - ооба (белги "чектелген режим"). Ачык-айкындуулук колдоо жана нааразычылыкты азайтат.

Q: кэш чындыктын булагы болушу мүмкүнбү?
A: Убактылуу - ооба, айкын SLA жана эскирүү белгилери менен. Мутациялар үчүн - тыюу салынат.

Q: Кантип "сынган" retrains жок?
A: Кыска убакыт, Jitter менен экспоненциалдык backoff, демпотенттик жана аракет чеги; retrait гана коопсуз иш.

13) Натыйжалары

Грациоздук деградация - бул архитектуралык контракт жана метриканын жана туура эмес бюджеттин сигналдары боюнча киргизилген башкарылуучу иштөө режимдеринин жыйындысы. Туура иштелип чыккан тепкичтер, катуу таймауттар жана шеддинг, кэш-фолбэктер жана brownout, плюс күчтүү байкоо - жана сиздин платформа да бороон-чапкын учурунда пайдалуу жана үнөмдүү бойдон калууда.