Плейбуктар

1) Playbook деген эмне жана ал runbook айырмаланат

Runbook - типтүү операция/алерт үчүн сызыктуу кадам нускама ("бир, эки, үч").
Playbook - кесилиштер менен сценарийлер үчүн чечим дарагы: ар кандай белгилер → ар кандай гипотезалар → ар кандай иш-аракеттер бутактары. Тандоо критерийлерин, дарбазаларды жана fallback бутактарын камтыйт.
Playbook максаты - белгисиздик менен MTTA/MTTR жана improvization даражасын азайтуу.

2) Кайда Playbook биринчи кезекте керек

Инциденттер: SLO кулашы (availability/latency/success), бизнес-SLI ийгиликсиздиги (конверсия/төлөмдөрдүн ийгилиги).
Өзгөртүүлөр: Releases, көчүрүү, Ficha желектери, конфиги (canary/rollback).
Тейлөө терезелери: DD/брокерлерди жаңыртуу, сертификаттарды айлантуу.
Провайдерлер: PSP/KYC/CDN/IDP - деградация жана Swich Over.
Коопсуздук: бузулган ачкыч, шектүү иш.
DataOps: кечигүү сергектик, drift схемалар, пайплайн деградация.

3) Playbook стандарттары (минималдуу курамы)

1. Карта: ID, Version/Date, Ээси (команда/ролу), Кызматтар/региондор/тенанттар, Байланыштуу саясат/стандарттар.
2. Максаты жана учуруу шарттары: кандай SLO/SLI коргойт, кандай алерттерди/триггерлерди колдонууга болот.
3. Симптомдор Гипотезалар: Туура эмес гипотезаларды кантип тез кесип салуу керек.
4. Жыгач чечимдер: айрыктар, коопсуздук гейтс, токтотуу/улантуу критерийлери.
5. Иш-аракеттер: runbook 'i командалар/шилтемелер менен кадам блоктору.
6. Байланыш: Апдейт шаблон (Impact → Диагностика → Иш-аракеттер → Track. апдейт), каналдар жана жыштыктар.
7. Reboot/folback: так backout планы, лимиттер жана UX деградация желеги.
8. Аяктоо критерийлери: метриктер, убактылуу байкоо терезелери.
9. Evidence: сактоо (Логи, графика, скриншот, билеттердин ID).
10. өзгөртүү тарыхы: changelog, белгилүү чектөөлөр.

4) Playbook таксономиясы (каталогдун мисалы)

INC- инциденттер (SLO/SLI, провайдерлер, инфраструктура).
REL- - релиздер, спины, конфиги/желектери.
MW- - тейлөө терезелери (DB/queue/cert/OS).
SEC- коопсуздук (жеткиликтүүлүк, ачкычтар, шектүү аракеттер).
DATA- - сергектик/сапаты/схемалар.
PROV- - тышкы провайдерлер (PSP/KYC/CDN/Email/SMS).

5) Жашоо цикли жана ээлик кылуу

1. Демилгелөө: окуянын/симуляциянын/өзгөртүүнүн жыйынтыгы боюнча.
2. Долбоор: жазуучу = сервистин ээси; review: SRE/коопсуздук/маалыматтар (домен боюнча).
3. Учкуч: tabletop/game-day; өтүү убактысын жана кемчиликтерди бекитүү.
4. Post: репо (Docs-as-Code), версия, теги, dashboard шилтемелер.
5. Актуалдаштыруу: RCA/CAPA боюнча, чейректе жок дегенде бир жолу; SLA сергектик.
6. Архив/депрекация: актуалдуулугун алмаштырганда/жоготкондо.

6) Инструменттер менен интеграция

Alert → Playbook: ар бир Page эрежелери так бир негизги ойнотмо сөз.
ChatOps: '/play start <id> 'картаны ачат, evidence бекитет, жаңыртуу таймерлерин белгилейт.
CMDB/каталог: тиешелүү playbook тизмеси кызматы, ээлери, SLO, дашборддор.
GitOps: PlayBooks жана Runbook 'жана Git жашайт, PR Review жана Linters өтөт.

7) Playbook сапаты өлчөө

Actionability: ≥ 90% ишке "билбестиктен" эскалация жок конкреттүү иш-аракеттерге алып келет.
Time-to-first-action: биринчи маанилүү кадам үчүн Page бир-эки мүнөт.
Coverage:% Page-Alerts байланыштуу ойнотмо бар (максаты 100%).
Freshness: playbook үлүшү жаңы 90 күн.
Defect rate: 100 ойноткучтарга ревю/симуляцияларда эскертүүлөр.
Reuse: Playbook чынында канча жолу колдонулган (жана кандай натыйжаларга алып келди).

8) Анти-үлгүлөрү

"Playbook-Encyclopedia" 20 бет жыгач чечимдерди жок.
Жыйынтыкты күтпөгөн командалар ("X аткаруу" - эмне өзгөрүшү керек?).
Эч кандай backout-план жана лимиттер - көйгөйдү күчөтүү коркунучу.
Байланыш каналдары/интервалдары көрсөтүлгөн эмес - PR-тобокелдиктердин өсүшү.
Playbook ээси жок/жаңылоо датасы - эч ким анын актуалдуулугуна ишенбейт.
Ондогон окшош ойноткучтар ордуна бир параметрленген.

9) Mini Playbook шаблон (YAML идея)

yaml id: INC-PAY-001 name: "Payment Success Down"
version: 2. 4 (2025-10-15)
owner: team-payments@sre scope: [prod, region: eu, tenants: all]
goal: "Restore success_ratio ≥ 98% without violating SLA"
triggers:
- alert: slo. burn. payment_success_ratio
- external_status: psp-a partial outage symptoms:
- "5xx growth in payments-api"
- "p95 latency> 400ms on PSP-A"
decision_tree:
- if: "quorum(eu,us) confirms drop AND PSP-A status=partial"
then:
- action: "Reduce PSP-A weight to 30%"
runbook: rb://payments/traffic-shift guardrails: ["success_ratio improving 10m", "p95<300ms"]
- action: "Enable degrade_payments_ux"
runbook: rb://payments/feature-flags
- action: "Status update (30m) by template"
comms: statuspage://payments else:
- action: "Check database/cache/queue"
runbook: rb://payments/diag-stack fallback:
- action: "Failover на PSP-B 70%"
guardrails: ["fraud_rate stable", "chargeback risk noted"]
rollback:
- condition: "PSP-A green 60m"
- steps:
- "Weight of PSP-A 30→70→80 (every 30 m at green SLI)"
evidence:
- "SLI screenshots, p95/5xx graphs, links to logs/trails"
completion:
- "success_ratio ≥98% during 30 m, no burn in 6 h"

10) Даяр мисалдар (үзүндүлөр)

A) Төлөмдөр: "Провайдер бир аймакта деградацияланууда"

Симптомдору: TR-когорта success_ratio төмөндөшү, PSP-A убакыттын өсүшү

Чечимдер: TR үчүн PSP-A салмагын азайтуу, degrade-UX күйгүзүү, SLA ≤ бюджети менен ретрацияны күчөтүү, кардарлардын жаңылануусун даярдоо.
Backout: 60 мүнөт жашыл SLI менен салмагын кайтаруу.

B) БД: "өсүү p99 жана connection errors"

Белгилери: p99 ↑, каталар connection reset, өсүү wait events.
Чечимдер: read-only сценарийлерин киргизүү, write-жүктү чектөө, бассейнди/репликаларды масштабдоо, керек болсо - ысык фейловер.
Backout: параметрлерди артка кайтаруу, реплика-прайм.

C) Кэш: "Miss rate ↑ → БДга жүктөө"

Белгилери: miss rate> 40%, CPU BD өсүшү.
Solutions: eviction саясат баланстоо, эс/шардана жогорулатуу, убактылуу окуу-through күйгүзүү, ысык ачкычтар боюнча RPS чектөө.
Backout: саясатты кайтаруу, көйгөйлүү тактаны кайра түзүү.

D) CDN: "Мазмундун региондук деградациясы"

Белгилери: бир өлкөдө latency/timeout өсүшү, RUM даттануулар.
Solutions: routing map/GSLB өзгөртүү, көйгөйлүү POP айланып, TTL азайтуу, origin-shield күйгүзүү.
Comms: таасир географиясы менен статус-апдейттер.

E) KYC: "аныктоо ийгиликсиз"

Белгилери: төмөндөшү approve rate, vendor_error өсүшү.
Чечимдер: жол кыймылынын бир бөлүгүн альтернативдик провайдерге которуу, эрежелердин катаалдыгын азайтуу (саясаттын алкагында), VIP үчүн кол менен карап чыгууну баштоо.
Compliance: бардык өзгөрүүлөрдүн журналы, зарыл болгон учурда Risk/Legal эскертмелер.

11) Байланыш (жаңылыктын үлгүсү)

Impact: EU payment success drop (-3. 1% to SLO, 25 min).
Diagnosis: confirmed by quorum; PSP-A partial outage; p95 = 420ms.
Action: PSP-A weight reduced to 30%, degrade-UX included; next update 18:30 UTC.

12) Плейбук жазуучунун чек-тизмеси

• Көрсөтүлгөн максаты, ээлери, SLO/SLI жана триггерлер.
• "Гипотезалардын белгилери" таблицасы жана дарак чечимдери бар.
• Күтүлгөн натыйжалар жана коопсуздук дарбазалары менен аткарылуучу кадамдар.
• Жазылган backout/fallback жана кайтаруу шарттары.
• Байланыш үлгүсү жана жаңылоо жыштыгы.
• Dashboard шилтемелер/Алерт/лог-издөө/соода.
• Милдеттүү бөлүм evidence жана аяктоо критерийлери.
• Version, датасы, SLA сергектик, өзгөрүүлөрдүн тарыхы.

13) Чек-текшерүү тизмеси

• Playbook tabletop/оюн-күнү ойнотулат.
• Кадамдар коопсуз (лимиттер/канарейка/auto-rebound), сырлар ачыкка чыгарылбайт.
• ролу жана эскалация ачык-айкын; IC/Comms көрсөтүлгөн.
• кошуна playbuks менен эч кандай кайталоо; параметрлери берилген.
• Бул токтотуу жана fallback/rollback өтүү үчүн качан түшүнүктүү.
• Документ 1 чыкылдатуу менен алертадан жеткиликтүү.

14) Параметрлөө жана кайра пайдалануу

Өзгөрмөлөрдү (аймак, провайдер, босоголор) 'values.'

Жалпы кадамдар (мисалы, "провайдердин салмагын азайтуу", "degrade-UX киргизүү") өзүнчө runbook менен таризделет.
'plb new --type = INC --service = payments'.

15) Жол картасы киргизүү (4-6 жума)

1. Page-alerts инвентаризациялоо → ар бир негизги ойнотмо.
2. Шаблондор: YAML/Markdown түзүмүн бекитүү, чек баракчалары жана линтерлер.
3. Top 5 жагдайлар (төлөмдөр/DD/CDN/KYC/кэш) → жазуу/tabletop боюнча тебүү.
4. Интеграция: Алерт шилтемелер, ChatOps командасы, evidence бот.
5. Машыгуулар: жумалык мини-drill бир playbook; AAR → жакшыртуу.
6. SLA сергектик жана чейректик ревю; сапат көрсөткүчтөрү боюнча отчет.

16) Жыйынтык

Playbook - чечимдердин алдын ала ырааттуулугуна башаламандыкты "жана эмне кылуу керек?!" которгон жантаюулар жана тосмолор менен иштеп скрипттер. Плейбуктар стандартташтырылган, алерттер менен интеграцияланган жана үзгүлтүксүз машыгып турганда, команда тезирээк жооп берет, тобокелдиктер көзөмөлдөнөт, ал эми бизнес операциянын туруктуулугун жана жетилгендигин көрөт.