Операциялар және басқару → Өзгерістерді басқару

Өзгерістерді басқару

1) Мақсаты және қағидаттары

Мақсаты: тосын оқиғалар, тоқтап қалу және реттеушілік бұзушылықтар қаупін төмендете отырып, өзгерістерді тез және қауіпсіз жеткізу.

• Predictable & Reversible: Әрбір өзгеріс жоспарланған, тексерілген және қайтарымды.
• Risk-based: бақылау тереңдігі тәуекелге байланысты (юрисдикция, ақша, PII).
• Small & Frequent: ұсақ инкременттерді бағалау және сырғыту оңай.
• Automation first: инфрақұрылым код, тесттер, валидациялар, автопроверкалар ретінде.
• Single Source of Truth: бірыңғай RFC/тикет, бірыңғай күнтізбе және әрекет журналы.

2) Қамту саласы

Өнім коды (backend/frontend, мобильді SDK).
Инфрақұрылым (IaC, Kubernetes/VM/CDN/Edge).
Деректер (ДБ, көші-қон, витриналар/ETL схемалары).
Конфигурациялар және фича-жалаулар.
Интеграциялар (PSP, KYC, ойын провайдерлері).
Қауіпсіздік және қолжетімділік саясаты.

3) Рөлдер және RACI

Өзгерістің иесі (Change Owner) - Responsible.
Релиз кураторы/RelEng - релиздік пойызды үйлестіру.
SRE/Ops - пайдалану, gate SLO/SLA.
Security/Compliance - тәуекелдерді және сәйкестікті тексеру.
CAB (Change Advisory Board) - қалыпты/жоғары тәуекелді өзгерістерді бекіту.
Бизнес стейкхолдерлері/қолдау - Informed.

4) Өзгерістерді жіктеу

Standard (үлгілік, алдын ала бекітілген): жиі, төменгі тәуекелді, дайын плейбук бойынша (мысалы, жалауды жаңарту, кілттерді ротациялау).
Қалыпты: RFC, бағалау, мүмкін CAB, тесттер мен қайтару жоспарын талап етеді.
Emergency: P1-оқиғалар үшін шұғыл фикстер; ең аз бюрократиялық жол, пост-фактум ревю/САВ.

5) Өзгерістің өмірлік циклі

1. Бастамашылық ету (RFC): мақсат, көлем, тәуекел, қозғалған сервистер/өңірлер, бэкаут-жоспар.
2. Тәуекелді бағалау: Impact × Likelihood матрицасы, SLO/комплаенс/құнға әсері.
3. Жоспарлау: терезе, тәуелділік, көші-қон, коммуникация, валидациялық тестілер.
4. Валидация: автотест, статикалық талдау, security-чек, перформанс-прогон.
5. Өрістету: прогрессивті стратегия (§ 8 қараңыз), телеметрия және гардрейл.
6. Бақылау: burn-rate SLO, алерта, бизнес-метрика (GGR/NGR, конверсия).
7. Аяқтау: ауытқулар кезінде нәтижені қабылдау, құжаттаманы жаңарту, пост-мортем.

6) RFC: ең аз құрамы

Контекст: неге өзгертеміз, әсер ету гипотезасы.
Ауқымы: жүйелер, аймақтар, клиенттердің нұсқалары.
Тәуекел: матрица және істен шығу сценарийлері, blast radius.
Өрістету жоспары: адым-адым, «жүру/тоқта» өлшемдерімен.
Кері қайту жоспары (Backout): командалар/қадамдар, іске қосу шарттары, RTO/RPO бойынша күту.
Тест-жоспар: неге дейін/кейін тексереміз (функционалдық, ойын-сауық, қауіпсіздік).
Коммуникация: кімге хабарлаймыз, хабарлама үлгілері.
Аудит: тикеттерге, коммиттерге, CI/CD артефактілеріне сілтемелер.

7) Өзгерістер күнтізбесі және терезелер

Бірыңғай күнтізбе: барлық релиздер, көші-қон, фич сөндіру, сыртқы оқиғалар (спорт/маркетинг/мерекелер).
Freeze-терезелер: ірі сатулар/чемпионаттар/ең жоғары сағаттар, салық есептілігі.
Қиылысу саясаты: бір сыни жолдар бойынша қайшылықты өзгерістерге тыйым салу.
Өңірлік толқындар: алдымен «жылы» өңірлер/төмен трафик, содан кейін - негізгі.

8) Өрістетудің техникалық стратегиялары

Canary: трафиктің аз үлесі → метриктерді салыстыру (p95 latency, error%, конверсия).
Blue-Green: параллель орта, бағытты атомарлық қайта қосу.
Progressive Delivery: автоматты тоқтату шарттары бар пайыз-роллаут.

Feature Flags: функционалдық ауыстырып қосқыштар, kill-switch, A/B

Dark Launch/Shadow Traffic: пайдаланушыларға әсер етпейтін көлеңкелерді тексеру.
Сатылы лимиттер: QPS/бәсекелестікті біртіндеп арттыру.

Гардрейлдер: p95/error% шегінен асқанда, қайтарымдардың/чарджбектердің өсуі, авторизация/депозиттердің құлдырауы кезінде автоматты тоқтату.

9) Деректер мен схемаларды өзгерту

Сыйысымдылық: көші-қонды кеңейтетін (additive) → ескі және жаңа схеманы оқитын код.
Екі фазалық көші-қон: (1) жаңа өрістерді/индекстерді қосу → (2) кодты ауыстыру → (3) ескісін жою.
Келісімшарттарды нұсқалау: Euro/Protobuf тізілімі бар схемалар; back/forward compatible.
Үлкен көлемдегі көші-қон: батчи, үзіліс, іспеттілік, чек ойындары және прогресс.
Апатқа төзімділік: RPO/RTO тесті, снапшоттар, қалпына келтіру репетициялары.
BI деректері: витриналарды/метриктерді өзгерту - MR/SR және метриктер сөздігі (ID, формула) арқылы.

10) Конфигурациялар мен құпияларды басқару

Config as Data: нұсқаланған конфигалар, схемамен валидациялау, қоршаған орта арқылы жуу.
Құпиялар: кілттерді ротациялау, ең аз артықшылықтар қағидаттары, өтініштер аудиті.
Өңірлік оверрайттар: лимиттер/әріптестер (PSP/KYC) - параметрлеу арқылы, код форкалары арқылы емес.

11) Комплаенс және аудит (iGaming-контекст)

Өзгерістер іздері: кім/қашан/не ауыстырды (жалаулар, конфигалар, маршруттар, көші-қон).
Segregation of Duties: автор, ревьюер және деплоер үшін әртүрлі рөлдер (SOX-ұқсас).
Реттеуші есептер: фикс-релиздер, есеп айырысу нұсқаларын бақылау (GGR/NGR, бонустар), PII қолжетімділікті бақылау.
Жеткізушілер: SDK/провайдерлер сертификаттарының бекітілген нұсқалары, SLA міндеттемелері.

12) Коммуникация

Хабарландыру үлгілері: шығарылғанға дейін (не/қашан/тәуекел), уақытында (статусы, трафик%, метрика), кейін (қорытындылар).
Сыртқы хабарлар: клиенттерге әсер еткен кезде баннерлер/статус-бет.
Үйлестіру: #release -war-room арнасы, шығарылым иесі, апдейт жиілігі.

13) Тиімділік метрикасы

DORA: Deployment Frequency, Lead Time for Changes, Change Failure Rate (CFR), MTTR.
SLO Impact: SLO-дағы релиздерге дейінгі/кейінгі уақыт үлесі.
Backout Rate: өзгерістердің санаттары бойынша қайтару жиілігі.
Release Debt: аяқталмаған көші-қон/« ілінген »күйдегі фич-жалаулар.
Business Impact: конверсия, KYC TTV, success rate PSP, GGR/NGR drift.

14) Қарсы үлгілер

Big-bang релиздері: бір уақытта көптеген өзгерістер - регрессияның себебін түсіну қиын.
Сыйыспайтын көші-қон: қос оқусыз өрістерді жою/қайта атау.
Иелері мен алу мерзімі жоқ жалаулар: логиканың «мәңгілік» тармақтары.
Телеметриясыз және тоқтату өлшемдерiнсiз релиздер: «көзбен» және зиянды кешiрек анықтау.
Күнтізбені елемеу: ең жоғары оқиғалармен/науқандармен қиылысу.
Плейбуксыз және аудитсіз қол қадамдары: жоғары вариативтілік және тәуекел.

15) Чек парақтары

Алдында (RFC дайындығы)

• Мақсат және KPI өзгерістері тұжырымдалған
• Тәуекел және blast radius бағаланды, өзгеріс класы таңдалды
• Орналастыру жоспары және Backout қадаммен жазылған
• Тест-жоспар және стейдж/канарда нәтижелер бар
• Коммуникациялар мен күнтізбе жаңартылды, стейкхолдерлер хабардар етілді

Домалату кезінде

• p95/error% өлшемдері, бизнес-сигналдар мен логтар нақты уақытта бақыланады
• Прогресс сатылары чек-поинттермен расталады
• Гардрейлдер іске қосылғанда - авто-тоқтату және кері қайтару

• Шығарылым қорытындылары тіркелді (changelog, нұсқалар, артефактілер)
• Ауытқулар кезінде пост-мортем (5 жұмыс күнінен ≤)
• Қарыздар (жалауларды алып тастау, соңғы көші-қон) иелерімен бірге backlog-ға енгізілген

16) Шағын үлгілер

• Мақсат/гипотеза
• Көлемі және ықпалы (сервистер, өңірлер, деректер, клиенттер)
• Тәуекел (Impact × Likelihood) және төмендету шаралары
• Тарату жоспары (қадамдар, трафик%, go/no-go өлшемдері)
• Backout-жоспары (қадамдар, RTO/RPO, деректер)
• Тест-жоспар (функционал/спектакль/қауіпсіздік)
• Коммуникация (арналар, жиілік)
• Артефактілер (тикеттер, PR, билд-нөмірлер)

• Өзгерту: "Payments-Service v2. 14 + psp_limits көші-қоны"
• Терезе: 2025-11-02 00: 00-01: 00 EET
• Қозғалған аймақтар: EU, LATAM (10% → 50% → 100%)
• Тәуекелдер/гардрейлдер: error%> 2% 10 мин - тоқта және кері қайту
• Байланыс: @Owner, @SRE -on-call, @Support -lead

• Триггерлер: p95> + 25% 10 мин, PSP success <97%
• Қадамдар: (1) traffic − → v2 үшін 0%. 14; (2) жалауларды v2-ге ауыстыру. 13; (3) снапшот/чекпойнт арқылы көші-қонның қайтуы; (4) smoke-тесттер; (5) есеп.

17) Релиздік поезбен интеграция

Release Train: бекітілген слоттар (мысалы, аптасына 2 ×), SLA merge-cut.
Hotfix саясаты: жеке пойыздар/тармақтар, жылдамдатылған жол.
Нұсқалау: semver, артефактілер мен қоршаулардағы белгілер, SBOM.

18) Қорытынды

Өзгерістерді басқару - жылдамдыққа арналған тежегіш емес, қауіпсіз жылдамдату тетігі. Тәуекелге бағдарланған жіктеу, жақсы RFC, прогрессивті тегістеу, үйлесімді деректер көші-қоны, айқын коммуникация және әсердің өлшенуі релиздерді басқарылатын, қайталанатын және аудиттелетін процеске айналдырады.