Операциялар жана башкаруу → Өзгөрүүлөрдү башкаруу

Өзгөрүүлөрдү башкаруу

1) Максаты жана принциптери

Максаты: өзгөрүүлөрдү тез жана коопсуз жеткирүү, инциденттердин, токтоп калуулардын жана жөнгө салуучу мыйзам бузуулардын коркунучун азайтуу.

• Predictable & Reversible: ар бир өзгөртүү пландаштырылган, текшерилүүчү жана кайтарылуучу.
• Тобокелдик-негизделген: көзөмөлдүн тереңдиги тобокелдикке көз каранды (юрисдикция, акча, PII).
• Small & Frequent: майда-чүйдөсүнө баа берүү жана тебүү үчүн жеңил.
• Automation first: инфраструктура сыяктуу код, тесттер, валидациялар, автопроверкалар.
• Single Source of Truth: бирдиктүү RFC/билети, бирдиктүү календары жана иш-аракеттер журналы.

2) камтуу аймагы

Продукт коду (backend/frontend, мобилдик SDK).
Инфраструктура (IaC, Kubernetes/VM/CDN/Edge).
Маалыматтар (DD схемалары, миграция, витриналар/ETL).
Конфигурациялар жана фича-желектер.
Интеграциялар (PSP, KYC, оюн провайдерлери).
Коопсуздук жана жеткиликтүүлүк саясаты.

3) Ролдору жана RACI

Өзгөртүү ээси (Change Owner) - Responsible.
Релиздин куратору/RelEng - релиздик поезддин координациясы.
SRE/Ops - иштетүү, SLO/SLA дарбазасы.
Security/Compliance - тобокелдиктерди жана шайкештикти текшерүү.
CAB (Change Advisory Board) - кадимки/жогорку тобокелдик өзгөрүүлөрдү бекитүү.
Stakholders бизнес/колдоо - Informed.

4) Өзгөрүүлөрдү классификациялоо

Standard (типтүү, алдын ала бекитилген): тез-тез, төмөн тобокелдик, даяр playbook боюнча (мисалы, желек, ачкычтарды өзгөртүү).
Нормалдуу: RFC, баа берүү, мүмкүн болгон CAB, тесттер жана кайтаруу планы талап кылынат.
Шашылыш: P1 окуялар үчүн шашылыш фикстер; минималдуу бюрократиялык жол, пост-фактум ревю/САВ.

5) Өзгөртүү жашоо цикли

1. Демилгелөө (RFC): максат, көлөм, тобокелдик, таасир эткен кызматтар/региондор, бэкаут-план.
2. Тобокелдиктерди баалоо: Impact × Likelihood матрицасы, SLO/комплаенс/наркына таасир этет.
3. Пландаштыруу: терезе, көз карандылык, миграция, байланыш, тастыктоочу тесттер.
4. Валидация: автотесттер, статикалык анализ, security-чек, аткаруу-прогон.
5. Жайгаштыруу: прогрессивдүү стратегия (караңыз § 8), телеметрия жана гардрейл.
6. Байкоо: burn-rate SLO, тобокелдик, бизнес-метрика (GGR/NGR, конверсия).
7. Аяктоо: жыйынтыкты кабыл алуу, документтерди жаңылоо, четтөөлөр болгон учурда пост-мортем.

6) RFC: минималдуу курамы

Контекст: эмне үчүн өзгөртүп, таасир гипотеза.
Диапазон: системалар, аймактар, кардарлардын версиялары.
Тобокелдик: матрица жана баш тартуу сценарийлери, blast radius.
Жайгаштыруу планы: кадам сайын, "барабыз/токтойбуз" критерийлери менен.
Кайтаруу планы (Backout): командалар/кадамдар, ишке киргизүү шарттары, RTO/RPO боюнча күтүүлөр.
Тест-план: Биз текшерип/кийин (иш, аткаруу, коопсуздук).
Байланыш: кимге кабарлайбыз, билдирүүлөрдүн шаблондору.
Аудит: билеттерге, коммиттерге, CI/CD артефакттарына шилтемелер.

7) өзгөртүү календары жана терезелер

Бирдиктүү календары: бардык релиздер, миграция, өчүрүү, тышкы окуялар (спорт/маркетинг/майрам).
Freeze терезелер: ири сатуу/чемпионат/жогорку саат, салык отчеттуулук.
Кесилиштер саясаты: карама-каршылыктуу өзгөрүүлөргө бир эле критикалык жолдор менен тыюу салуу.
Регионалдык толкундар: адегенде "жылуу" аймактар/төмөнкү трафик, андан кийин - негизги.

8) Техникалык жайгаштыруу стратегиялары

Canary: трафиктин аз үлүшү → метриканы салыштыруу (p95 latency, error%, конверсия).
Blue-Green: параллелдүү чөйрө, атомдук багытын өзгөртүү.
Progressive Delivery: Automatic Stop шарттары менен пайыздык ролл.

Feature Flags: функционалдык ачкычтар, kill-switch, A/B

Dark Launch/Shadow Traffic: колдонуучуларга таасир жок көлөкө текшерүү.
Этап лимиттери: QPS/атаандаштыкты акырындык менен жогорулатуу.

Гардрейл: p95/error% босогосунан ашканда автоматтык токтоо, кайтарымдардын/чаржбектердин өсүшү, авторизациялардын/депозиттердин төмөндөшү.

9) Маалыматтарды жана схемаларды өзгөртүү

Шайкештик: көчүрүү кеңейтүү (additive) → окуу коду жана эски жана жаңы схема.
Эки фазалуу миграция: (1) жаңы талааларды/индекстерди кошуу → (2) кодду которуу → (3) эскини алып салуу.
Контракттардын версиясы: Реестр менен Euro/Protobuf схемасы; back/forward compatible.
Чоң көлөмдөгү миграция: батчи, тыныгуу, демпотенттик, чекпойнт жана прогресс.
Кырсыкка туруктуулук: RPO/RTO сыноо, snapshot, калыбына келтирүү репетициялары.
BI маалыматтары: дисплей/метриканы өзгөртүү - MR/SR жана метрикалык сөздүк (ID, формула) аркылуу.

10) Конфигурацияларды жана сырларды башкаруу

Config as Data: версиялуу конфигалар, схема валидациясы, айлана-чөйрө аркылуу жуулат.
Сырлар: ачкычтарды айлантуу, минималдуу артыкчылыктардын принциптери, кайрылууларды текшерүү.
Аймактык оверрайттар: лимиттер/өнөктөштөр (PSP/KYC) - параметрлөө аркылуу, коддун форктору аркылуу эмес.

11) Комплаенс жана аудит (iGaming контексти)

Өзгөртүүлөрдүн издери: ким/качан/эмне (желектер, конфигалар, каттамдар, миграциялар).
Segregation of Duties: жазуучу, ревьюер жана деплоер үчүн ар кандай ролдор (SOX сыяктуу).
Регулятивдик отчеттор: фикс-релиздер, эсептешүүлөрдүн версияларын контролдоо (GGR/NGR, бонустар), PIIге жеткиликтүүлүктү контролдоо.
жөнөтүүчүлөр: SDK/провайдерлердин күбөлүктөрүнүн белгиленген версиялары, SLA милдеттенмелери.

12) Байланыш

Эскертүү шаблондору: бошотулганга чейин (эмне/качан/тобокелдик), учурунда (статус,% трафик, метрика), кийин (жыйынтык).
Тышкы билдирүүлөр: баннерлер/статус-бет кардарларга таасир этсе.
Координация: канал #release -war-room, релиз ээси, жаңылоо жыштыгы.

13) натыйжалуулугун Метрика

DORA: Deployment Frequency, Lead Time for Changes, Change Failure Rate (CFR), MTTR.
SLO Impact: бошотуу чейин/кийин SLO убакыт үлүшү.
Backout Rate: өзгөрүүлөрдүн категориялары боюнча артка чегинүү жыштыгы.
Release Debt: "илинген" абалда бүтпөгөн көчүрүү/Fich желектери.
Business Impact: конверсия, KYC TTV, success rate PSP, GGR/NGR drift.

14) Анти-үлгүлөрү

Big-bang релиздери: Бир эле учурда көптөгөн өзгөрүүлөр - бул регрессия себебин түшүнүү кыйын.
Туура келбеген миграциялар: эки жолу окулбаган талааларды алып салуу/атын өзгөртүү.
Ээлери жана алып салуу мөөнөтү жок желектер: логиканын "түбөлүк" бутактары.
Телеметрия жана токтоо критерийлери жок релиздер: "көзгө" жана кийин зыянды аныктоо.
Календарды четке кагуу: эң жогорку окуялар/кампаниялар менен кесилиштер.
playbook жана аудит жок кол кадамдар: жогорку өзгөрмөлүүлүк жана тобокелдик.

15) Чек баракчалары

Башталганга чейин (RFC даярдыгы)

• Максаты жана KPI өзгөртүүлөр түзүлгөн
• Тобокелдик жана blast radius бааланган, өзгөртүү классы тандалып алынган
• Жайгаштыруу планы жана Backout этап-этабы менен жазылган
• Сыноо планы жана Stage/Kanar натыйжалары бар
• Байланыш жана календар жаңыланды, стейкхолдерлерге билдирилди

жылдыруу учурунда

• Метриктер p95/error%, бизнес сигналдары жана логиндер реалдуу убакытта көзөмөлдөнөт
• Прогресстин кадамдары чек-поинттер менен тастыкталат
• Gardrails иштеп жатканда - auto-stop жана артка

Кийин

• Релиздин жыйынтыгы жазылган (changelog, нускалары, экспонаттар)
• Postmortem четтөөлөр (≤ 5 жумушчу күн)
• Карыздар (желектерди алып салуу, акыркы көчүрүү) ээлери менен backlog киргизилген

16) Mini үлгүлөрү

• Максаты/гипотеза
• Көлөм жана таасирлер (кызматтар, аймактар, маалыматтар, кардарлар)
• Тобокелдик (Impact × Likelihood) жана азайтуу чаралары
• жылдыруу планы (кадамдар,% жол, критерийлер go/no-go)
• Backout планы (кадамдар, RTO/RPO, маалыматтар)
• Тест планы (функционалдык/аткаруу/коопсуздук)
• Байланыш (каналдар, жыштык)
• Экспонаттар (билеттер, PR, билд-номерлер)

• Өзгөртүү: "Payments-Service v2. 14 + миграция psp_limits"
• Терезе: 2025-11-02 00: 00-01: 00 EET
• жабыр тарткан аймактар: EU, LATAM (10% → 50% → 100%)
• Тобокелдик/Gardrails: error%> 2% 10 мин - токтотуу жана артка кайтаруу
• Байланыш: @Owner, @SRE -on-call, @Support -lead

• Триггерлер: p95> + 25% 10 мин, PSP success <97%
• кадамдар: (1) traffic − → v2 боюнча 0%. 14; (2) v2 желектерди которуу. 13; (3) снапшот/чекпойнт аркылуу миграциянын кайтарылышы; (4) smoke тесттер; (5) отчет.

17) релиздик поезд менен бириктирүү

Release Train: белгиленген Slots (мисалы, жумасына 2 ×), SLA боюнча merge-cut.
Hotfix саясаты: жеке поезд/бутактары, прод тездетилген жол.
Версиялоо: semver, артефакттардагы жана чөйрөлөрдөгү белгилер, SBOM.

18) Жыйынтык

Өзгөрүүлөрдү башкаруу ылдамдык үчүн тормоз эмес, коопсуз ылдамдатуу механизми. Тобокелдик-багытталган классификация, жакшы RFC, прогрессивдүү жылдыруу, шайкеш маалымат көчүрүү, так байланыш жана таасирдин өлчөмдүүлүгү релиздерди башкарылуучу, кайталануучу жана текшерилүүчү процесске айландырат.