Ավտոմատացման գործիքներ

(Բաժին ՝ Տեխնոլոգիաներ և ենթակառուցվածքներ)

Ռուսական ռեզյումե

iGaming-ում ավտոմատիզացիան գործիքների և գործիքների համակարգային հավաքածու է, որը արագացնում է դելֆիչը (հաճախակի օրինագծեր առանց duuntaima), կայունացնում է որակը (միանձնյա ստուգումներ), նվազեցնում է միջադեպերը (SNE-ավտոմատացում) և վերահսկում արժեքը (FinOps)։ Հիմնական շերտերը ՝ CI/CD, IaC, ծրագրերի և տվյալների նվագարկումը, գաղտնիքները և քաղաքականությունը, դիտարկումը և մեքենայացումը, չաթ գործընթացները, ֆինանսական ավտոմատացումը։

1) Ավտոմատացման քարտեզը 'շերտեր և դերեր

Dev-շերտը 'ծառայությունների ձևանմուշներ, MSK/հաճախորդների ավտոմատ արտադրություն, թեստեր, ստատանալիզացիա։

Build/Rele.ru: CI փոխակրիչներ, արտեֆակտներ, բեռնարկղեր, ստորագրություններ։

Deploy/Runtime: K8s/Helm/Argo-օպերատորներ, progressivery (canary/blue-green)։

System/ETL: DAG նվագախումբը, ռուսական մոդելները, DQ/lineage։

MSE 'ավտո սկեյլ, runbooks որպես կոդ, ալտերտեր ռուսական գործողություններ։

Մոսկվա/Compli.ru: Policy-as-Code, գաղտնիքներ, աուդիտ։

FinOps: Բյուջեներ, քվոտաներ, օպտիմիզացիա։

2) CI/CD 'առաքման փոխակրիչներ

Նպատակները 'արագ, կրկնվող և անվտանգ ֆորումներ։

Տիպիկ pipeline

1. CI 'ոսպնյակներ, յունիտներ, SCA/SSA, բեռնարկղերի հավաքումը, բեռնարկղի թեստը։

2. Որակի ստուգումներ ՝ e2e/պայմանագրային թեստեր, որոնք տեղադրված են ժամանակավոր BD-ի վրա, շրջակա միջավայրի թեստ։

3. Արտեֆակտների ստորագրությունը 'պատկերներ/գծապատկերներ, հավաստագրեր (հավաքման ճանապարհը, կախվածության տարբերակները)։

4. CD 'canareced կամ blu-grine deple, SLO/metric։

5. Պրոմուշեն ՝ Dev no Stage-ը մեջբերում է Մոսկվան «կանաչ» ստուգումների կանոնով։

Օրինակ (CI հատվածը)

yaml jobs:
build-and-test:
steps:
- run: make test
- run: docker build -t registry/app:${GIT_SHA}.
- run: trivy image --exit-code 1 registry/app:${GIT_SHA}
- run: cosign sign --key $COSIGN_KEY registry/app:${GIT_SHA}

3) Ենթակառուցվածքը որպես կոդ (IaC) և ինժեներական պլատֆորմներ

Խնդիրն այն է, որ դետերմինացված է ստեղծել և նորարարել շրջապատերը։

Terraform: Կլաուդ ռեսուրսների (MSC, կլաստերներ, BD, հերթեր)։

Helm/ArgoCD-ը 'Kubernetes-ում (GitOps) դիմումների անօրինական օրինագծերը։

Ansible: VM/bastions/ռուսական դերերի կազմաձևը։

Մոդուլները և ռեյուզները 'տրամագծերի, հերթերի, գաղտնիքների, ալտերի մոդուլների գրադարան։

Terraform-2019 (գաղափարը)

hcl module "payments_db" {
source = "modules/mysql"
name  = "payments"
size  = "r6g.large"
backups = { retention_days = 7, pitr = true }
tags  = { env = var.env, owner = "platform" }
}

4) Ծրագրերի և ռելիզի ռազմավարության նվագախումբը

Ցանցային շերտը '(mTSA, retry/breaker, թայմաուտների սահմանները)։

Kubernetes: автоскейл (HPA/KEDA), PodDisruptionBudget, readiness/liveness.
Progressive delivery: Argo Rollouts/Flagger — canary, blue-green, shadow.

Գաղտնիքները ՝ External Secrets/Sealed Secrets, ռոտացիաներ։

Canary-մանիֆեստ (հատված)

yaml spec:
strategy:
canary:
steps:
- setWeight: 10
- pause: { duration: 5m }
- setWeight: 50
- analysis:
templates: [{ templateName: slo-latency-check }]

5) Տվյալների և վերլուծաբանների նվագակցումը

DAG նվագախմբերը (Airflow/անալոգներ) 'կախվածություն, retray, SLA, alerts։

Ռելեմենտալությունը 'MERGE/overwrite կուսակցություններում, «հիբրիդային նշաններ»։

DQ/Lineage: որակի ավտոմատ թեստեր, կախվածության գրաֆիկ։

Ավտոմեքենաների ձևավորումը 'էքսպոնենցիալ դադար, փոխհատուցման ջոբներ։

DAG (կեղծ) օրինակ

python with DAG("ggr_daily", schedule="0  ") as dag:
bronze = ingest_cdc("bets")
silver = cleanse(bronze)
mart  = build_mart_ggr(silver)
bronze >> silver >> mart

6) Policy-as-Code և անվտանգությունը

Նպատակը 'ավտոմատ կերպով շեղել անապահով փոփոխությունները։

OPA/Gatekeeper/Wintest 'կլաստերների և մանիֆեստների քաղաքականություն։

Պատկերների սկանը և IaC: Trivy/Nokov - CI-ում։

Գաղտնիքները 'գաղտնի արգելք մանիֆեստներում, միայն արտաքին ղեկավարների միջոցով։

RBAC ձևանմուշները 'ծառայությունների/թիմերի դերերը, cluster-admin արգելքը լռելյայն։

OPA քաղաքականությունը (գաղափարը)

rego deny[msg] {
input.kind == "Deployment"
not input.spec.template.spec.securityContext.runAsNonRoot msg:= "Containers must run as non-root"
}

7) Դիտողությունն ու ինտելեկտը (MSE)

Metricks/logs/treiss ՝ միասնական բջիջներ, կորլացիա «trace _ id»։

SLO/alerts: p95 latency, error-rate, saturation; ալերտներ 'ռունաբուկ հղումներով։

Avto-գործողությունները 'ենթատեսակների վերագործարկումը քայքայման ժամանակ, scale-out-ը հերթով, պահեստային անցումը։

Միջադեպերը որպես կոդ 'post-morthems, chek-lists, ենթատեքստ հավաքելը։

Ավտոմոբիլային (կեղծ)

yaml if: latency_p95 > 300ms for 5m do:
- scale: deployment/payments-api +3
- run: kubectl rollout restart deployment/gw
- notify: chatops#incidents

8) ChatOps-ը և ինքնատիրապետումը

Թիմերը զրույցի մեջ 'դոպլոմ/ռոլբեկ, դելֆիչ, տաքացնելով քեշը։

Գայդե Բոտ 'թիմով տալիս է ռունաբուկ և աքսեսուարներ։

Approval-vorkflow 'Ռուսաստանի համար ձեռքով խաղեր, log-ը։

Սլեշ թիմի օրինակը (գաղափարը)

/deploy payments-api --version=1.24.3 --env=prod

9) Թեստերն ու որակը 'shift-left

API պայմանագրային թեստերը (Opensumer-driven)։

DB-2019: wwww.y-run CI-ում, միգ թեստը ժամանակավոր BD/namespace-ի վրա։

Պերֆի թեստերը ՝ latency p95/p99, RPS, դեգրադացիա տարբերակից մինչև տարբերակ։

Քաոս թեստեր 'հանգույցների անջատումը, ցանցի ուշացումը, failover rutins-ը։

10) FinOps-ը և արժեքի վերահսկումը (ավտոմատիզացիան)

Քվոտաներ/լիմիտներ ՝ CPU/RAM/GPU, storage; սահմանափակել թանկարժեք դասարանները։

Ավտոսկեյլը գնով 'dev կլաստերների անջատումը գիշերը, spot-pula իրավունքները։

Budget-alerts 'ամենօրյա լիմիտներ, namespace/թիմի արժեքի զեկույցը։

Small medes/կրկնօրինակներ 'auto-կոմպակշն lake, TTL-ի համար Bronze-ի համար, լոգարանների սեղմումը։

Avto-օպտիմիզացման կանոնը (գաղափարը)

yaml if: cluster.utilization < 20% and time in [20:00-07:00]
do:
- scale: jobs/dev- to 0
- hibernate: db-nonprod

11) Անվտանգության և կոմպլենսի ավտոմատիզացիան

PII հոսքերը 'թվասետների, դիմակների, էքսպորտի արգելումը չլուծված տարածքներում։

Կախվածության սկանը 'Auto-PR-ը CVE-ի ամրագրումներով, քննադատությունների ժամանակ կոդավորման արգելափակում։

Աուդիտ 'անփոփոխ լոգներ (WORM), տվյալների/գաղտնիքների հասանելիության ամսագիր։

Լիցենզիաներ 'ստուգումներ պատկերի/քաշի/ամսաթվերի վրա մինչև դոպլոը։

12) «Տուփից» (գրադարան)

Օրինակ 'Dockerfile, Helm-chart, SLO-alerts, dashboard։

Job-шаблон: CronJob + retry/backoff + idempotency lock.

Corport: DAG + DQ թեստեր + արտադրանքի անձնագիր + lineage։

ML-ծառայություն ՝ Triton/KServe մանիֆեստ + canary + perf գեյթ։

13) Ներդրման չեկի ցուցակ

1. SLO/SLA ստանդարտը հիմնական ծառայությունների և վիտրինի համար։

2. Մուտքագրեք GitOps-ը 'բոլոր մանիֆեստները և քաղաքական գործիչները' ավանդի մեջ։

3. Ստանդարտացրեք CI/CD-ը արտեֆակտների ստորագրությամբ և բարձրորակ խաղերով։

4. Կառուցեք IaC մոդուլների գրադարանը և Helm-charts-ը։

5. Patte Policy-as-Code-ը և գաղտնիքները (ռոտացիաներ/սկոուպներ)։

6. Դիտարկումը մեքենայի գործողությունների և ձեռքերի հետ։

7. Ինտեգրեք ChatOps: Deple, ravats, alerts, վկայագիր։

8. Ավտոմատիզացրեք FinOps: Բյուջեներ, քվոտաներ, գիշերային ռեժիմներ։

9. Միացրեք անվտանգության հարդենինգը և CI-ի կոմպլեքսը։

10. Կանոնավորաբար անցկացրեք game-day-ը և քաոս թեստերը։

14) Անտիպատերնի

Ձեռքի դոպլոները և «ձյան» միջավայրերը առանց IaC-ի։

CI-ն առանց անվտանգության/կախվածության ստուգման և առանց արտեֆակտների ստորագրման։

Գաղտնիքները ռեպոզատորներում/մանիֆեստներում։

SLO/gatts-ի բացակայությունը կանարիում նշված է «ավշի վրա»։

Առանց ռելիեֆի և ռունաբուկների։

Չկա ոչ պաշտոնական/քվոտ ռուբլու անկանխատեսելի արժեք։

Արդյունքները

Լավ ավտոմատիզացիան փոփոխության փոխակրիչ արտադրությունն է, ամեն ինչ նկարագրված է կոդով, ինքնաբերաբար ստուգված և անվտանգ է։ Միացնելով CI/CD, IaC և GitOps-ը, ծրագրերի և տվյալների նվագախումբը, Policy-as-Code, MSE-Autagia և FinOps-ը, iGaming պլատֆորմը ստանում է արագ օրինագծեր, կանխատեսելի p99, կառավարվող արժեքը և ավելի քիչ գիշերային վճարումները։