Оптимизатсия ва кэшкунӣ дар маҷлис

(Қисм: Технология ва инфрасохтор)

Хулосаи мухтасар

Суръати CI/CD дар IGaming ба сатҳи озодкунӣ, арзиши дақиқа ва устувории p99 дар сарбории баландтарин бевосита таъсир мерасонад. Калид кэшҳои дуруст (вобастагӣ, артефактҳо, қабатҳои контейнер, натиҷаҳои фосилавии таркиб), бунёди афзоянда ва детерминизм мебошад. Сохтмони "хуб" бо воридшавии бетағйир зуд такрор мешавад ва маъюбии кэш пешгӯишаванда ва идорашаванда аст.

1) Харитаи кэш ва он чизе ки мо кэш мекунем

Вобастагӣ: Бастаҳои NPM/pnpm, чархҳои пип/Шеър, Maven/Gradle, Go mods, қуттиҳои боркаш, NUget.
Артефактҳои эҷоди фосилавӣ: '~/.cache/pip', '~/.m2', '.gradle', '~/.cargo/registry/',' $ GOMODCACHE ',' ҳадаф/', 'node _ modules/.pnpm-store'.

Қабатҳои контейнер: Кэши қабати Docker (cache Build

Воситаҳо ва SDK: асбобҳо/микроимагҳо (JDK, гиреҳ, Python, ҳадафҳои Rustup).
Mono/polyrepo-meta: Nx/Turborepo/Bazel кэши дурдасти кэш барои вазифаҳо (lint/test/build).
Маълумотҳои санҷишӣ ва ислоҳи e2e: аксҳои пойгоҳи додаҳо, ки бо бастаҳои UI тартиб дода шудаанд.
ML/data: маҷмӯаҳои омодашуда, ҷобаҷогузорӣ, муҳаррикҳои тартибдодашуда (TensorRT/ONNX).

2) Принсипҳои ҷамъомади зуд ва пешбинишаванда

1. Детерминизм: версияҳои ислоҳкунӣ (локфилҳо), тасвирҳои пинҳонӣ, плагинҳои герметикӣ → баромади такроршаванда.
2. Idempotence: ҳамон маҷлис → ҳамон артефактҳо ва хэшҳо.
3. Афзоиш: танҳо як тағирёфтаро барқарор кунед (DAG/эҳтиёҷот/матритса/зарардида).
4. Маҳал ва "гармӣ": кэшҳо дар назди давандагон/дар феҳрист, пеш аз қуллаҳо гарм мешаванд.
5. Маъюбии возеҳ: калидҳои кэш тавассути файлҳои қулф/конфигуратсия ва ҳаши мундариҷа.
6. Гигиена: TTL/' ба охир мерасад _ дар ', тозакунии худкор, назорати андозаи кэш ва артефактҳо.
7. Амнияти занҷираи таъминот: кэш ≠ партов барои сирри; Имзои SBOM/артефакт ҳатмӣ боқӣ мемонад.

3) Docker/OCI: тасвирҳои зуд бидуни дубора насб кардан

Намунаҳо

Бисёр марҳила (бинокор → вақти корӣ).
Ҳадди ақали вақти корӣ (парешон/ubi-micro, танҳо лозим аст/ca-certs).
Тартиби қабат: аввал кам тағир меёбад (депс), баъд рамз.
'.dockerignore': истисно '.git', санҷишҳо/асбобҳо, кэшҳои маҳаллӣ.
Сохтани Kit: 'кэш-аз/ба' → кэши муштарак байни ҷойҳои корӣ ва филиалҳо.

Намунаи Dockerfile (гиреҳ + pnpm)

dockerfile syntax=docker/dockerfile:1.7
FROM node:20-bookworm AS deps
WORKDIR /app
COPY pnpm-lock.yaml./
RUN corepack enable && pnpm fetch

FROM node:20-bookworm AS builder
WORKDIR /app
COPY --from=deps /root/.cache/pnpm /root/.cache/pnpm
COPY package.json pnpm-lock.yaml./
RUN corepack enable && pnpm install --offline
COPY..
RUN pnpm build

FROM gcr.io/distroless/nodejs20 AS runtime
WORKDIR /app
COPY --from=builder /app/dist./dist
USER 10001
CMD ["dist/server.js"]

Build ‌ Kit v CI (Амалҳои Git- Hub)

yaml
- uses: docker/setup-buildx-action@v3
- uses: actions/cache@v4 with:
path: /tmp/.buildx-cache key: buildx-${{ github.ref }}-${{ github.sha }}
restore-keys: buildx-${{ github.ref }}-
- uses: docker/build-push-action@v6 with:
push: true tags: ${{ env.IMAGE }}
cache-from: type=gha cache-to: type=gha,mode=max

4) Экосистемаҳои забон: чӣ бояд кард ва чӣ гуна

Java/Котлин (Maven/Gradle)

Градл кэши дурдаст, мувофиқа, конфигуратсияи талабот.
Калиди кэш: hash 'build. градл [.kts] '+ lockfiles +' градл-парпеч. хосиятҳои '.
Барои нигаҳдории объект гиреҳи кэшро нашр кунед/HTTP.
Тартиб ва тақсимоти тестӣ аз рӯи бастаҳо.

yaml
GitLab CI cache:
key: gradle-${CI_COMMIT_REF_SLUG}
paths: [.gradle/caches,.gradle/wrapper ]
script:
-./gradlew --build-cache --parallel build

Гиреҳ. js (npm/pnpm/ришта)

Кэши мағозаи маҳаллӣ ('~/.npm', '~/.cache/pnpm'), калиди lockfile.
Nx/Turborepo дурдаст-кэш (S3/Redis) барои вазифаҳо (lint/test/build).
'turbo run build --cache-dir = .turbo' ва режими "зарардида" барои монорепос.

Питон (пип/шеър)

Чархҳои кэш + virtualenv; калиди by 'requirements. шеъри '/' қулф. қулф '.
Монтажи чархҳо дар марҳилаи алоҳида, истифодаи такрории байни матритсаҳо.
Барои васеъкунии C - 'чархи пип' + 'аудиторияи' дар тасвири бинокор.

Бирав

Кеш 'GOMODCACHE', 'GOCACHE'; нусхаҳои 'GOTOOLCHAIN '/-ро ислоҳ кунед.
Марҳилаҳоро тақсим кунед: 'go mod download' → нусхаи рамзи → 'go build'.
Барои монорелҳои калон - Bazel/Bazelisk ё 'mage' бо қабати сохташуда.

Руст

'~/.cargo/registry', '~/.cargo/git', 'target/'; sccache (дурдаст/маҳаллӣ).
Мубодилаи кэш байни шохаҳо дар 'Cargo. қулф '.

C/C + +

кэш/sccache + калид бо парчамҳои compiler ва версияҳои SDK.
Асбобҳоро дар тасвири алоҳидаи асосӣ берун кунед.

5) Базел/Нкс/Турборепо: кэши вазифа ва графикӣ

Кэши дурдасти Базел (HTTP/Cloud) - адреси муҳтаво; қатъии қатъӣ, қуттиҳои қум.
Nx/Turborepo - кэши баромади вазифаҳо ва иҷрои "танҳо зарардида" дар монорепос.
Маъюбӣ: аз воридшавии қадамҳо (файлҳо/парчамҳо/тағирёбандаҳо) вобаста аст.

6) Стратегияҳои маъюбии кэш

Калид = hash воридот: lockfiles, конфигуратсияҳои компилятор, намоёнҳо.
Маъюбии ҳалим: 'барқарор кардани калидҳо' (GHA )/префиксҳо (GLCI).
Маъюбии сахт: фазои гардиш/калид барои тағироти интиқодӣ.
Ҷудосозии қабат: вобастагӣ ба манбаъҳо - кодро бидуни шикастани вобастагии вазнин иваз кунед.

7) Бунёди афзоянда ва матритсаҳо

DAG/эҳтиёҷот: ҷаббиҳои вобастаро ба таври мувозӣ иҷро кунед, пайдарпайиро интизор нашавед.
Роҳча-филтр - триггер танҳо барои ҷузъҳои зарардида.
Санҷишҳои Shard: аз рӯи феҳристҳо/тухмӣ, давомнокии мувофиқ.
Давандагони ҳавзи гарм: тасвирҳои пешакӣ гармшуда/кэшҳо пеш аз қуллаҳо (мусобиқаҳо/маъракаҳо).

8) Артефактҳо ва кэш: то чӣ андоза фарқ мекунанд

Кэш: воридоти такрорӣ/натиҷаҳои мобайнӣ, минтақаи ифлос, TTL кӯтоҳ/миёна.
Артефактҳо: маҷлисҳои ниҳоӣ (тасвирҳо, бинарҳо, диаграммаҳо), ивазнашаванда, имзошуда, бо SBOM.
Қоидаҳо: кэш хашмгинона тоза карда мешавад, артефактҳо мувофиқи сиёсати озодкунӣ нигоҳ дошта мешаванд.

9) Мушоҳидакорӣ, KPI ва FIN

Метрҳо (аз рӯи қубур/репо):

Хит-суръати кэш (%), Warm-start vs Вақти оғози хунук, давомнокии миёна/медиании марҳилаҳо.
Арзиши як лӯла/кор, андозаи кэш/артефакт, интиқол (ҷойҳои корӣ/соат).
Ҳиссаи "зарардидагон" дар монорепо, бетағйир (партовҳо) барқарор кунед.

Огоҳиҳо:

Сатҳи хит аз ҳадди поён меафтад, вақти тасвири баланд мешавад, артефактҳо баланд мешаванд, SLO пазмон мешавад.

10) Занҷираи амният ва таъминоти кэш

Асрҳо дар кэш/артефактҳо нестанд; ниқоб гуногун, сканҳои асрори.
Амалҳои/плагинҳои берунии PIN SHA, танҳо давандагони боваринок.
Ба имзо расонидани контейнерҳо/бинарҳо (cosign), SBOM (Cyclone .DX/SPDX) ва санҷиши CD.
Ҷудокунӣ: фазои алоҳидаи кэш барои 'dev/stage/prod', танҳо ҳуқуқи хондан барои филиалҳои хориҷӣ.

11) Қолабҳои амалӣ

Амалҳои GIT Hub - Забон + Контейнер

yaml name: ci on: [push, pull_request]
concurrency: { group: ${{ github.ref }}, cancel-in-progress: true }
jobs:
build:
runs-on: ubuntu-latest steps:
- uses: actions/checkout@v4
- uses: actions/setup-node@v4 with: { node-version: '20' }
- uses: actions/cache@v4 with:
path: ~/.cache/pnpm key: pnpm-${{ hashFiles('pnpm-lock.yaml') }}
- run: corepack enable && pnpm i --frozen-lockfile
- run: pnpm build
- uses: docker/build-push-action@v6 with:
tags: ${{ env.IMAGE }}
cache-from: type=gha cache-to: type=gha,mode=max

Gitlab CI - Кэши дурдасти Gradle

yaml variables:
GRADLE_USER_HOME: ".gradle"
cache:
key: gradle-${CI_COMMIT_REF_SLUG}
paths: [.gradle/wrapper,.gradle/caches ]
build:
stage: build script:
-./gradlew --build-cache --no-daemon build artifacts:
paths: [ "build/libs/.jar" ]
expire_in: 3 days

Ҷенкинс - кэш/sccache

groovy pipeline {
agent { label 'cpp' }
environment { CCACHE_DIR = '/cache/ccache' }
stages {
stage('Build') {
steps {
sh 'ccache -M 10G'
sh 'cmake -B build -S. && cmake --build build -j$(nproc)'
}
}
}
post { always { sh 'ccache -s' } }
}

12) ML/маълумот: суръат бахшидан ба маҷлисҳои вазнин

Кэши моделҳо/ҷобаҷогузорӣ/маҷмӯаҳо дар давандагони маҳаллии NVM je; hash versioning.
Муҳаррикҳои пеш аз васлкунии TensorRT/ONNX ҳамчун артефактҳо; истифодаи такрорӣ дар хулоса.
Артефактҳои шикаста (тақсимот) барои моделҳои калон; TTL ва тозакунии таъхир.

13) Рӯйхати санҷиши амалисозӣ

1. Lockfiles ва тасвирҳои асосӣ; Фаъол сохтани Kit.
2. Қабатҳои алоҳидаи Docker: deps → рамз; илова '.dockerignore'.
3. Баланд бардоштани кэши дурдаст (Gradle/Bazel/Nx/Turbo); прокси вобастагиро оғоз кунед.
4. Танзими кэши вобастагӣ дар CI аз рӯи lockfile; дохил матритсаҳо ва 'роҳҳо-филтр'.
5. Дар монорепо сохторҳои афзоянда ва "танҳо таъсир" ворид кунед.
6. Андозагирии суръати зарба, вақти гарм/хунук, арзиш; ҳушдор диҳед.
7. Даргиронидани SBOM/имзо, рад кардани асрори кэш.
8. Пеш аз баровардани қуллаҳо кэшҳоро гарм кунед; танзими TTL/нигоҳдорӣ.
9. Ҳуҷҷати маъюбии кэш ва дафтарҳо ҳамчун "кэш шикаста".
10. Мунтазам кэшҳои "абадӣ" ва бойгонии артефактҳои вазнинро тоза кунед.

14) Антипаттернҳо

Dockerfile калон бо қадамҳои зуд-зуд тағирёбанда пеш аз насб кардани депо.
Кэши муштараки "ҷовидона" бидуни калидҳо/TTL → қоқҳо ва партовҳо.
Омезиши артефактҳо ва кэш; имзо нест/SBOM.
Версияҳои фишурдашудаи асбобҳо → "кэш аст, аммо такрор намешавад".
Матритсаҳо "барои ҳама" дар ҳар як PR; набудани 'мувофиқат. бекор кунед '.
Як даванда бидуни кэши гарм ва бе прокси вобастагӣ.

Натиҷаҳо

Оптимизатсия дар маҷлис кори систематикӣ бо кэш, афзоиш ва детерминизм мебошад. Сохтори дурусти Dockerfile, кэши дурдаст барои сохтмон, прокси вобастагӣ ва интизоми маъюбӣ қубурҳои зуд, арзон ва такроршавандаро медиҳанд. Қоидаҳои мушоҳида ва бехатариро илова кунед - ва версияҳои шумо зуд-зуд, устувор ва сарфакорона хоҳанд буд.