Жалпы есептеу ресурстары

1) «Жалпы есептеу ресурстары» дегеніміз не?

Жалпы есептеу ресурстары (ЖТҚ) - бұл стандартты интерфейстер, саясат және экономика арқылы көптеген рөлдерді (әзірлеушілер, торап операторлары, деректер/контент провайдерлері, талдаушылар, ML-командалар) ұсынатын логикалық бірыңғай CPU/GPU/жад/диск/желі/DA (data availability) пулы ынталандыру. Мақсаты - кәдеге жаратуды арттыру, шығындарды азайту және мультиаренділік пен тізбекаралық сценарийлер кезінде болжамды өнімділікті қамтамасыз ету.

2) Ресурстардың таксономиясы

Есептеулер: CPU (жалпы мақсаты), GPU (оқыту/инференс), NPU/TPU (ML-үдеткіштер).
Жад және дискілер: RAM, жергілікті NVMe, объектілік/блоктық сақтау орны, кэштер (Redis/KeyDB).
Желі: өткізу қабілеті, egress/ingress, QoS сыныптары, жеке арналар.
Деректер және DA: жариялауға, репликациялауға, снапшотқа және дәлелдемелерді сақтауға арналған квоталар.
Қызметтік лимиттер: тұғырлардың/контейнерлердің, ашық файлдардың, дескрипторлардың, GPU-микробөлудің (MIG) саны.

3) Тұтыну модельдері (workload types)

Онлайн/төмен кідіріс: API, матчинг, ойын/финтех контурлары, кросс-чейн мессенджинг.
Стриминг/реал-тайм: оқиғаларды өңдеу, анти-фрод, телеметрия, real-time аналитика.
Batch: ETL/ELT, есептілік, мерзімді есептеулер, фич дайындау.
ML/AI: оқыту (GPU-қарқынды), инференс (төмен кідіріс/жоғары конверсия).
Сақтау орындары мен кэштер: OLTP/OLAP, lakehouse, CDN/edge кэш.

Әр сынып үшін SLO, басымдықтар, оқшаулау және тарифтер қойылады.

4) Оркестрлеу және жоспарлау

QoS басымдығы және сыныбы бойынша шедулинг: «мерзімінен бұрын» үшін EDF/LLF, басым кезектер, кепілдік берілген «минимумдар».
Ресурс сұраулары: 'requests/limits' CPU/Memory үшін, GPU-квоталар мен үлестер, үнемдеу үшін preemptible/spot-пулдар.
Анти-шу: cgroup/өтемақы «noisy neighbor», NUMA-пиннинг, желілік полистер.
Топологиясы және орналасуы: деректер мен есептеулердің co-location, affinity/anti-affinity, edge-байлам.
Автоматты масштабтау: көлденең (HPA), тік (VPA), кластерлік (CA), GPU/DA батчаларына арналған автопилот.

5) Мультиаренділік және оқшаулау

Уровни: namespace→project→org (budget/quotas/ACL).
Оқшаулау: контейнерлер, VM, құмсалғыштар (gVisor/Firecracker), желі (VPC/NetworkPolicy), сақтау орындары (CSI-полистер).
Шуды азайту саясаты: IOPS/egress лимиттері, «fair-share» жоспарлау, сындарлы сервистер үшін dedicated-тиерлер.
Қателер/ресурстар бюджеттері: авто-деградациясы бар per-tenant error budget және resource budget.

6) QoS, басымдылығы және SLO/SLA

QoS кластары: Q4 (критикалық-pealtime), Q3 (реттелген), Q2 (exactly-once-тиімді), Q1 (at-least-once), Q0 (best effort).
SLO-мысалдар: p95 latency API ≤ 200 мс (Q4), GPU-күту кезегі ≤ 2 мин (Q3), T терезесіне batch ≤ 30 мин (Q1).
QoS → ресурстар шарты: әрбір сыныпқа кепілдік берілген квоталар мен авариялық «тоқтату крандары» бекітіледі.

7) Экономика және монетизация (биллинг/ынталандыру)

Тарифтеу бірліктері: vCPU-сек, GiB-RAM сағаты, GPU-минут, GB-storage-ай, GB-egress, DA-байт/жариялау.
Тарифтік жоспарлар: pay-as-you-go, квоталармен және артық шығыстармен жазылулар, резервациялар (commit), жеңілдіктермен spot/preemptible.
Темір/дата-орталықтар провайдерлері үшін RevShare: айналым үлесі, SLA-бонустар/айыппұлдар.
Қуат базары: тораптар/кластерлер листингі, сапа рейтингтері, GPU слоттарының аукциондары.

• U-токен - квоталарды/лимиттерді, жеңілдіктерді төлеу.
• S-токен - SLA тораптары/пулдары бар кепілдер (тоқтап тұрғаны/бұзылғаны үшін слэшинг).
• R-токен - провайдердің/жалға алушының беделі (баға/басымдық модификаторы).
• RNFT-келісімшарттар - «ресурс-міндеттеме» жеке шарттары (лимиттер, баға, мерзім, KPI, шығу).

8) Негізгі келісімшарттар мен сервистер

Resource Registry: ресурстар түрлері, машиналар кластары/GPU, қол жетімді аймақтар/edge-POP.
Quota Manager: per tenant/project квоталары/лимиттері, egress/IOPS/DA бюджеті.
Scheduler/Placement: поды/джобы/пулы, басымдықтары, жергілікті, анти-шу.
Billing & Metering: бірліктер бойынша есептеуіштер, тарифтер, артық шығындар, бюджет бойынша тәуекелдер.
Rewards Router: провайдерлерге төлемдерді, SLA-брейктер үшін айыппұлдарды бөлу.
Compliance Gate: өңірлер, КК/КЖҚ, жасы/ЖБК-шектеулер, есептер экспорты.
Observability Hub: метриктер/трейстер/логтар, джоб, реплеялар үшін DLQ.

9) Қауіпсіздік және комплаенс

Аутентификация/авторизация: mTLS/OIDC, ABAC/RBAC, «ең аз артықшылықтар».
Желіні сегменттеу: VPC, private-link, трафик саясаты бар сервис-mash.
Деректер: at-rest/in-transit шифрлау, кілттік ротация, тестілер үшін бүркемелеу/жалған деректер.
GPU/CPU оқшаулау: тікелей кіруге тыйым салу, DMA/IOMMU бақылау, side-channel қорғанысы.
Комплаенс: аудит журналы, деректерді өңірлік оқшаулау, сақтау/жою саясаты, ашылмай тексеруге арналған ZK-рұқсатнамалар.

10) Бақылау және өнімділікті басқару

Метриктер: uCPU%, GPU-util, RAM/Cache hit, IOPS/throughput дискісі, p95 RTT/egress желісі, GPU/Batch-lag кезегі.
SLO/SLA-дашбордтар: QoS сыныптары және жалға алушылар бойынша «денсаулық», қате бюджеттері.
Профильдеу: flamegraph-суреттер, hot path-талдау, автоматты өлшемдерді ұсыну.
Алерттар: лагтардың артуы, GPU-кезектердің қызуы, egress-жарылыс, «noisy neighbor» жалаулары.

11) Анти-фрод және теріс пайдалану

Sybil/бот-жүктеме: S-кепілдер, R-беделі, мінез-құлық белгілері.
Egress/желіні сканерлеу: rate limits/IDS, карантиндік сегменттер.
Спот жеңілдіктерінің фарминг: арб-саясатқа қарсы, салқындату, пулдар арасындағы «секіру» лимиттері.
Адал емес провайдерлер: мәлімделген спецификацияларды бақылау, синтетикалық сынамалар, слэшинг және RNFT «қара тізімдері».

12) Тізбекаралық сценарийлер (мультичейн/edge)

Қол жеткізу құқығын ауыстыру: RNFT-құқықтар мен квоталар мессенджинг арқылы ауыстырылады, (R) беделі сенім доменінде қалады.
DA-квоталар және жарияланымдар: байт/жиілік, ақырғы/уақытша құлыптар үшін тарифтеу.
Edge-есептеулер: жергілікті буферлері бар POP-тораптар, инференсті пайдаланушыға жақын «итеру».
Дедуп және икемсіздік X-domain: жаһандық 'x _ job _ id', соңындағы seen кестелері, challenge-кезеңдер.

13) Сыйымдылықты жоспарлау және орнықтылық

Capacity planning: тұтыну трендтері, маусымдылық, қорлар N апта, «қызыл сызықтар» p95.
Game-days және стресс-тестілер: GPU/egress/DA артық тиеу, AZ/POP өшіру, деградация сценарийлері.
Дизайн бойынша деградация: graceful fallback (кем дәл модельдер/кэш), Q4/Q3 басымдықтары.
Жасыл тиімділік: кәдеге жарату, carbon-aware шедулинг, салқындату/энергия құны, «жасыл терезелерге» batch тасымалдау.

14) ӨҚҚ экожүйесінің өлшемдері мен KPI

Кәдеге жарату: CPU/GPU busy%, RAM/Cache hit, IOPS/GB-пайдалану.
Тиімділігі: cost-to-serve/сұраныс, кәдеге жарату, маржа/минут GPU.
Сапасы: сыныптар бойынша p50/p95 latency, SLA-брейктер/1000 сұрау, кезек/іске қосу уақыты.
Әділеттілік: «noisy neighbor» индексі, жалға алушылар бойынша оқыс оқиғалар үлесі, квоталарды бөлу.
Экономика: кіріс/ресурс-бірлік, жоспарлар бойынша NRR/GRR, қайталама түсім үлесі.
Қауіпсіздік: оқшаулау жиілігі, egress-аномалиялар, беделді слэш-оқиғалар.

15) (басқару) ресурстары

Параметрлер: дауыс беру арқылы тарифтердің/квоталардың/дәліздердің өзгеруі.
R-модификатор: бедел сезімтал өзгерістерде «шикі капиталдың» әсерін шектейді.
Sunset-клаузулдар: авто-қайтарумен уақытша акциялар/жеңілдіктер.
Жария есептілік: ІІО қазынашылығының тоқсандық есептері, SLA аудиті.

16) Іске қосу ойнатқышы

1. Қажеттіліктерді картаға түсіру. Тапсырмалар кластары, SLO, деректердің орналасуы.
2. Пулдардың дизайны. Машиналар класы, GPU-тиерлер, storage/network-деңгейлер, edge-POP.
3. Саясат және квоталар. QoS-кластар, budgets, egress/IOPS/DA лимиттері.
4. Экономика. Провайдерлерге тарифтер, спот/резервтер, ынталандырулар, RNFT-шарттар.
5. Қауіпсіздік және комплаенс. mTLS/OIDC, шифрлау, аудит журналдары, гео-саясат.
6. Бақылау қабілеті. KPI/SLO дашбордтары, алерттар, профильдеу.
7. Ұшқыш және масштабтау. Бір тапсырмалар класы (мысалы, инференс) → batch/стримингке кеңейту.
8. Инциденттер мен пост-мортемалар. Game-days, репликалар, саясат/тарифтерді түзету.

17) Өнiм дайындығының чек-парағы

• Барлық тапсырма түрлеріне арналған QoS/SLO анықталған
• Квоталар/лимиттер және «fair-share» жоспарлау енгізілген
• теңшелген spot/preemptible пулы және анти-арб саясаты
• Іске асырылған RNFT-шарттар, биллинг және Rewards Router
• Оқшаулау, шифрлау және комплаенс-есептілік қамтамасыз етілген
• Утилизация/сапа/экономика дашбордтары қол жетімді
• Авариялар пысықталды: тоқтату крандары, тозу, пост-мортемалар
• Құқықтардың мультичейн-өтуі, DA-квоталар, edge-тарату теңшелген

18) Глоссарий

OVR (жалпы есептеу ресурстары): экожүйеге арналған қуаттардың бірыңғай пулы.
RNFT: ресурстар/лимиттер/мерзімдерге құқықтар үшін «қатынас» келісімшарты.
S-токен: SLA кепілі/провайдер/торап жауапкершілігі.
R-токен: берілмейтін сапа/сенімділік беделі.
DA: деректердің қолжетімділік қабаты (дәлелдемелерді жариялау/сақтау).
Spot/Preemptible: жаңарту саясаты бар арзан, бірақ үзілетін ресурстар.

Қорытынды: жалпы есептеу ресурстары экожүйені есептеу фабрикасына айналдырады, онда кәдеге жарату жоғары, сапасы болжамды, ынталандырулар теңестірілген, ал қауіпсіздік пен комплаенс хаттамаға енгізілген. Дұрыс оркестрлеу, экономика және мультиарендтік жүктемелерді өнімділік пен сенімділікті жоғалтпай масштабтауға мүмкіндік береді.