Берилиштердин жашоо цикли

1) Максаты жана принциптери

Максаты: аналитикалык, операциялык жана жөнгө салуучу сценарийлерди колдоо менен пайда болгон учурдан тартып акыркы өчүрүүгө чейин маалыматтардын болжолдуу, компленттүү жана үнөмдүү кыймылын камсыз кылуу.

• Data as a Product: ар бир комплект ээси, келишим, SLO, документтер бар.
• Schema-биринчи: схемалар милдеттүү болуп саналат; өзгөртүү - версиялоо аркылуу.
• Privacy-by-Design: PII минималдаштыруу, псевдонимдештирүү, аймактык сактоо.
• Observability-by-Default: метрика, Логин кирүү, сызык.
• Cost-aware: сактоо деңгээл, TTL, семплерлөө, кысуу.

2) Жашоо циклинин фазалары

2. 1 Түзүү жана чогултуу (Create/Collect)

Sources: Products (Web/Mobile), Backends, төлөмдөр, KYC/AML провайдерлер, оюндар/студиялар, маркетинг, иш Логиндер.
ID 'event _ id', 'user. pseudo_id`, `session_id`, `trace_id`.
Келишимдер: JSON/Euro схемалар, AsyncAPI/OpenAPI.
кириш сапаты: схемалар validation, милдеттүү талаалар, өлчөм чектери, анти-дубликат.
Купуялык: сезгич талааларды токенизациялоо, ingest гео-багыттоо (EEA/UK/BR).

2. 2 Кабыл алуу жана баштапкы сактоо (Ingest & Raw)

Транспорт: HTTP/gRPC → Edge → шина (Kafka/Redpanda).
Чийки катмар (Bronze): append-only, өзгөрүлбөс payload's (forensics үчүн), убакыт/базар/тенанту боюнча партиялаштыруу.
Саясат: Dedup '(event_id, source)', DLQ үчүн "сынган" окуялар, Мыйзамдуу Hold белгилер.

2. 3 Иштетүү жана тазалоо (кайра)

Нормалдашуу (Silver): типтештирүү, дедупликация, маалымдамалар, FX/таймзондор, байытуу.
Сапат (DQ): толук/уникалдуулугу/диапазондору/шилтеме бүтүндүгү.
Reprocessing: Emempotent Conveyors, убакыт-саякат, контролдонуучу backfill's.

2. 4 Керектөө жана тейлөө (Serve/колдонуу)

Алтын-терезелер: BI/отчеттуулук (GGR, RG, AML), азык-түлүк жана тобокелдик моделдер, реалдуу убакыт терезелер.
Access: SQL/Trino, семантикалык метр катмары, API/GraphQL, Feature Store.
SLA сергектик: Мисалы, Gold-күнүмдүк терезелер жергиликтүү убакыт боюнча 06:00 чейин даяр.

2. 5 бөлүшүү жана жайылтуу (Share/Publish)

Ички керектөөчүлөр: Аналитика, Продукт, Тобокелдик, Комплаенс, Маркетинг, Каржы.
Тышкы жүктөр: жөнгө салуучулар, өнөктөштөр/провайдерлер; өзгөрүлбөс топтомдор (PDF/CSV/JSON + хэш).
Контролдонуучу каналдар: кол коюлган экспонаттар, жүктөө/экспорттун аудити.

2. 6 Архивдөө жана сактоо (Archive/Retain)

Сактоо саясаты: маалыматтардын жана юрисдикциялардын түрлөрү боюнча (мисалы, жөнгө салуучу - 5-7 жыл).
Сактоо катмарлары: hot/warm/cold, WORM/Object Lock өзгөрбөстүк үчүн.
Архивди индексациялоо: каталогдор, версиялардын/рыноктордун белгилери, метадеректерди тез издөө.

2. 7 алып салуу жана акыркы (Dispose)

Кадимки алып салуу: TTL/retenshn; коопсуз тазалоо, индекстерди жаңыртуу.
Юридикалык операциялар: DSAR/RTBF (унутулуу укугу), мыйзамдуу сактоо милдети боюнча өзгөчөлүктөр, Юридикалык Hold (алып салууну тоңдуруу).
Текшерүү: алып салуу отчеттору, аудит журналы, кросс-репликаларды көзөмөлдөө.

3) Классификация жана каталог

Сезгичтик категориялары: public/internal/confidential/restricted.
Домены: Payments, Gameplay, Compliance/AML, RG, Marketing, Ops, Finance.
Маалыматтар каталогу: сүрөттөлүшү, ээси, SLA сергектик, схемалар, сызык, жетүү деңгээл.
Теги: `jurisdiction`, `tenant`, `pii_class`, `retention_class`, `legal_hold`.

4) Lakehouse модели жана схемалар

Bronze/Silver/Gold: өзгөртүү жана жоопкерчилик так эрежелери.
Форматтар: Parquet + ACID менен таблица форматы (Delta/Iceberg/Hudi).
Development схемалар: семантикалык нускалары, longitude шайкештиги, breaking-өзгөртүү үчүн кош жазуу менен көчүрүү.
Registry: Schema Registry, CI-валидация контракттары, consumer-driven tests.

5) Маалымат сапаты (DQ)

• Completeness (толук): иш жүзүндө алынган окуялардын/саптардын үлүшү.
• Validity: схемалык валидациядан өткөн жазуулардын үлүшү.
• Уникалдуулук: дубликаттарды көзөмөлдөө.
• Consistency: колдонмолор жана байланыштар менен шайкештиги.
• Freshness: кабыл алуу/материалдык кечигүү.

• Код катары DQ эрежелери (YAML/SQL-тесттер), дашборддор, SLO алерттери.
• Деградацияда авто-фоллбэк (акыркы туура кесүү).

6) Купуялык жана комплаенс

PII минималдаштыруу: psevdo ID сактоо, обочолонгон айлампасына mappings алып.
Masking жана RLS/CLS: тилке/сап боюнча; динамикалык саясат.
Регионалдаштыруу: базарлар боюнча data residency; өзүнчө каталогдору/шифрлөө ачкычтары.
DSAR/RTBF: башкарылуучу проекцияларды, тандалма редакторлорду, чыгаруулардын аудитин.
Legal Hold: тоңдуруу белгилери, өзгөрүлбөгөн архивдер, кирүү протоколдору.

7) Кирүү жана коопсуздук

Аутентификация/авторизация: SSO, RBAC/ABAC, юрисдикциялардын жана ролдордун атрибуттары.
Шифрлөө: TLS in-transit; KMS/CMK аркылуу at-rest; ачкычтарды айлантуу.
Кирүү журналдары: ким/эмне/качан/кайдан; массалык экспорттоо/сканерлөө үчүн коркунучтар.
Милдеттерди бөлүштүрүү: прод/аналитика/админдер/ревьюерлер үчүн ар кандай ролдор.

8) Сызыктуулук (lineage) жана байкоо

Техникалык lineage: булагы → өзгөртүү → терезелер → отчеттор.
Операциялык сызык: релиздер, фичфлагдар, моделдер, AML/RG эрежелери менен байланыштар.
Платформанын метрикасы: throughput, lag, failure-rate, cost/query, cost/GB.
Trace: 'trace _ id' тиркемелеринен терезелерге/алерттерге чейин.

9) Убакыт моделдери жана кайра иштетүү

Event-time vs Processing-time: приоритет event-time, watermarks/allowed lateness.
Backfill жана reprocessing: демпотенттик pipeline's, time-travel, "кош эсеп" башкаруу.
Сактоо шарттары: TTL, snapshots, ийгиликсиз кийин калыбына келтирүү.

10) Экономика жана баалуулуктарды контролдоо

Партиялаштыруу (дата/рынок/тенант), кластерлештирүү/Z-ordering.
Жогорку жыштыктагы аналитика үчүн семплирлөө (транзакциялар/комплаенс үчүн эмес).
Көп катмарлуу сактоо (hot/warm/cold), автоматтык TTL.
Budget/chargeback командалар боюнча, оор суроо-талаптар жана backfill боюнча чектер.

11) Процесстер жана RACI

R (Responsible): Data Platform (ingest/сактоо/оркестр), Data Engineering (трансформация), Domain ээлери (Contracts/DQ/SLO).
A (Accountable): Head of Data/Chief Data Officer.
C (Consulted): Compliance/Legal/DPO, Архитектура, SRE, Коопсуздук.
I (Informed): BI/Продукт/Маркетинг/Каржы/Операциялар.

12) SLO/SLI (болжолдуу максаттар)

13) Дашборд

Жылуулук карта домендер/базарлар боюнча сергектик.
агымдар боюнча Completeness/Validity.
Сактоо жана суроо-талаптын баасы (катмарлар жана командалар боюнча).
маанилүү отчеттор үчүн lineage карта (жөнгө салуучу, GGR, RG/AML).
DSAR/RTBF кезек, Юридикалык Hold статусу.

14) сактоо саясатынын үлгүлөрү (мисал)

Иш жүзүндөгү мөөнөттөрү Юридикалык/DPO жана жергиликтүү укук менен аныкталат.

15) Документтер жана стандарттар

Data Product page: ээси, максаты, SLA, схемалар, DQ эрежелери, байланыштар.
Change log: схемалар/логика нускалары, таасир (impact analysis), көчүрүү.
Runbooks: reprocessing, backfill, өзгөчө жагдайлар, friz баскычы.

16) Ишке ашыруунун жол картасы

1. Маалыматтар каталогу жана классификация (жогорку домендер), базалык схемалар жана регистр.

2. Lakehouse Bronze/Silver, валидация жана дедуп менен ingestion.

3. 1-2 Gold-Display (мисалы, GGR жана Conversion).

4. минималдуу DQ эрежелери жана dashboard Freshness/Completeness.

5. Сактоо саясаты жана RBAC жетүү.

• Linage, метрикалык семантикалык катмары, DSAR/RTBF жол-жоболору.
• Регионалдаштыруу (EEA/UK), ченемдик артефакттар үчүн WORM, Legal Hold.
• Бааны оптималдаштыруу, SLO алерттери, бюджет боюнча отчеттуулук.

• Data Mesh (Domain Products), consumer-driven contracts жана тесттер.
• Схемаларды/логиканы, репликаларды өзгөртүүдө impact автосимуляциясы.
• Бирдиктүү шайкештик панели (жөнгө салуу, кирүү, DQ, сызык).

17) Азык-түлүктүн алдындагы чек-тизме

• Схемалар бекитилген, реестринде келишимдер, шайкештик тесттер.
• DQ эрежелери активдүү, Алерталар конфигурацияланган, SLO белгиленген.
• RBAC/ABAC: ролдору сыналган, кирүү журналдары киргизилген.
• Сактоо/алып салуу/архив саясаты мыйзамдуу/DPO тарабынан тастыкталган.
• DSAR/RTBF/Legal Hold жол-жоболору документтештирилген жана сыналган.
• Сызык/метрика/наркы дашборддо көрсөтүлгөн.
• backfill/reprocessing/DR үчүн Runbooks даяр.

18) Көп каталар жана аларды алдын алуу үчүн кантип

Бирдиктүү классификация жана каталог жок: милдеттүү Data Product карталарын киргизиңиз.
Чийки схемалар жок маалыматтар: schema-first + CI-валидация.
Жок алып салуу: башынан тартып TTL жана RTBF жараяндарды долбоорлоо.
PII жана аналитика аралаштыруу: өзүнчө Mappings сактоо, жашыруу колдонуу.
Ээси жана SLO жок Gold: жаңылык жана максаттарды дайындоо.
башкарылбаган наркы: партия, кысуу, tiered-storage, квота.

19) Глоссарий (кыскача)

DSAR/RTBF - маалымат субъектисинин суроо-талабы/алып салуу укугу.
Legal Hold - юридикалык негиздер боюнча алып салууну тоңдуруу.
Lineage - келип чыгышы жана өзгөрүүлөр байкоо.
Data Product - SLA менен башкарылуучу продукт бирдиги.
DQ - маалыматтар сапатынын эрежелери жана метрикасы.
Lakehouse (англ.

20) Жыйынтык

Берилиштердин жашоо цикли - бул жөн гана файлдардын кампасы эмес, макулдашуулардын башкарылуучу системасы. Так контракттар жана схемалар, классификация жана каталог, өлчөнүүчү сапат, купуялык жана коопсуздук, үнөмдүү сактоо архитектурасы жана ачык-айкын lineage маалыматтарды продуктуну, комплаенс жана аналитиканы күтүүсүз жана "жашыруун" тобокелдиктерсиз колдогон ишенимдүү актив кылат.