Maglumatlaryň durmuş sikli

1) Bellenilmegi we ýörelgeleri

Maksat: analitiki, operasiýa we kadalaşdyryjy ssenariýalary goldap, maglumatlaryň ýüze çykan pursatyndan başlap, olaryň düýbünden aýrylmagyna çenli öňünden aýdyp boljak, oňat we tygşytly hereketini üpjün etmek.

• Data as a Product: Her toplumyň eýesi, şertnamasy, SLO, resminamalary bar.
• Schema-first: shemalar hökmanydyr; üýtgeşmeler - wersiýalaşdyrmak arkaly.
• Privacy-by-Design: PII-ni minimallaşdyrmak, lakamlaşdyrmak, sebitleýin saklamak.
• Observability-by-Default: metrikler, girişi logirlemek, lineage.
• Cost-aware: saklamak derejesi, TTL, semplemek, gysmak.

2) Durmuş sikliniň tapgyrlary

2. 1 Döretmek we ýygnamak (Create/Collect)

Çeşmeler: önümler (web/mobile), bellikler, tölegler, KYC/AML üpjün edijileri, oýunlar/studiýalar, marketing, operasiýa ýazgylary.
Identifikatorlary: 'event _ id', 'user. pseudo_id`, `session_id`, `trace_id`.
Şertnamalar: JSON/Ýewro shemasy, AsyncAPI/OpenAPI.
Girişdäki hil: shemalary tassyklamak, hökmany meýdanlar, ululyk çäkleri, anti-dublikatlar.
Gizlinlik: duýgur meýdanlaryň tokenizasiýasy, ingest geo-marşrutizasiýasy (EEA/UK/BR).

2. 2 Kabul etmek we ilkinji saklamak (Ingest & Raw)

Ulag: HTTP/gRPC → Edge → şina (Kafka/Redpanda).
Raw-gatlak (Bronze): append-only, üýtgewsiz payload 'lar (forensika üçin), wagt/bazar/tenant boýunça partizasiýa.
Syýasatçylar: '(event_id, çeşme)', "döwülen" wakalar üçin DLQ, Legal Hold bellikleri.

2. 3 Gaýtadan işlemek we arassalamak

Normalizasiýa (Kümüş): tipizasiýa, de-duplikasiýa, gollanmalar, FX/taýmzonlar, baýlaşdyrmak.
Hili (DQ): dolulygy/özboluşlylygy/diapazonlary/salgylanma bitewiligi.
Reprocessing: idempotent konweýerler, time-travel, gözegçilik edilýän backfill's.

2. 4 Sarp ediş we hyzmat (Serve/Use)

Altyn-penjireler: BI/hasabat (GGR, RG, AML), azyk we töwekgelçilik modelleri, hakyky wagt penjireleri.
Giriş: SQL/Trino, metrikleriň semantik gatlagy, API/GraphQL, Feature Store.
Tazelik SLA: mysal üçin, Gold-gündelik penjireler ýerli wagt bilen 06: 00-a çenli taýýar.

2. 5 Paýlaşmak we ýaýratmak (Share/Publish)

Içerki sarp edijiler: Analitika, Önüm, Töwekgelçilik, Utgaşma, Marketing, Maliýe.
Daşarky ýükler: düzgünleşdirijiler, hyzmatdaşlar/üpjün edijiler; üýtgemeýän paketler (PDF/CSV/JSON + hash).
Gözegçilik edilýän kanallar: gol çekilen artefaktlar, ýüklemeleriň/eksportlaryň barlagy.

2. 6 Arhiwlemek we saklamak (Archive/Retain)

Saklamak syýasaty: maglumatlaryň görnüşleri we ýurisdiksiýalary boýunça (mysal üçin, düzgünleşdiriji - 5-7 ýyl).
Saklaýyş gatlaklary: üýtgewsizlik üçin hot/warm/cold, WORM/Object Lock.
Arhiwiň indekslenmegi: kataloglar, wersiýalaryň/bazarlaryň bellikleri, meta maglumatlary çalt gözlemek.

2. 7 Aýyrmak we gutarmak (Dispose)

Adaty aýyrmak: TTL/retenshn; indeksi howpsuz arassalamak, täzelemek.
Hukuk amallary: DSAR/RTBF (ýatdan çykarmak hukugy), saklamagyň kanuny borjy boýunça kadadan çykmalar, Legal Hold (aýyrmagy doňdurmak).
Barlag: aýyrmak baradaky hasabatlar, audit žurnaly, çapraz-replikalara gözegçilik.

3) Klassifikasiýa we katalog

Duýgurlyk kategoriýalary: public/internal/confidential/restricted.
Домены: Payments, Gameplay, Compliance/AML, RG, Marketing, Ops, Finance.
Maglumat katalogy: düşündiriş, eýesi, täzelik SLA, shemalar, lineage, giriş derejesi.
Теги: `jurisdiction`, `tenant`, `pii_class`, `retention_class`, `legal_hold`.

4) Lakehouse modeli we shemalary

Bronze/Kümüş/Gold: öwrülişikleriň we jogapkärçiligiň anyk düzgünleri.
Formatlar: Parquet + ACID (Delta/Iceberg/Hudi) bilen tablisa formaty.
Shemalaryň ewolýusiýasy: semantik wersiýalar, uzyn gabat gelmek, breaking-üýtgeşmeler üçin goşa ýazgy bilen göçmek.
Registry: Schema Registry, CI-kontraktlary tassyklamak, consumer-driven tests.

5) Maglumatlaryň hili (DQ)

• Completeness (doly): hakyky alnan wakalaryň/setirleriň paýy.
• Validity: shema tassyklamasyndan geçen ýazgylaryň paýy.
• Uniqueness: dublikatlara gözegçilik.
• Consistency: gollanmalara we aragatnaşyklara laýyklyk.
• Freshness: gelmegiň/materiallaşdyrmagyň gijikdirilmegi.

• DQ düzgünleri kod hökmünde (YAML/SQL-synaglar), daşbordlar, SLO aladalary.
• Pese gaçanda awto-follbek (soňky dogry kesme).

6) Gizlinlik we gabat gelmek

PII-ni minimallaşdyrmak: psevdo-ID-ni saklamak, mappingleri izolirlenen kontura çykarmak.
Gizlemek we RLS/CLS: sütün/setirler derejesinde; dinamiki syýasatlar.
Sebitleşdirmek: bazarlar boýunça data residency; bölünen kataloglar/şifrlemek açarlary.
DSAR/RTBF: dolandyrylýan proýeksiýalar, saýlama redaktirlemeler, netijeleriň barlagy.
Legal Hold: doňdurma bellikleri, üýtgemeýän arhiwler, giriş teswirnamasy.

7) Elýeterlilik we howpsuzlyk

Tassyklamak/ygtyýarlandyrmak: SSO, RBAC/ABAC, ýurisdiksiýalaryň we rollaryň atributlary.
Şifrlemek: TLS in-transit; KMS/CMK arkaly at-rest; açarlaryň aýlanmagy.
Giriş ýazgylary: kim/näme/haçan/nireden; köpçülikleýin eksport/skaner üçin töwekgelçilikler.
Borçlaryň bölünmegi: önümler/analitikler/dolandyryjylar/rewýuerler üçin dürli rollar.

8) Çyzykly (lineage) we syn edilişi

Tehniki lineage: çeşmeden → transformasiýa → penjireler → hasabatlar.
Amal lineage: relizler, fiçflaglar, modeller, AML/RG düzgünleri bilen gatnaşyklar.
Platforma ölçegleri: throughput, lag, failure-rate, cost/query, cost/GB.
Treýsing: 'trace _ id' programmalardan penjirelere/alertlere geçirmek.

9) Wagt we retro prosessiň modelleri

Event-time vs Processing-time: приоритет event-time, watermarks/allowed lateness.
Backfill we reprocessing: idempotent pipeline's, time-travel, "goşa buhgalteriýa" gözegçiligi.
Ýagdaýlary saklamak: TTL, snapshotlar, şowsuzlyklardan soň dikeldiş.

10) Ykdysadyýet we kost-gözegçilik

Partiýalaşdyrmak (sene/bazar/tenant), klaster/Z-ordering.
Ýokary ýygylykly analitika üçin semplemek (amallar/utgaşmalar üçin däl).
Köp gatlakly saklamak (hot/warm/cold), awtomatiki TTL.
Budget/chargeback, agyr soraglara we backfill çäkleri.

11) Amallar we RACI

R (Responsible): Data Platform (ingest/ammar/orkestr), Data Engineering (transformasiýa), Domen eýeleri (Contracts/DQ/SLO).
A (Accountable): Head of Data/Chief Data Officer.
C (Consulted): Compliance/Legal/DPO, Arhitektura, SRE, Howpsuzlyk.
I (Informed): BI/Önüm/Marketing/Maliýe/Amallar.

12) SLO/SLI (takmynan maksatlar)

13) Daşbordlar

Domenler/bazarlar boýunça täzelik ýylylyk kartasy.
Akymlar boýunça Completeness/Validity.
Saklamagyň we haýyşlaryň bahasy (gatlaklar we toparlar boýunça).
Möhüm hasabatlar üçin lineage kartoçkasy (düzgünleşdiriji, GGR, RG/AML).
DSAR/RTBF nobatlary, Legal Hold statuslary.

14) Saklamak syýasatynyň şablonlary (mysal)

Hakyky möhletler Kanuny/DPO we ýerli hukuk bilen kesgitlenilýär.

15) Resminamalar we standartlar

Data Product page: eýesi, maksady, SLA, shemalary, DQ düzgünleri, aragatnaşyklary.
Change log: shemalaryň/logikanyň wersiýalary, täsiri (impact analysis), göçmek.
Runbooks: reprocessing, backfill, gyssagly ssenariler, friz düwmesi.

16) Durmuşa geçirmegiň ýol kartasy

1. Maglumatlar katalogy we klassifikasiýa (top-domenler), esasy shemalar we registrler.

2. Lakehouse Bronze/Silver, ingestion.

3. 1-2 Altyn-vitrinler (mysal üçin, GGR we öwrülişik).

4. Iň az DQ düzgünleri we dashbord Freshness/Completeness.

5. Saklamak syýasaty we RBAC girmek.

• Linedge, metrikleriň semantik gatlagy, DSAR/RTBF amallary.
• Sebitleşdirmek (EEA/UK), kadalaşdyryjy artefaktlar üçin WORM, Legal Hold.
• Bahany optimizirlemek, SLO alertleri, býudjet boýunça hasabat.

• Data Mesh (domen önümleri), consumer-driven contracts we synaglar.
• Şemalar/logika, göçürmeler üýtgäninde impact awtomatiki simulýasiýasy.
• Bitewi laýyklyk paneli (sazlaýjy, giriş, DQ, lineage).

17) Azyk önüminden öň çek-sanawy

• Shemalar tassyklandy, registrdäki şertnamalar, laýyklyk synaglary.
• DQ düzgünleri işjeň, aladalar konfigurasiýa edildi, SLO berildi.
• RBAC/ABAC: rollar barlandy, giriş ýazgylary goşuldy.
• Saklamak/aýyrmak/arhiw syýasaty Kanuny/DPO tarapyndan tassyklandy.
• DSAR/RTBF/Legal Hold amallary resminamalaşdyryldy we synagdan geçirildi.
• Linej/metrikler/bahasy dashbordlarda görkezilýär.
• Backfill/reprocessing/DR üçin Runbooks taýýar.

18) Ýygy-ýygydan ýalňyşlyklar we olardan nädip gaça durmaly

Hiç bir klassifikasiýa ýa-da katalog ýok: hökmany Data Product kartoçkalaryny giriziň.
Shemasyz çig maglumatlar: schema-first + CI-tassyklama.
Aýyrmagyň ýoklugy: TTL we RTBF proseslerini başyndan dizaýn ediň.
PII we analitikleriň garyşmagy: mappingleri aýratyn saklaň, maskalanmagy ulanyň.
Eýesiz we SLO Gold: owner we täzelik maksatlaryny belläň.
Dolandyrylmaýan bahasy: partiýa, gysyş, tiered-storage, kwotalar.

19) Sözlük (gysgaça)

DSAR/RTBF - maglumat subýektiniň haýyşy/aýyrmak hukugy.
Legal Hold - kanuny esaslar boýunça aýyrmagyň doňdurylmagy.
Lineage - gelip çykyşy we özgerişleri yzarlamak.
Data Product - SLA-dan dolandyrylýan önüm maglumatlary birligi.
DQ - maglumatlaryň hiliniň düzgünleri we metrikleri.
Lakehouse - data lake we ACID tablisalarynyň birleşmesi.

20) Jemleýji

Maglumatlaryň durmuş sikli diňe bir faýllaryň ammary däl, eýsem ylalaşyklaryň dolandyrylýan ulgamydyr. Anyk şertnamalar we shemalar, klassifikasiýa we katalog, ölçelýän hil, gizlinlik we howpsuzlyk, tygşytly saklaýyş arhitekturasy we aç-açan lineage maglumatlary önümi, laýyklygy we analitikany garaşylmadyk we "gizlin" töwekgelçiliksiz goldaýan ygtybarly aktiw edýär.