DataOps və məlumatların idarə edilməsi

1) DataOps nədir və niyə lazımdır

DataOps - verilənlərlə işləməyi təkrarlanan və idarə olunan konveyerə çevirən təcrübələr, proseslər və alətlər toplusudur: sxemlərin yığılması və dəyişdirilməsindən tutmuş məlumat məhsullarının və metriklərin nəşrinə qədər. Məqsəd tələblərə uyğunluğu və optimal dəyəri qoruyaraq keyfiyyətli məlumatları (məhsul, analitik, risk, ML) istehlakçılara daha sürətli və təhlükəsiz çatdırmaqdır.

• Məlumatlara görə proqnozlaşdırıla bilən SLAs (aktuallıq, tamlıq, dəqiqlik).
• Sürətli və təhlükəsiz dəyişikliklər (veri üçün CI/CD/CT).
• Mənşə şəffaflığı (data lineage) və sahiblik.
• TCO azaldılması (saxlama, hesablama, məlumat ötürülməsi).

2) Memarlıq nümunələri

Data Lake (obyekt saxlama, xammal): ucuz, çevik, lakin ciddi DataOps lazımdır.
Warehouse (OLAP/SQL, modelləşdirmə): sürətli vitrinlər, ciddi sxem.
Lakehouse (cədvəl formatları + ACID: Delta/Iceberg/Hudi): lake və warehouse unifikasiyası, time-travel, upsert/merge.

• Bronze (xam, dəyişməz) → Gümüş (təmizlənmiş, razılaşdırılmış) → Qızıl (aqreqatlar/vitrinlər/ML fiqurları).
• Serving qatları: DWH/OLAP (BigQuery/ClickHouse/Snowflake və s.), API/qraf, feature store, önbellək.

Tövsiyə: bir təbəqə üçün düz bir «həqiqət mənbəyi» saxlamaq və çevirmələr - versiyası və testləri olan bir kod kimi.

3) Domen modeli və məlumat məhsulları

Data Mesh-yanaşma: domen komandalarında məlumatlara sahib olmaq; data product owner keyfiyyət və SLO data məhsulu üçün məsuliyyət daşıyır.
Məlumat müqavilələri: sxemlər, semantika, SLA/SLO (məsələn, "əməliyyat cədvəli saat 08:00 UTC dəqiqliyi ilə mövcuddur 99. 5% və 10 dəqiqədən çox olmayan gecikmə").
Interfeyslər: SQL-cədvəllər/çubuqlar, CDC-topiklər, API/GraphQL. Dəqiq versiya və deprekeyt siyasəti.

4) inteqrasiya: mənbələr və yükləmə nümunələri

ETL/ELT: DWH/Lake (DWH/Lake). ELT güclü OLAP ilə üstünlük verilir.
CDC (Change Data Capture): axın dəyişiklikləri (Debezium və s.) → aşağı gecikmə və dəqiq artımlar.
Batch vs Stream: hibrid - «isti» hadisələr üçün axın, yenidən hesablamalar və arxa filmlər üçün batch.
Çatdırılma semantikası: at-least-once + idempotent merjen; açar/vaxt dedup; əməliyyat formatları hesabına exactly-once-like.

5) Sxemlərin idarə edilməsi və təkamül

Schema Registry və müqavilə testləri: sahələri dağıdıcı əlavə edin, yeni bir versiya olmadan fasilə dəyişikliklərini qadağan edin.
Version (V1 → V2): paralel nəşr, miqrasiya pəncərəsi, istehlakçılar üçün həyəcan.
Növlər və ölçü vahidləri siyasəti: valyuta, vaxt zonası, idempotency-açarları.

6) Məlumat keyfiyyəti (Data Quality, DQ)

Əsas ölçülər: tamlıq, dəqiqlik, uyğunluq, unikallıq, etibarlılıq, təzəlik/aktuallıq, dublikatların olmaması.

• Keyfiyyət testləri kod kimi: unikal açarlar, diapazonlar, istinad siyahıları, biznes qaydaları (məsələn, alt sətirlərin cəmi = nəticə).
• Contract/Expectation-testlər hər qat (Bronze/Silver/Gold) və CI.
• Karantin zonaları: yoxlanılmamış məlumatlar Gold-a düşmür.
• Təravət sazişləri: explicit freshness SLA və gecikmə ilə burn-rate-alert.

7) Məlumatların müşahidə edilməsi (Data Observability)

Məlumatlara görə SLI: valid sətirlərin payı, artımların gecikməsi, qaçışların payı, dövr ərzində sxemlərin dəyişmə sayı.
Lineage (izi ilə): hansı mənbədən X sahəsi, kim Y cədvəlini istehlak edir; asılılıq qrafikinin vizuallaşdırılması.
Anomaliyaların monitorinqi: həcm/paylanma trendləri, qəfil sıfırlar/zirvələr, kateqoriya əlamətlərinin sürüklənməsi.
Alert siyasətləri: qısa pəncərə (fəlakətlər) + uzun (sürünən deqradasiyalar), məlumat məhsullarının sahiblərinə eskalasiya.

8) Təhlükəsizlik və məxfilik

Məlumatların təsnifatı: PII/maliyyə/həssas/ictimai. Sütunlarda və dəstlərdə işarələr.
Access Control: RBAC/ABAC, row-/column-level security, maskalama, dinamik de identifikasiya.
Kriptoqrafiya: at-rest/in-transit şifrələmə; PII üçün tokenizasiya və təxəllüsləşdirmə.
Saxlama xətləri: isti/isti/soyuq; retensiya siyasəti və «unudulmaq hüququ».
Audit və dəyişməzlik: kim oxudu/dəyişdi; artefaktların imza log; tənzimləyicilər üçün artefaktların ixracı.

9) Orkestr, CI/CD/CT və dəyişikliklərin idarə edilməsi

Orkestr: Airflow/Argo/Kedro və s.; asılılıq və idempotent vəzifələri ilə deklarativ DAG/axını.
CI/CD/CT (Continuous Testing): SQL/Python linterlər, vahid transformasiya testləri, təcrid olunmuş nümunələrdə inteqrasiya testləri, merc qarşısında data tests.
Mühitin təşviqi: dev → stage → prod; eyni manifestlər; fich bayraqları/kataloqları nəzarət.
Backfills: resursların məhdudlaşdırılması və aydın pəncərə ilə «heavyweight» əməliyyatları; idempotentlik və deduplikasiya nəzarət.

10) Xərclərin idarə edilməsi (Data FinOps)

Dəyər modelləri: saxlama (həcm × sinif), skanerlər/sorğular, egress, uzunmüddətli backfills.
Optimallaşdırma: partiyalaşdırma/klasterləşdirmə, Z-ordering/çeşidləmə, prayuninq, nəticələrin materiallaşdırılması, sıxılma və sütun formatları.
Vahid məlumat iqtisadiyyatı: Gold $/1 milyon sətir, $/bir hesabat, ML üçün $/fic.
SLO-şüurlu təravət: «hər 5 dəqiqədə bir vərdiş» deyil, məhsulun tələb etdiyi qədər tez-tez sayın.

11) Master Data Management (MDM) və məlumat kitabçaları

Qızıl qeydlər (golden records): müştəri dublları/merchant, hesab iyerarxiyası aradan qaldırılması.
Məlumat kitabçaları/referanslar: valyutalar, ölkələr, BIN siyahıları, provayderlərin siyahıları - fəaliyyət versiyaları və pəncərələri ilə.
Identifikatorlar: sabit açarlar, xaç-sistem ID koordinasiyası, mappinqlər many-to-one.

12) ML-ficks və analitik vitrinlər

Feature Store: əlamətlərin versiyalaşdırılması, zaman-səyahət, onlayn/oflayn konsistentlik.
DS/ML ilə Data Contracts: təzəlik/sürüklənmə ilə SLAs; sxemlər və icazə verilən diapazonlar.
BI vitrinləri: testlərlə əsas metriklərin (DAU/GMV/ARPPU və s.) Sübut edilmiş «tək versiyaları».

13) Hadisə prosesləri və məlumatlar üçün RCA

Deteksiya: etibarlılığın düşməsi, yükləmə gecikmələri, anonssuz sxemlərin dəyişdirilməsi, paylanma anomaliyaları.
Eskalasiya: məlumat məhsulunun sahibi → orkestrator/platforma → mənbə/provayder.
Mitiqasiya hərəkətləri: nəşrlərin frizi, son transformasiyanın geri qaytarılması, əvvəlki «yaxşı» versiyanın dərc edilməsi, verilənlərin status səhifəsində qeydlər.
RCA (data-focus): kökləri - sxemlərin/müqavilələrin pozulması, mənbə gecikmələri, yanlış biznes qaydaları, sürüklənmə.
CAPA: sxemlərin monitorinqi, yeni testlər, skan limitləri, buraxılış qeydləri, təlim.

14) Rollar və məsuliyyət (RACI)

Data Product Owner: SLA/SLO, prioritetləşdirmə, roadmap.
Data Engineer/Analytics Engineer: paylaynlar, modelləşdirmə, testlər, optimallaşdırma.
Platform/Infra: orkestr, lake/warehouse, təhlükəsizlik və giriş.
Governance/Steward: kataloq, keyfiyyət, təsnifat, tələblərə uyğunluq.
Sec/Compliance: gizlilik, audit, tənzimləyici hesabatlar.
Metriklərin biznes sahibləri: «həqiqət» göstəricilərinin müəyyən edilməsi və nəzarət edilməsi.

15) Kataloq və metadata

Data Catalog: cədvəllərin/sahələrin təsviri, sahibləri, etiketləri (PII/maliyyə), sorğu nümunələri, keyfiyyət səviyyələri.
Active Metadata: lineage avtomatik doldurulması, sorğuların populyarlığı, istifadə tövsiyələri.
Glossary (biznes lüğəti): hesablama göstəriciləri və qaydaları müəyyən, versiyası və sahibi.

16) DataOps Dashboard (minimum dəst)

Payplayn sağlamlığı: müvəffəqiyyət/tapşırıqların səhvi, DAĞ gecikməsi, orta icra müddəti, növbələr.
Keyfiyyət və təravət: testlərin etibarlılığı, Bronze/Silver/Gold qatlarının gecikməsi, karantin payı.
Lineage-view: X cədvəlinin Y. istehlakçılarına təsiri.
Maliyyə: $ anbarlar və skanlar, «bahalı» sorğular/modellər, materiallaşmadan qənaət.
Dəyişikliklər: transformasiya buraxılışları, sxemlərin dəyişdirilməsi, müqavilələrin alertləri.

17) «Data-məhsulun hazırlığı» yoxlama siyahısı

• Giriş/çıxış, sahibi və SLA/SLO (təzəlik/tamlıq/dəqiqlik) təsvir edilmişdir.
• Resepsiyondakı sxemlər və müqavilələr, keyfiyyət testləri daxildir (doğruluq həddi).
• Özelleştirilmiş lineage və kataloq; etiketlər PII/təsnifat tətbiq olunur.
• RBAC/ABAC Accessories, maskalama və Retence siyasəti.
• Orkestrasiya və alertlər: qısa və uzun pəncərələr, eskalasiya kanalları.
• Backfills idempotent; geri dönüş planı və karantin var.
• Dəyər optimallaşdırılması: partiya/klasterləşdirmə/materiallaşdırma.
• Metrik sənədləşmə və sorğu nümunələri.

18) Anti-nümunələr

«Data swamp»: sxem/kataloq/sahibləri olmadan lake → istifadə olunmayan və bahalı məlumatlar.
«Gizli» mənbə sxeminin qırılması → kaskad hadisələri.
Testlər yalnız prod → gec aşkar, bahalı düzəlişlər.
Bütün domenlər üçün bir ümumi «gümüş çəkic» transformasiya.
Karantin yoxdur: evlilik Gold və BI-yə düşür.
Limitsiz skanerlər/joynlar «uğurlar üçün» → dəyər partlayışı.
PII log/samples, heç bir retensiya və maskalanma.

19) Mini şablonlar

Data məhsulu üçün SLA şablonu

Təravət: 99% artım T + 10 dəq; tam yenidən hesablanması - 08:00 UTC D + 1.
Doluluq: ≥ 99. 7% qeydlər vs mənbələr; açar eşik.
Dəqiqlik: nəzarət metrikası ilə uyğunsuzluq ≤ 0. 3%.
Mövcudluq: SQL-end-pointlər/yuvalar 99 ≥ mövcuddur. 9% (28 gün).
Eskalasiya kanalı, sahibi, dəstək pəncərəsi.

Sxem versiyası siyasəti

Minor: isteğe bağlı sahələrin əlavə edilməsi, back-compatible.
Major: silmək/adlandırmaq; paralel nəşr V1/V2 ≥ N həftə; deprekeyt qeydləri.

Backfill planı

Mənbə, tarix diapazonu, dəyər/vaxt qiymətləndirməsi, idempotentlik, başlanğıc pəncərəsi, uğur meyarları, geri dönüş.

20) DataOps tətbiqi yol xəritəsi (nümunə 8-12 həftə)

1. Ned. 1-2: mənbələrin inventarlaşdırılması, domen xəritəsi, Lakehouse/OLAP seçimi, kataloq.
2. Ned. 3-4: sxemlər/müqavilələr standartları, CI/CD/CT skelet, əsas DQ testləri.
3. Ned. 5-6: xətt və təravət, karantin, ilk SLA məlumat məhsulları.
4. Ned. 7-8: FinOps optimallaşdırma (participation/materialization), şablona görə backfills.
5. Ned. 9-12: MDM/referansları, RBAC/maskalama, məlumat hadisələri üçün RCA təcrübəsi, KPI yetkinlik.

21) Yekun

DataOps, domen məsuliyyəti, müqavilələr və testlər, dəyişikliklərin avtomatlaşdırılması, müşahidə və təhlükəsizlik, iqtisadiyyat və insident prosesləri kimi əməliyyat sistemidir. Bu yanaşma ilə məlumatlar etibarlı məhsula çevrilir: onlar versiya edilə, ölçülə, ölçülə və qərarların qəbulunda, hesabatlarda və ML-də inamla istifadə edilə bilər.