Materiallashtirilgan tushunchalar

Materiallashtirilgan taqdimot (MV) - tez o’qish uchun vaqti-vaqti bilan yoki uzluksiz yangilanadigan va mavjud bo’lgan so’rov natijasi (agregatsiya/proyeksiya). Aslida, bu «oldindan hisoblab chiqilgan» ma’lumotlar o’qish saviyasi va saviyasi bilan boshqariladi.

• Oʻqish latentligini barqarorlashtirish (p95/p99).
• OLTP jadvallarini tushirish.
• Tahlil, API va fich (tavsiyalar, hisoblagichlar, kataloglar) uchun bashorat qilinadigan SLA berish.

1) MV dan qachon foydalanish kerak (va qachon - yo’q)

• Tez-tez takrorlanadigan ogʻir soʻrovlar (join/agg/window).
• CQRS/mahsulot proyeksiyalari: dashbordlar, kataloglar, reytingli roʻyxatlar, hisoblagichlar.
• Ko’p mintaqaviy o’qishlar: natijalarning «mahalliy» nusxalari.

• Kompensatsiya mantig’i bo’lmagan «har bir yozuv uchun» haddan tashqari dolzarblik → yaxshiroq indekslar/OLTP + kesh/striming.
• → MV yozuvidagi murakkab tranzaksion invariantlar tranzaksiyalarni almashtirmaydi.

2) MV vs kesh vs proyeksiya

Kesh: «javob nusxasi», ilova darajasida TTL/nogironlik bilan boshqariladi; sxema yoʻq.
MV: «ma’lumotlar nusxasi», DBMS/dvigatel tomonidan boshqariladi; refresh sxemasi, indekslari, tranzaksiyaliligi mavjud.
Proyeksiya (event sourcing/CQRS): hodisalardan hisoblab chiqariladi; ko’pincha jadval + inkremental yangilanishlar (ya’ni mohiyatan «qo’lda MV») sifatida amalga oshiriladi.

3) Yangilash usullari

3. 1 Paketli REFRESH (davriy)

Rejalashtiruvchi (cron/skedular):’REFRESH MATERIALIZED VIEW...’.
Afzalliklari: oddiy, oldindan aytib bo’lmaydigan, arzon. Kamchiliklar: derazalar eskirmaydi.

3. 2 Inkremental refresh

Kalit/vaqt oynasi bo’yicha deltalar, MVdagi upsert’lar.
Oʻzgarishlar manbai: CDC (Debezium, logical replication), striming (Kafka/Flink/Spark), triggerlar.
Afzalliklari: kichik kechikish va narx. Kamchiliklar: kod va konsistentlik murakkabroq.

3. 3 Uzluksiz (streaming MV)

Kolonochnыe/strimingnыe DVS: materializirovannыe stream/jadvalы (ClickHouse/Kafka, Flink SQL, Materialize, BigQuery MV).
Afzalliklar: soniya va undan pastroq. Minuslar: strim infra va aniq kalitlar/suv belgilarini talab qiladi.

4) Konsistentlik va «yangilik»

MV ning kuchli konsistentligi «atomik» refresh (yangi versiyadagi read-switch) da sodir bo’ladi.
Ko’pincha - bounded staleness: «katta bo’lmagan Δ t/oyna». Buni API/UX shartnomalarida birlashtiring.
To’lovlar/qat’iy invariantlar uchun OLTPda CP yadrosini saqlang, MVni esa read-plane sifatida ishlating.

5) Modellashtirish va sxema

MVni maqsadga muvofiq tor qiling: bitta vazifa - bitta MV.
Vaqtinchalik kalitlarni (event_time/watermark) va biznes kalitlarni (tenant_id, entity_id) saqlang.
Tez-tez filtrlash/saralash indekslari; kolonochnыe DBQ - agregatlar/skanlar uchun.
Tezkor refresh va retensiya uchun sana/tenant/mintaqa bo’yicha partiyalashtirish.

6) Inkremental apdeytlar: upsert-proyeksiya patterni

1. Oʻzgarish kelmoqda (CDC/hodisa).
2. MV-satr (recompute/merge) uchun deltani hisoblaymiz.
3. Kalit bo’yicha’UPSERT’(’tenant _ id, entity_id, bucket’).
4. Yangi meta maʼlumotlar yangilanmoqda.

Idempotentlik majburiydir: deltani takrorlash natijani buzmasligi kerak.

7) Misollar (konseptual jihatdan)

PostgreSQL (batch refresh)

sql
CREATE MATERIALIZED VIEW mv_sales AS
SELECT date_trunc('day', created_at) AS day,
tenant_id,
SUM(amount) AS revenue,
COUNT()  AS orders
FROM orders
GROUP BY 1,2;

-- Быстрые чтения
CREATE INDEX ON mv_sales (tenant_id, day);

-- Без блокировок чтения при обновлении
REFRESH MATERIALIZED VIEW CONCURRENTLY mv_sales;

ClickHouse (streaming MV из Kafka)

sql
CREATE TABLE events_kafka (..., ts DateTime, tenant_id String)
ENGINE = Kafka SETTINGS kafka_broker_list='...',
kafka_topic_list='events',
kafka_format='JSONEachRow';

CREATE MATERIALIZED VIEW mv_agg
ENGINE = AggregatingMergeTree()
PARTITION BY toDate(ts)
ORDER BY (tenant_id, toStartOfMinute(ts)) AS
SELECT tenant_id,
toStartOfMinute(ts) AS bucket,
sumState(amount) AS revenue_state
FROM events_kafka
GROUP BY tenant_id, bucket;

BigQuery MV (avto yangilash)

sql
CREATE MATERIALIZED VIEW dataset.mv_top_products
AS SELECT product_id, SUM(amount) AS revenue
FROM dataset.orders
WHERE _PARTITIONDATE BETWEEN DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY) AND CURRENT_DATE()
GROUP BY product_id;

8) Interfeys/kontraktlardagi yangilik

’X-Data-Freshness: <seconds> ’/’ as _ of’ maydonini qaytaring.
Tanqidiy ekranlar uchun - «yangilash tugmasi» va «N + orqaga yangilangan» nishonchasi.
APIda SLO yangiligini ko’rsating (masalan, p95 ≤ 60 s).

9) Multi-tenant va hududlar

MVdagi’tenant _ id’kaliti - majburiydir.
Fairness: ijarachilar bo’yicha refresh/oqim uchun kvotalar; kechasi katta MV sheduling per tenant.
Residency: MV birlamchi ma’lumotlar bilan bir mintaqada yashaydi; kross-mintaqa - faqat agregatlar.

10) Kuzatish

• `freshness_age_ms` (p50/p95/p99), `refresh_latency_ms`, `rows_processed/s`, `refresh_errors`.
• MV/partiyalar miqdori, saqlash xarajatlari.
• Striming uchun: lag konnektor, «suv» (watermark), ulushi late events.

• Теги: `mv_name`, `tenant_id`, `partition`, `refresh_id`, `delta_size`.
• Sabablar bo’yicha "qayta hisoblash" va feyllar to’g "risidagi hisobotlar (schema mismatch, timeout).

11) Test va tartibsizlik

Correctness: MV vs kichik tanlovlardagi manbani taqqoslash; nazorat summalari.
Freshness under load: yozuv yuklamasi + SLO yangilik kafolati.
Schema evolution: maydonlarni qoʻshish/qayta nomlash, CDC konnektorining «tushishi».
Late/Out-of-order: voqealar nusxalari, suv belgilarini oʻzgartirish.
Idempotentlik: delta/batchey qayta yetkazib berish.

12) Retenshn va qiymati

Faqat kerakli oynalarni saqlang (masalan, 90 kun); eski partiyalarni arxivlang.
Muntazam vakuumlash/merj (dvigatel bo’yicha).
MVni «universal yirtqich hayvon» dan qochib, aniq API/sahifalar ostiga kiriting.

13) Xavfsizlik va muvofiqlik

Manbadan foydalanish siyosatini meros qilib oling (RLS/ACL) - MV manbalar jadvallaridan kengroq tarqatmang.
MV tuzishda, ayniqsa tahlil/loglar uchun PIIni yashiring.
Refresh/redrayv auditi.

14) Tipik xatolar

Schema evolution/CDC xatolarini eʼtiborsiz qoldirish

«Hamma narsaga bitta ulkan MV» → qimmat refresh va zaif izolyatsiya.
Indekslar/partiyalar yo’qligi → p99 ko’tariladi, refresh klasterni bo’g’ib qo’yadi.
Deltalar o’rniga to’liq qayta hisoblash.
API/UX → da e’lon qilinmagan yangilik foydalanuvchilarning «eskirgan» ma’lumotlarga da’volari.
MV - o’qish haqida, qattiq yozuv operatsiyalari haqida emas.

15) Tezkor retseptlar

Dashbord mahsuloti: MV minutli/soatlik baketalar bo’yicha, refresh jadval bo’yicha + VIP uchun on-demand, p95 tazelik ≤ 60 s.
Katalog/qidiruv: CDC (upsert) dan inkremental proyeksiya, filtrlar indekslari, lag ≤ 5-15 s.
Moliyaviy hisobot: «REFRESH CONCURRENTLY» atomli paketli MV, nazorat summalari, javoblarda «as_of».
Global SaaS: mintaqaviy MV, kross-mintaqaviy asinxron agregatsiya.

16) Sotishdan oldingi chek-varaq

• Tazelik SLA (Δt/p95) aniqlangan va u API/UX da aks etgan.
• Tanlangan rejim: batch refresh/inkremental/streaming; manbalar tasvirlangan (CDC/hodisalar).
• MV «vazifa bo’yicha» ishlab chiqilgan, indekslar va partiyalar mavjud, saqlash deraza bilan cheklangan.
• Upsert/agregatlarning idempotentligi testlar bilan tasdiqlangan; late/out-of-order.
• Kuzatish: yangilik/lag metrikasi, alerta, treysing refresh.
• Pleybuklar: partiyani qayta hisoblash, konnektor ishlamay qolganidan keyin redrayv, sxemaning evolyutsiyasi.
• Kirish va PII manbaga mos keladi; audit kiritilgan.
• Nazorat ostidagi narx: retenshn, siqish, refresh oynasi vaqti.
• Hujjatlar: MVda «haqiqat», hosilaviy qatlam, biznesni kutish.

Xulosa

Materiallashtirilgan tasavvurlar - bu o’qish tezligi va dolzarblik o’rtasidagi muhandislik murosasi. Aniq yangi SLA, to’g’ri sxema, inkremental yangilanish va normal telemetriya bilan MV og’ir so’rovlarni oldindan aytib bo’ladigan millisekundlarga aylantiradi - ishonchlilik va xarajatlarni nazorat qilmasdan.