भौतिक दृश्य

एक भौतिक दृश्य (एमवी) एक शारीरिक रूप से संग्रहीत क्वेरी परिणाम (एकत्रीकरण/प्रक्षेपण) है जो समय-समय पर या लगातार अद्यतन और त्वरित रीड के लिए उपलब्ध है। वास्तव में, यह नियंत्रित ताजगी और पढ़ ने की लागत के साथ "पूर्व-गणना" डेटा है।

• रीडिंग लेटेंसी (p95/p99) को स्थिर करें।
• गर्म OLTP तालिकाएँ उतारें।
• एनालिटिक्स, एपीआई और फीचर्स (सिफारिशें, काउंटर, निर्देशिका) के लिए एक पूर्वानुमानित एसएलए दें।

1) एमवी का उपयोग कब करें (और जब नहीं)

• वैध अद्यतन विलंब के साथ अक्सर बार-बार भारी अनुरोध (जोड़ें/agg/window)।
• CQRS/उत्पाद अनुमान: डैशबोर्ड, कैटलॉग, रैंक सूची, काउंटर।
• बहु-क्षेत्र पढ़ ता है: योग की "स्थानीय" प्रतियां।

• मुआवजे के तर्क के बिना अल्ट्रा-सख्त प्रासंगिकता "प्रति रिकॉर्ड" - बेहतर सूचकांक/ओएलटीपी + कैश/स्ट्रीमिंग।
• एमवी → लिखते समय जटिल ट्रांजेक्शनल इनवेरिएंट लेनदेन को प्रतिस्थापित नहीं करते हैं।

2) एमवी बनाम कैश बनाम प्रक्षेपण

कैश: "रिस्पांस कॉपी", आवेदन स्तर पर टीटीएल/विकलांगता द्वारा प्रबंधित; कोई स्कीमा नहीं।

एमवी: "डेटा की प्रति", डीबीएमएस/इंजन द्वारा प्रबंधित; एक योजना, सूचकांक, लेन-देन ताज़ा है।

प्रक्षेपण (घटना सोर्सिंग/CQRS): घटनाओं से गणना; अक्सर एक तालिका + वृद्धिशील अपडेट के रूप में लागू किया जाता है (अर्थात, अनिवार्य रूप से "मैनुअल एमवी")।

3) अपडेट तरीके

3. 1 बैच REFRESH (आवधिक)

शेड्यूलर (क्रोन/स्केडुलर): 'REFRESH MATERIALIZED VIEW...'।

पेशेवरों: सरल, अनुमानित, सस्ता। विपक्ष: बासी खिड़कियां।

3. 2 वृद्धिशील ताज़ा

कुंजी/समय विंडो द्वारा डेल्टास, एमवी में अपसर्ट।

परिवर्तनों का स्रोत: सीडीसी (डेबेजियम, तार्किक प्रतिकृति), स्ट्रीमिंग (काफ्का/फ्लिंक/स्पार्क), ट्रिगर।

पेशेवरों: कम विलंबता और लागत। विपक्ष: अधिक जटिल कोड और स्थिरता।

3. 3 स्ट्रीमिंग एमवी

कॉलम/स्ट्रीमिंग ICES में: भौतिक धाराएँ/तालिकाएँ (क्लिकहाउस/काफ्का, फ्लिंक SQL, मटेरियल, BigQuery MV)।

पेशेवरों: सेकंड और नीचे। विपक्ष: स्ट्रीम इन्फ्रा और स्पष्ट कुंजी/वॉटरमार्क की आवश्यकता

4) स्थिरता और "ताजगी"

एमवी की मजबूत स्थिरता "परमाणु" ताज़ा (नए संस्करण में रीड-स्विच) के साथ होती है।

अधिक बार - बाध्य गतिशीलता: "t t/विंडो से अधिक पुराना नहीं। "एपीआई/यूएक्स अनुबंधों में इसे संचारित करें।

भुगतान/सख्त आक्रमणकारियों के लिए, ओएलटीपी में सीपी कोर रखें और एमवी को रीड-प्लेन के रूप में उपयोग करें।

5) मॉडलिंग और लेआउट

एमवी को उद्देश्य से संकीर्ण बनाएं: एक कार्य - एक एमवी।

अस्थायी कुंजियों (event_time/watermark) और व्यापार कुंजियों (tenant_id entity_id)।

अक्सर फ़िल्टर/छंटाई के लिए सूचकांक; स्तंभ DBMS - समुच्चय/स्कैन के लिए।

त्वरित रिफ्रेश और प्रतिधारण के लिए तिथि/किरायेदार/क्षेत्र द्वारा भागीदारी।

6) वृद्धिशील अपडेट: अपसर्ट-प्रोजेक्शन पैटर्न

1. परिवर्तन आता है (सीडीसी/घटना)।

2. एमवी स्ट्रिंग (recompute/merge) के लिए डेल्टा पर विचार करें।

3. कुंजी द्वारा 'UPSERT' ('किरायेदार _ id, entity_id, बाल्टी')।

4. ताजगी मेटाडेटा को अद्यतन करना।

पहचान अनिवार्य है: डेल्टा पुनरावृत्ति को नीचे की रेखा को नहीं तोड़ ना चाहिए।

7) उदाहरण (वैचारिक रूप से)

PostgreSQL (बैच रिफ्रेश)

sql
CREATE MATERIALIZED VIEW mv_sales AS
SELECT date_trunc('day', created_at) AS day,
tenant_id,
SUM(amount) AS revenue,
COUNT()  AS orders
FROM orders
GROUP BY 1,2;

-- Быстрые чтения
CREATE INDEX ON mv_sales (tenant_id, day);

-- Без блокировок чтения при обновлении
REFRESH MATERIALIZED VIEW CONCURRENTLY mv_sales;

क्लिकहाउस (स्ट्रीमिंग एमवी из काफ्का)

sql
CREATE TABLE events_kafka (..., ts DateTime, tenant_id String)
ENGINE = Kafka SETTINGS kafka_broker_list='...',
kafka_topic_list='events',
kafka_format='JSONEachRow';

CREATE MATERIALIZED VIEW mv_agg
ENGINE = AggregatingMergeTree()
PARTITION BY toDate(ts)
ORDER BY (tenant_id, toStartOfMinute(ts)) AS
SELECT tenant_id,
toStartOfMinute(ts) AS bucket,
sumState(amount) AS revenue_state
FROM events_kafka
GROUP BY tenant_id, bucket;

BigQuery MV (स्वतः अद्यतन)

sql
CREATE MATERIALIZED VIEW dataset.mv_top_products
AS SELECT product_id, SUM(amount) AS revenue
FROM dataset.orders
WHERE _PARTITIONDATE BETWEEN DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY) AND CURRENT_DATE()
GROUP BY product_id;

8) इंटरफेस/अनुबंधों में ताजगी

'X-Data-Fresness: '/field' as _ of '।

महत्वपूर्ण स्क्रीन के लिए - "अपडेट बटन" और "बैक से अपडेट एन" बैज।

एपीआई में, ताजगी के एसएलओ को निर्दिष्ट करें (उदा। p95 ≤ 60 एस)।

9) बहु-किरायेदार और क्षेत्र

MV में 'tenant _ id' key की आवश्यकता है।

निष्पक्षता: किरायेदार द्वारा ताज़ा/धारा के लिए कोटा; प्रति किरायेदार रात में बड़े एमवी को बहाना।

रेजीडेंसी: एमवी प्राथमिक डेटा के समान क्षेत्र में रहता है; क्रॉस-क्षेत्र - केवल एकत्र करता है।

10) अवलोकन क्षमता

• 'freshness _ age _ ms' (p50/p95/p99), 'रिफ्रेश _ latency _ ms', 'rows _ processed/s', 'रिफ्रेश _ errors'।
• एमवी/लॉट आकार, भंडारण ओवरहेड।
• स्ट्रीमिंग के लिए: कनेक्टर लैग, "पानी" (वॉटरमार्क), देर से होने वाली घटनाओं का हिस्सा।

• Теги: 'mv _ name', 'किरायेदार _ id', 'पार्टीशन', 'रिफ्रेश _ id', 'डेल्टा _ size'।
• कारणों के लिए "रिकॉउंट्स" और फ़ाइलों पर रिपोर्ट (स्कीमा बेमेल, टाइमआउट)।

11) परीक्षण और अराजकता

शुद्धता: सबसैम्पल पर एमवी बनाम स्रोत की तुलना; चेकसम।

लोड के तहत ताजगी: लोड + एसएलओ ताजगी की गारंटी लिखें।

स्कीमा एवोल्यूशन: फ़ील्ड जोड़ ना/नाम बदलना, सीडीसी कनेक्टर ड्रॉप।

लेट/आउट-ऑफ-ऑर्डर: इवेंट रिप्ले, वॉटरमार्क बदलना।

मूर्खता: डेल्टा/बैचों का पुनर्वितरण।

12) प्रतिधारण और लागत

केवल उन विंडो को संग्रहीत करें जिनकी आपको आवश्यकता है (उदाहरण के लिए पुरानी पार्टियों को संग्

नियमित रिक्तिकरण/विलयन (इंजन द्वारा)।

एमवी को विशिष्ट एपीआई/पृष्ठों में कम करें, "सार्वभौमिक राक्षस" से बचें।

13) सुरक्षा और अनुपालन

इनहेरिट सोर्स एक्सेस पॉलिसी (RLS/ACL) - एमवी को स्रोत तालिकाओं की तुलना में व्यापक वितरित न करें।

एमवी बनाते समय पीआईआई को मास्क करें, विशेष रूप से एनालिटिक्स/लॉग के लिए।

ऑडिट रिफ्रेश/रिड्राइव्स।

14) विशिष्ट त्रुटियां

"सब कुछ के लिए एक विशाल एमवी" - महंगा ताज़ा और कमजोर अलगाव।

सूचकांक/पार्टियों की कमी → पंप 99 कूदता है, ताज़ा क्लस्टर का गला घोंट देता है।

डेल्टा के बजाय पूर्ण पुनर्गणना जहां आप वृद्धिशील रूप से कर सकते हैं।

"पुराने" डेटा के बारे में एपीआई/यूएक्स → उपयोगकर्ता शिकायतों में अघोषित ताजगी।

स्कीमा एवोल्यूशन/सीडीसी त्रुटियों को अनदेखा करना - स्थिरता का नुकसान।

एमवी को लेनदेन के साथ बदलने की कोशिश: एमवी पढ़ ने के बारे में है, न कि सख्त लेखन संचालन के बारे में।

15) त्वरित व्यंजनों

उत्पाद डैशबोर्ड: एमवी मिनट/घंटे की बाल्टी द्वारा, वीआईपी के लिए शेड्यूल + ऑन-डिमांड पर ताज़ा करें, p95 ताज़ा ≤ 60 एस।

निर्देशिका/खोज: सीडीसी (अपसर्ट) से वृद्धिशील प्रक्षेपण, फिल्टर द्वारा सूचकांक, लैग ≤ 5-15 एस।

वित्तीय रिपोर्टिंग: प्रतिक्रियाओं में परमाणु 'REFRESH CONCURRENTLY', चेकसम, "as_of" के साथ एमवी।

ग्लोबल सास: क्षेत्रीय एमवी, एकत्रीकरण क्रॉस-रीजनल रूप से अतुल्यकालिक।

16) प्री-सेल चेकलिस्ट

• ताजा SLA (Δt/p95) API/UX में परिभाषित और परिलक्षित होता है।
• चयनित मोड: बैच रिफ्रेश/वृद्धिशील/स्ट्रीमिंग; स्रोतों (सीडीसी/घटनाओं) का वर्णन किया गया है।
• एमवी को "कार्य द्वारा" डिजाइन किया गया है, सूचकांक और विभाजन हैं, भंडारण एक खिड़की तक सीमित है।
• परीक्षणों द्वारा अपसर्ट/समुच्चय की पहचान की पुष्टि की जाती है; देर से/आउट-ऑफ-ऑर्डर प्रोसेसिंग।
• अवलोकन: ताजगी/अंतराल मेट्रिक्स, अलर्ट, ट्रैकिंग रिफ्रेश।
• प्लेबुक: भाग का पुनर्गणना, एक कनेक्टर विफलता के बाद फिर से तैयार, योजना का विकास।
• एक्सेस और पीआईआई स्रोत के अनुरूप हैं; ऑडिट सक्षम।
• नियंत्रण में लागत: प्रतिधारण, संपीड़न, ताज़ा विंडो समय।
• प्रलेखन: एमवी में क्या सच है, एक व्युत्पन्न परत, व्यावसायिक अपेक्षाएं क्या हैं।

निष्कर्ष

भौतिक अभ्यावेदन पढ़ ने की गति और प्रासंगिकता के बीच एक इंजीनियरिंग व्यापार बंद है। स्पष्ट एसएलए ताजगी, सही योजना, वृद्धिशील अद्यतन और सामान्य टेलीमेट्री के साथ, एमवी विश्वसनीयता और लागत नियंत्रण का त्याग किए बिना - भारी अनुरोधों को पूर्वानुमान योग्य मिलीसेकंड में बदल देता है।