संकेतों और मैट्रिक्स का वितरण

(खंड: पारिस्थितिकी तंत्र और नेटवर्क)

1) उद्देश्य और क्षेत्र

• एकीकृत टेलीमेट्री भाषा और डेटा अनुबंध।
• प्रबंधित QoS चैनल: महत्वपूर्ण संकेतों की प्राथमिकता।
• पारदर्शी SLI/SLO और पूर्वानुमानित सतर्कता।
• गोपनीयता, अलगाव और बजट बचत मैट्रिक्स।

2) सिग्नल टैक्सोनॉमी

1. व्यावसायिक कार्यक्रम: ऑन बोर्डिंग, डिपॉजिट/भुगतान, गेमिंग इवेंट, एट्रिब्यूशन।

2. टेक मैट्रिक्स: विलंबता/थ्रूपुट/त्रुटि कोड, कतार, सीपीयू/रैम/आईओ उपयोग।

3. लॉग: संचालन और त्रुटियों के बारे में संरचित प्रविष्टियाँ।

4. ट्रेस: क्वेरी/टॉपिक स्पैन, हॉप-टू-हॉप सहसंबंध।

5. स्वास्थ्य स्थिति: सिंथेटिक जांच, तत्परता/जीवन, दिल की धड़ कन नोड्स।

6. जोखिम/अनुपालन संकेत: KYC/KYB/AML हिट, प्रतिबंध की घटनाएं।

प्रत्येक वर्ग की अपनी आलोचना स्तर और भंडारण/वितरण नीति है।

3) वितरण वास्तुकला (संदर्भ)

एज कलेक्टर (एसडीके/एजेंट) → इंग्रेस (एचटीटीपी/ओटीएलपी/जीआरपीसी/क्विक) → बस (काफ्का/पल्सर) → प्रोसेसर (स्ट्रीम-जॉब्स) → स्टोरेज (टीएसडीबी फॉर मेट्रिक्स, ऑब्जेक/कॉलम/लॉग्स, ट्रेसर) → शोकेस/डैशबोर्ड/अलर्ट।

मल्टी-टेनेंसी: नेमस्पेस/किरायेदार-आईडी इन कुंजी, व्यक्तिगत कोटा/सीमा/एसीएल।

QoS विभाजन: महत्वपूर्ण (P0), महत्वपूर्ण (P1), पृष्ठभूमि (P2)।

Egress: ग्राहक (Ops/BI/थर्ड-पार्टी) विषयों और भौतिक विचारों की सदस्यता के माध्यम से।

4) अनुबंध और योजनाएं (घटनाएं/मैट्रिक्स/ट्रेल्स)

4. 1 घटनाएँ (सरलीकृत, YAML)

yaml event:
id: uuid kind: business    ops    risk ts: timestamp    # ISO8601 tenant: string    # org_id/namespace source: string    # service/peer-id trace_id: string type: string     # deposit. created    payout. failed    probe. ok...
attrs: object # semantic fields (no PII)
severity: info    warn    error    critical qos: P0    P1    P2

4. 2 मेट्रिक्स (ओपनमेट्रिक्स/ओटीएलपी)

स्थिर लेबल (सीमित कार्डिनैलिटी) के साथ गेज/काउंटर/हिस्टोग्राम।

पहचानकर्ता: 'metric _ name {service, election, kenant, version, route}'.

कोड में p99 के बजाय विलंबता/आयामों के लिए हिस्टोग्राम।

4. 3 ट्रेल्स

आवश्यक क्षेत्र 'ट्रेस _ आईडी', 'स्पैन _ आईडी', 'पेरेंट _ आईडी', 'सर्विस', 'पीयर', 'रूट', 'क्यूओएस' हैं।

डोमेन (उपभोक्ता/उत्पादक) और नेटवर्क हॉप्स (रिले/ब्रिज) के बीच लिंक।

5) QoS और प्राथमिकता

P0 (महत्वपूर्ण): SLI भुगतान/भुगतान, पुल/नोड स्टेटस, बर्न-रेट SLO → सख्त डिलीवरी (acks, retries, idempotency), न्यूनतम समय।

P1 (महत्वपूर्ण): उत्पाद घटनाओं/कुंजी मैट्रिक्स - SLO के भीतर गारंटीकृत डिलीवरी।

P2 (पृष्ठभूमि): विस्तृत लॉग, डिबगिंग → सर्वश्रेष्ठ-प्रयास, आप ओवरलोड होने पर ड्रॉप कर सकते हैं।

राजनेता: विभिन्न कतारें, उत्पादकों के लिए कोटा, बैकप्रेशर, दर-सीमा, दादा द्वारा 'idempotency _ key'।

6) कार्डिनैलिटी और मैट्रिक्स बजट

नियम 6 लेबल: प्रति मीट्रिक, मूल्यों के निश्चित शब्दकोशों में 6 से अधिक नहीं।

कार्डिनैलिटी ≤ 10k समय श्रृंखला/मीट्रिक/किरायेदार।

नमूना: निशान के लिए हेड-/टेल-आधारित; डाउनसैम्पलिंग 10s→1m→5m→1h मेट्रिक्स।

कोटा: अंक/सेकंड और बाइट्स/सेकंड प्रति तम्बू और प्रति QoS वर्ग की सीमा।

लिंटर योजनाएं: "विस्फोट" लेबल (आईडी, ईमेल, आईपी, आदि) के साथ मैट्रिक्स को अस्वीकार करता है।

7) इकट्ठा करें और वितरित करें: पुश बनाम पुल

पुश (OTLP/StatsD/HTTP): लचीलापन, मोबाइल/एज क्लाइंट, P0 चैनल।

पुल (प्रोमेथियस): आंतरिक बुनियादी ढांचा, पूर्वानुमानित लक्ष्य।

हाइब्रिड: exporters→gateway→TSDB; क्षेत्रों के लिए फेडरेटेड स्क्

परिवहन: QUIC/HTTP/2, संपीड़न, कसाई, TLS/mTLS, जिटर के साथ रिट्राई।

8) SLI/SLO और अलर्टिंग

8. 1 बेसिक एसएलआई

उपलब्धता% Endpoints/गेटवे,

महत्वपूर्ण मार्गों पर लेटेंसी p50/p95/p99,

त्रुटि दर (5xx/timeout/abbort),

बस द्वारा डिलीवरी अंतराल, कतार गहराई,

दुकान की खिड़कियों की ताजगी (ingest→serve देरी)।

8. 2 एसएलओ उदाहरण

P0 पाइपलाइन: उपलब्धता ≥ 99। 95%, p99 विलंबता ≤ 400 мс, डिलीवरी लैग p95 ≤ 2 с।

P1: उपलब्धता ≥ 99। 9%, ताजगी p95 ≤ 3 मिनट।

P2: ताजगी p95 ≤ 15 мин,, कोई पृष्ठ नहीं।

8. 3 बर्न-रेट अलर्ट (उदाहरण)

2-घंटे की खिड़की: 'त्रुटि _ बजट _ बर्न 2 ×' पृष्ठ।

6-घंटे की खिड़की: 'त्रुटि _ बजट _ बर्न 1 ×' पृष्ठ/वृद्धि।

'कतार _ लैग' और 'ड्रॉप _ रेट' P0 के साथ जोड़ें।

9) वाल्ट और प्रतिधारण

टीएसडीबी मैट्रिक्स: उच्च-आवृत्ति - 7-14 दिन; समुच्चय - 6-12 महीने

घटनाएं/लॉग: गर्म भंडारण 7-30 दिन, ठंड (वस्तु) 6-24 महीने।

ट्रेल्स: 1-10% का नमूना; "धीमी/गलत" स्पैन (पूंछ-आधारित) की बचत।

PII और डेटा विषय अनुरोधों के लिए विलोपन/संशोधन नीतियां।

10) गोपनीयता, सुरक्षा और अलगाव

पीआईआई कम से कम: टोकन/खेतों का छद्म नाम, मेट्रिक्स में "कच्चे" पहचानकर्ताओं का निषेध।

mTLS/घटना हस्ताक्षर, उत्पादक कुंजी पिनिंग।

ACL/ABAC विषयों/सेवाओं/किरायेदारों पर, लिखने/पढ़ने के लिए अलग कुंजी।

किरायेदार सैंडबॉक्सिंग: तार्किक/भौतिक पृथक्करण, सीमा और दर-सीमा प्रति किरायेदार।

ऑडिट ट्रेल: कॉन्फ़िग में पहुंच/परिवर्तन के अपरिवर्तित लॉग।

11) प्रसंस्करण धाराएँ (धारा नौकरियां)

समृद्धि: सामान्यीकरण, भू/संस्करण/यातायात वर्ग।

कुल: विंडोज 10s/1m/5m, हिस्टोग्राम, मात्रा रेखाचित्र।

पता लगाएं: विसंगतियाँ (EWMA/ESD), वितरण का बहाव, कतारों का फटना।

मार्ग: प्रदर्शन/अलर्ट/वेबहूक भागीदारों के लिए फैन-आउट।

गार्ड: "लाल बटन" - स्रोत/विषय द्वारा थ्रॉटलिंग/किल-स्विच।

12) डैशबोर्ड (संदर्भ लेआउट)

ऑप्स कोर (घंटे/वास्तविक समय): p95 विलंबता, त्रुटि-दर, डिलीवरी लैग, कतार गहराई, सफलता-दर निगलना।

पाइपलाइन स्वास्थ्य: प्रति पाइपलाइन ताजगी, ड्रॉप-रेट, बैकप्रेशर, बर्न-रेट एसएलओ।

किरायेदार उपयोग: पंक्तियाँ/सेकंड, बाइट्स/सेकंड, कार्डिनैलिटी, टॉप-लेबल।

सुरक्षा/अनुपालन: एमटीएलएस स्टेटस, समाप्ति कुंजी, एक्सेस, पीआईआई संशोधन।

बिजनेस लेंस: टेक मैट्रिक्स के बगल में रूपांतरण/भुगतान/पुल एसएलआई।

13) कॉन्फ़िगरेशन उदाहरण

QoS कक्षाएं और सीमाएँ (YAML)

yaml telemetry:
qos:
P0:
topics: [payout. sli, bridge. finality, gateway. availability]
delivery: guaranteed retry:
attempts: 3 backoff_ms: [100, 400, 800]
max_queue_lag_ms: 2000
P1:
topics: [product. events, api. metrics]
delivery: at-least-once sampling: 1. 0
P2:
topics: [debug. logs, verbose. traces]
delivery: best-effort sampling: 0. 1 quotas:
tenant_default:
metrics_points_per_sec: 50_000 logs_mb_per_hour: 500 traces_spans_sampled_pct: 5

मीट्रिक लेबल (राजनीति)

yaml metrics_policy:
allowed_labels: [service, route, code, region, tenant, version]
forbidden_labels: [user_id, email, ip, session_id]
max_label_value_count: 1000

अलर्ट बर्न-रेट

yaml alerts:
- name: "p0_error_burn_2h"
expr: burn_rate_p0_2h > 2 action: [page_oncall, open_incident]
- name: "queue_lag_p0"
expr: queue_lag_ms_p95 > 2000 action: [page_oncall]

14) डेटा स्कीमा और प्रश्न

मीट्रिक रजिस्टर (निर्देशिका)

sql
CREATE TABLE metric_catalog(
name TEXT PRIMARY KEY,
unit TEXT, description TEXT,
labels JSONB, owner TEXT, qos TEXT, sla JSONB
);

कतार और अंतराल

sql
SELECT topic,
PERCENTILE_CONT(0. 95) WITHIN GROUP (ORDER BY lag_ms) AS lag_p95,
SUM(dropped) AS drops
FROM queue_metrics
WHERE ts >= now() - INTERVAL '24 hours'
GROUP BY topic;

टेंट कार्डिनैलिटी

sql
SELECT tenant, metric_name, COUNT(DISTINCT series_id) AS series
FROM tsdb_series
WHERE day = current_date
GROUP BY tenant, metric_name
ORDER BY series DESC
LIMIT 50;

15) प्रक्रियाएं और भूमिकाएँ

टेलीमेट्री मालिक - योजनाएं/नीतियां/कोटा, कार्डिनैलिटी नियंत्रण।

एसआरई/ऑप्स - एसएलओ, अलर्ट, घटनाएं, स्केलिंग।

सुरक्षा/अनुपालन - कुंजी, पहुँच, पीआईआई, ऑडिट।

उत्पाद/बीआई - केपीआई शोकेस, एनालिटिक्स, ए/बी मैट्रिक्स।

किरायेदार (भागीदार) - सही एसडीके एकीकरण, अनुबंध अनुपालन।

16) प्लेबुक की घटनाएं

ए। कार्डिनैलिटी का विस्फोट

1. ऑटो-ब्लॉक निर्माता/मैट्रिक्स, 2) "खराब" लेबल, 3) रेट्रो-एकत्रीकरण, 4) पोस्टमार्टम और लिंटर नियमों को काट दिया।

बी। कतार का उदय P0

1. प्राथमिकता शामिल करें, 2) पार्टियों/उपभोक्ताओं का विस्तार करें, 3) अस्थायी रूप से पी 2 नमूना, 4) अड़ चन विश्लेषण को कम करें।

सी। फ्रेशनेस स्टोरफ्रंट्स का पतन

1. बैकअप कनेक्टर पर स्विच करें, 2) गिरावट मोड चालू करें ("अंतिम अंतिम रूप"), 3) स्रोत मालिकों को सूचित करें।

डी। पीआईआई मेट्रिक्स में रिसाव

1. तत्काल प्रवाह अवरोधन, 2) गर्म परत पर पुनर्विकास, 3) डीपीओ/अनुपालन अधिसूचना, 4) लेंटर/एसडीके अपडेट।

ई। बड़े पैमाने पर 5xx/ट्रेस त्रुटियां

1. पृष्ठ, 2) पूंछ-आधारित नमूना - त्रुटियों के लिए, 3) महत्वपूर्ण मार्ग ट्रेस निदान, 4) रोलबैक/फीचर ध्वज जारी करता है।

17) कार्यान्वयन चेकलिस्ट

1. घटना/मीट्रिक/ट्रेस संविदाओं और स्वीकार्य लेबल की एक सूची को अनुमोदित करें।

2. QoS कक्षाएं, विषय/कतारें, कोटा और मैट्रिक्स बजट बनाएं।

3. इनगेस्ट (पुश/पुल), टीएलएस/एमटीएलएस, रेट्राई और पहचान सेट करें।

4. मेट्रिक्स/इवेंट डिरेक्ट्रीज और स्कीमा लिंटर्स शामिल करें।

5. SLI/SLO, बर्न-रेट अलर्ट और एस्केलेशन को परिभाषित करें।

6. डैशबोर्ड ऑप्स/पाइपलाइन/किरायेदार/सुरक्षा का निर्माण करें।

7. टेलीमेट्री अराजकता परीक्षण चलाएं (हानि/झटका/आसंजन)।

8. नियमित रूप से कार्डिनैलिटी, प्रतिधारण और भंडारण लागत का पुनरीक्षण करें।

18) शब्दावली

QoS - सुपुर्दगी गुणवत्ता/प्राथमिकता वर्ग।

ताजगी - शोकेस में डेटा की उपस्थिति में देरी।

बर्न-रेट - त्रुटि बजट खपत दर एसएलओ के सापेक्ष।

कार्डिनैलिटी - मेट्रिक्स की अद्वितीय पंक्तियों की संख्या (लेबल संयोजन)।

पूंछ-आधारित नमूना - "धीमा/गलत" निशान का चयन।

घटना पुनरावृत्ति डीडुप्लीकेशन के लिए पहचान कुंजी।

नीचे की रेखा: सिग्नल और मैट्रिक्स का वितरण न केवल "एकत्र करें और ग्राफ दिखाएं", बल्कि अनुबंधों, QoS चैनलों और बजट का अनुशासन है। इस ढांचे का पालन करके, पारिस्थितिकी तंत्र परिचालन और व्यावसायिक दोनों रूपरेखाओं में निर्णयों के लिए पूर्वानुमानित अवलोकन, वृद्धि-प्रतिरोधी, डेटा-निजी और उपयोगी लाभ प्राप्त करता है।