Ինսայթ իրական ժամանակում
1) Ի՞ նչ է «ինսայթ իրական ժամանակում»
Իրական ժամանակում ինսայթ-ն ստուգված հայտարարություն է գործընթացի/օգտագործողի/համակարգի ներկա վիճակի մասին, որը հայտնվում է հետաձգման (լատենտ) սահմաններում, բավարար է որոշում կայացնելու համար (վայրկյան-րոպե)։
Բանաձևը բացատրվում է. Մի իրադարձություն, որը տեղի է ունենում Հարստացման/ագրեգատիվացիայի միջոցով։
Օրինակներ ՝ գործարքների հակաֆրոդ (555մզ), SLO 240 (2460 s), անձնական առաջարկություն էջի վրա (24200 մզ), դինամիկ քրոնսինգը (245 գ), քարոզարշավի իրականացումը (241 րոպե)։
2) Լադոնի ճարտարապետությունը
1. Ingest: Brocker (Kafka/Pulsar/NATS/MQTT), սխեմաների պայմանագրեր (Avro/Delobuf), գաղափարականության բանալիներ։
2. Հոսքային բուժում (CEP/Stream): Flink/Spark Structured Streaming/ksqlDB; պատուհաններ, watermarks, stateful օպերատորներ։
3. Առցանց ֆիչին և վիճակը 'Feature Store (onation) + kash/TSDB (Rocult DB/Redis) արագ Join/lookup համար։
4. Առցանց սկորինգը/կանոնները 'մոդելներ (ONNX/TF-Lite/XGB), rule-entine, ենթատեքստը։
5. Serving insait: low-latency API, webhuks, թիմերի անվադողեր (action bus), հարմարվողական dashbords։
6. NTAR/witrins real-time: Ռուսական նյութականացում (ClickHouse/Pinot/Deluid/Deluid + CDC)։
7. Դիտարկումը և SLO-ն 'լատենտության/լագերի/սխալների, ուղիների, ալերտերի չափումներ։
8. Կառավարումը և անվտանգությունը 'OTA/fich դրոշներ, RFC/CLS, դիմակավորում, աուդիտ։
3) Ժամանակավոր մոդել 'պատուհաններ, watermarks, ուշացած
Պատուհաններ ՝ tumbling/sliding/session; վիտրինի համար հիբրիդ է (1s 355s 2460s roll-ups)։
Watermark: սահմանը, որից հետո պատուհանը «փակվում է»; հավասարակշռություն թարմ և ամբողջական միջև։
Late-ը '«Direct _ late» (օրինակ ՝ 2 րոպե), փոխհատուցման վերափոխումները։
Out-of-order: Մենք համախմբում ենք «event _ time» -ը, որը պահպանում է «ingested _ at» ֆորուլֆիկի համար։
4) Exactly-once իմաստը և գաղափարախոսությունը
Տրանսպորտը հաճախ at-least-once է, այնպես որ մենք ստանում ենք exactly-once իմաստը
գլոբալ 'event _ id', idempotency keys աղյուսակներ;
upsert/merge-sinks;
state apshots + գործարքային համայնքները (2-phom/transaction log);
դետերմինացված փոխակերպումները և ատոմային սվապը վիտրինի հրապարակման ժամանակ։
5) Հարստություն և հարստություն
Stateful-օպերատորներ ՝ key-by (user/device/merchae), ագրեգատներ, top-K, distinct։
Առցանց Join: արագ lookup աղյուսակներ (օրինակ, հաճախորդի պրոֆիլը, ռիսկի սահմանները)։
Քեշինգը ՝ LRU/TTL, ջերմ ֆիչեր, գրքերի տարբերակումը։
Online/wwww.fich-ի համաձայնությունը 'Feature Store-ում միասնական առանձնահատկություն։
6) Ինսայթ կղզին պարզապես մետրիկ է
Ինսայթ ավելացնում ենք լուծումների քարտը ՝ վարկած/համատեքստային այլընտրանքի համատեքստը, որն առաջարկվում է գործողությամբ։ Ռուսական ռիսկի/guardrails ազդեցությունը բացատրում է սեփականատերը/առաքման ալիքը։
Zero-click ինսայթ 'կարճ տեքստը + պատրաստ կոճակներ (appied ինքնաբերաբար, եթե low-risk)։
7) Անոմալիաներ, պատճառներ և փորձեր
Դետեկտիվ ՝ robust z-score/ESD, seasonal-decompose, change point (CUSUUM/BOCPD), էսքիզներ (TDigest/HMS) մեծ հոսքերի համար։
Պատճառն այն է, որ մենք խուսափում ենք «աղմուկի արձագանքից», մենք ապացուցում ենք քվազի փորձարկումների/վերահսկողական հատվածների միջոցով էֆեկտը։
Առցանց փորձարկումներ 'bandits/UCB/TS-ը, որպեսզի ընտրի գործողությունը սահմանափակ ժամանակում, guardrail-մետրիկները (SLA, բողոքներ, ավելացումներ)։
8) SLO-ը real-time ինսայթ համար
Latency p95/p99 end-to-end (ingest)։
Freshness վիտրինը (max lag)։
Completeness-ը պատուհանի սահմաններում (ուշ հաշվարկված մասնաբաժինը)։
Action Rate/Success Rate (քանի ինսայթ վերածվեց գործողության/ազդեցության)։
Cost-to-Insight (CPU/IO/GPU/դոլար, 1 ինսայթ)։
Մատրիցայի օրինակ 'հակաֆրոդ p95-300 մզ, completeness 2499։ Հինգ տոկոսը, cost/1k իրադարձությունները H. դոլար են։
9) Ինսայթ առաքումը և գերակայությունը
Որտեղ 'webhuks, www.bus "actions։ ", API dashbords, push/chat-bots, CRM/CDP։
Առաջնահերթություններ ՝ Gold/Silver/Bronze; Գոլդը առանձին փամփուշտներ և ջրանցքներ են։
Dedline: Եթե «deadium» -ը դասարանի կրճատումն է կամ վերացումը։
10) Տնտեսությունը և քայքայումը
Cost-a.ru ռազմավարություն 'պարզեցված մոդելներ, ավելի մեծ պատուհաններ, sampling պիկի ժամանակ։
Graceful degradation: fallback կոպիտ ագրեգատների/կանոնների, «ջերմ» սարքավորման վրա։
Backpressure & shed-load: best-effportion, Gold պահպանումը։
11) Անվտանգությունն ու գաղտնիությունը
RSA/CLS-ը հոսող վիտրինների վրա։ բաժանումը տենանտով/տարածաշրջանով։
PII-ի խմբագրությունը եզրին 'խառնուրդ դեպի կենտրոն։
Գաղտնիքները և հասանելիությունը ՝ mTSA, կարճ հոսանքներ, հարցումների/էքսպորտի աուդիտ։
Էքսպորտի քաղաքականությունը '«հում» real-time PII-ի արգելքը դուրս է գալիս առանց հիմքի։
12) Real-Time-ի դիտարկումը
Բայերն ըստ տեղանունների/բեկորների, queue depth, watermark skew։
p95/p99 յուրաքանչյուր շերտի վրա, error rate, reprocess count։
System-quality-ը առցանց 'դուբլիկատներ, nast-rate, բաշխման անոմալիաներ։
Թրեյսինգ 'trace-id-ի միջոցով իրադարձությունից մինչև գործողություն։
13) Անտիպատերնի
«Ամեն ինչ real-time» է։ Ավելորդ ծախսերը և աղմուկը։ առաջադրանքների մի մասը ավելի լավ է, քան batch/near-real-time։
RF-ն և «ազատ» սխեմաները առանց գործողությունների։
Պատուհաններ առանց watermarks. Կամ հավիտենական պատուհաններ, կամ հետագայում կորուստ։
Ոչ մի կուռք չկա։ Կրկնակի գործողություններ/սպամ։
Առանց guardrails. «Կեղծ պոզիտիվ» արձագանքը վնասում է։
OLTP-ը վերլուծաբանների կրակի տակ։ Մեկուսացում չկա 'պրոդ գործարքների քայքայումը։
14) Ճանապարհային քարտեզը
1. Discovery: իրադարձություններ, լուծումներ, dedline, ռիսկեր։ դասակարգեք Gold/Silver/Bronze։
2. Տվյալների պայմանագրերը 'սխեմաներ (Avro/Medobuf), բանալիներ, գաղափարախոսության քաղաքականություն։
3. MVP հոսքը 'մեկ կրիտիկական լուծում, պատուհան/WM, պարզ կանոնները + առցանց ֆիչի։
4. Վիտրինները և սերվինինգը 'ռեմենտալ նյութականացում, low-latency API։
5. Դիտարկումը 'բայերի վահանակներ/latency/SLO, ալտերտեր; մայրուղին։
6. Մոդելներ և փորձարկումներ 'առցանց արագ, bandits/guardrails։
7. Hardening: backpressure, քայքայումը, cost-պրոֆիլը; աուդիտ և գաղտնիություն։
8. Scale: Մուլտֆիլմի շրջան, edge-վերլուծություն, հոսքերի գերակայություն։
15) Չեկի թուղթը նախքան թողարկումը
- SLO (latency, freshness, completeness) և սեփականատեր։
- սխեմաները տարբերակված են; արգելված է 'III III "; կա idempotency-keys։
- Պատուհանները և watermarks, քաղաքական գործիչը late to/protection։
- Exactly-once իմաստը 'ups.ru/merge-sinks, ատոմային publish։
- Առցանց ֆիչին համաձայնեցված է ռուսական գործընկերների հետ։ kashi TTL-ի և տարբերակների հետ։
- Guardrails գործողությունների համար; ջրանցքները գերակա են. dedline նշվում է։
- Loblagov/latency/SLO; մայրուղին միացված է; ալերտներ SLO վտանգի համար։
- Գաղտնիության քաղաքականությունը (RFC/CLS/PII) և էքսպորտի աուդիտը ներառված են։
- Runbooks didations-ը պատրաստ է (rollback/slow-path)։
16) Մինի ձևանմուշները (կեղծ-YAML/SQL)
Պատուհանի քաղաքականությունը/ուշացած
yaml windowing:
type: sliding size: 60s slide: 5s watermark:
lateness: 120s late_data:
accept_until: 90s recompute: trueIdempotent sink (SQL ուրվագիծ)
sql merge into rt_fact as t using incoming as s on t. event_id = s. event_id when not matched then insert (...)
when matched and t. hash <> s. hash then update set...Guardrails կանոնները գործողությունների համար
yaml action_policy:
name: promo_offer_rt constraints:
- metric: churn_risk_score; op: ">="; value: 0. 7
- metric: complaint_rate_24h; op: "<"; value: 0. 02 cooldown_s: 3600 owner: "growth-team"Alerta SLO
yaml alerts:
- name: e2e_latency_p95 threshold_ms: 1500 for: 5m severity: high
- name: freshness_lag threshold_s: 60 severity: high17) Արդյունքը
Իրական ժամանակում ինսայտները ոչ միայն «արագ գրաֆիկներ» են, այլ որոշումների ինժեներական իրականացումը 'իրադարձությունների խիստ պայմանագրեր, ճիշտ ժամանակային տրամաբանություն (պատուհաններ/watermarks), գաղափարական հրատարակություններ, որոնք պարունակում են առցանց ֆիչին, գործողության գերակայված առաքումը և SLO-ի դիտարկումը։ Երբ այս նախաձեռնությունը աշխատում է, կազմակերպությունը արձագանքում է ժամանակին, անվտանգ և կանխատեսելի, փոխակերպելով իրադարձությունների հոսքը չափված բիզնեսի արժեքի մեջ։