WindoOps-ը և տվյալների կառավարումը

1) Ի՞ նչ է Intel Ops-ը և ինչո՞ ւ է այն անհրաժեշտ։

SysteOps-ը պրակտիկայի, գործընթացների և գործիքների մի շարք է, որոնք տվյալների հետ աշխատանքը վերածում են կրկնվող և կառավարվող փոխակրիչի 'հավաքումից և սխեմաների փոփոխությունից մինչև ամսաթվի և մետրի հրապարակումը։ Նպատակը ավելի արագ և անվտանգ է բարձրորակ տվյալները սպառողներին (արտադրանք, վերլուծություն, ռիսկ, ML), պահպանելով պահանջների և օպտիմալ արժեքի համապատասխանությունը։

Հիմնական արդյունքները

Կանխատեսելի SLAS-ը տվյալներով (արդիականությունը, ամբողջականությունը, ճշգրտությունը)։

Արագ և անվտանգ փոփոխությունները (CI/CD/CT տվյալների համար)։

Ծագման թափանցիկությունը (lineage) և ունեցվածքը։

TCO-ի նվազումը (ստանդարտ, հաշվարկներ, տվյալների փոխանցում)։

2) Ճարտարապետական արտոնագրեր

DirectLake (օբյեկտի պահեստ, հումք) 'էժան, ճկուն, բայց անհրաժեշտ է խիստ Medio Ops։

Warehouse (OLAP/SQL, մոդելավորում) 'արագ վիտրիններ, խիստ սխեմա։

Lakehouse (պլանշետներ + ACID: Corta/Iceberg/Hudi) 'lake և warehouse, time-travel, ups.ru/merge։

Delallion շերտերը

Bronze (հում, անփոփոխ) www.Silver (մաքրված, մաքրված) www.Gold (ագրեգատներ/վիտրիններ/ML)։

Serving շերտերը ՝ MSH/OLAP (BigQuery/ClickHouse/Winowflake և այլն), API/գրաֆիկ, feature store, kash։

Առաջարկություն 'պահել ճիշտ մեկ «ճշմարտության աղբյուրը» շերտի վրա, իսկ փոխակերպումները' որպես կոդ 'տարբերակով և թեստերով։

3) Հիբրիդային մոդելը և ամսաթվերը

SysteMesh-ի մոտեցումը 'տվյալների սեփականությունը մետրոպոլիտենի թիմերի մոտ։ Nott owner-ը պատասխանատու է որակի և SLO-ի համար։

Տվյալների պայմանագրերը 'սխեմաներ, սեմանտիկա, SLA/SLO (օրինակ, "ռուսական վիրահատությունները հասանելի են 07: 00 UTC-ով 99 ճշգրտությամբ։ Հինգ տոկոսը և ուշացումը ոչ ավելի, քան 10 րոպե ռուսական ելույթներով")։

Ինտերֆեյսներ ՝ SQL աղյուսակներ/wukhi, CDC-topics, API/GraphQL։ Ռուսական տարբերակումը և դեպրեսիայի քաղաքականությունը։

4) Ինտեգրում ՝ աղբյուրներ և բեռնման արտոնագրեր

ETL/ELT-ը 'քաշել պլանավորումը վերափոխել (MSH/Lake)։ ELT նախընտրելի է հզոր OLAP-ի հետ։

CDC (Change Windows Capture) 'սթրիմինգի փոփոխություններ (Debez.ru and pr.) - ցածր ուշացում և ճշգրիտ գրանցումներ։

Batch vs Stream: հիբրիդ - հոսք «տաք» իրադարձությունների համար, խաչմերուկների և բեքֆիլների համար։

Առաքման սեմանտիկան 'at-least-once + idempotent merzi; dedup բաների/ժամանակի; exactly-once-like-ը գործարքային ձևերի շնորհիվ։

5) Սխեմաների և էվոլյուցիայի կառավարումը

Schema Registry-ը և պայմանագիր-թեստերը 'ավելացրեք դաշտերը անխուսափելի, արգելեք breaking-փոփոխությունները առանց նոր տարբերակի։

Տարբերակումը (V1 71 V2) 'զուգահեռ հրապարակումը, պատուհանը, սպառողներին ալտերտերը։

Տեսակների և չափման միավորների քաղաքական գործիչները 'արտարժույթ, թայմ գոտիներ, idempotency-բանալիներ։

6) Տվյալների որակը (Windows Quality, DQ)

Հիմնական չափումները ՝ ամբողջականությունը, ճշգրտությունը, ներդաշնակությունը, եզակիությունը, վարվելակերպը, թարմությունը/արդիականությունը, կրկնօրինակների բացակայությունը։

Պրակտիկա

Որակի թեստերը որպես կոդ 'յուրահատուկ բանալիներ, միջակայքներ, հանրաքվեներ, բիզնես կանոններ (օրինակ ՝ ենթաշերտ = արդյունք)։

Euract/Expectation թեստերը յուրաքանչյուր շերտի վրա (Bronze/Silver/Gold) և CI-ում։

Կարանտինային գոտիները 'տվյալները, որոնք չեն անցել ստուգումները, չեն ընկնում Gold-ում։

Թարմության պայմանագրերը 'medicit freshness SLA և burn-rate-alerts ուշացման համար։

7) Տվյալների դիտարկումը (Www.Observability)

SLI-ն ասում է.

Lineage (ուղու միջոցով) 'X դաշտից, ով սպառում է Y աղյուսակը։ կախվածության գրաֆիկի տեսողականությունը։

Intel anomalis: Տենդենցներ/բաշխումներ, հանկարծակի թուլեր/պիկի, կտրվածքային նշաններ։

Ալերթ քաղաքական գործիչներ 'կարճ պատուհան (աղետներ) + երկար (սողացող դեգրադացիաներ), էսքալացիաներ թվերի սեփականատերերի վրա։

8) Անվտանգությունն ու գաղտնիությունը

Տվյալների դասակարգումը ՝ PII/ֆինանսական/զգայուն/հանրային։ Տեղադրված է սյուների և էսքիզների վրա։

Մուտքի վերահսկումը ՝ RBAC/ABAC, row-/column-level, դիմակավորում, դինամիկ դե նույնականացում։

Կրիպտոգրաֆիա 'at-rest/in-transit կոդավորումը; tokenization և կեղծանունացում PII-ի համար։

Պահեստային գծերը 'տաք/տաք/սառը; ռեթենզիայի քաղաքականությունը և «մոռացության իրավունքը»։

Աուդիտ և անփոփոխ 'ով է կարդում/փոխում; արտեֆակտների ստորագրման լոգ; արտեֆակտների արտահանումը կարգավորողների համար։

9) Նվագախումբ, CI/CD/CT և փոփոխությունների կառավարում

Նվագախումբը 'Airflow/Argo/Kedro և այլն; դիագրամային DAG/հոսքերը կախվածություններով և գաղափարական խնդիրներով։

CI/CD/CT (Continuus Testing) 'SQL/Python ոսպնյակներ, փոխակերպման յունիտ թեստեր, ինտեգրացիոն թեստեր մեկուսացված սամպլներում, www.tes.ru-ից առաջ։

Միկրոշրջան ՝ dev nostage no; նույն մանիֆեստները; վերահսկել դրոշները/ֆորումները։

Բեքֆիլները '«heavyweight» վիրահատություն, որը սահմանափակվում է ռեսուրսներով և պարզ պատուհաններով։ իդեմպոտենցիայի և դեդուպլյացիայի վերահսկողություն։

10) Ծախսերի կառավարումը (WinFinOps)

Արժեքի մոդելները 'պահեստավորում (ընդհանուր դասարանի ծավալը), սկաններ/հարցումներ, egress, երկար բեքֆիլներ։

Օպտիմիզացիան 'կուսակցականացում/կլաստերիզացիա, Z-ordering/տեսակավորում, ժամանակի միավորում, արդյունքի պտույտների նյութականացում, ագրեսիա և հսկայական լուծումներ։

Տվյալների յունիտային տնտեսությունը '$/1 միլիոն տող Gold, դոլար/մեկ զեկույց, դոլար/ֆիչ ML-ի համար։

SLO-գիտակցված թարմություն 'հաշվել այնքան հաճախ, որքան պահանջում է ապրանքը, և ոչ թե «ամեն 5 րոպե սովորույթով»։

11) Winter Live Films (MDM) և գրողներ։

Ոսկե գրառումները (golden records) 'հաճախորդների/մերչանտների կրկնօրինակներ, հաշիվների հիերարխիա։

Տեղեկատու/հանրաքվեներ ՝ արժույթներ, երկրներ, BIN ցուցակներ, պրովայդերների ցուցակներ 'տարբերակներով և գործողությունների պատուհաններով։

Բաղադրիչները 'կայուն բանալիներ, cross-international ID, mapings many-to-one։

12) ML-fici և վերլուծական վիտրիններ

Feature Store: Նշանների տարբերակումը, ժամանակը-travel, առցանց/օֆլայնային կոնսիստենտություն։

DS/ML: SLAS թարմ/dreaff; սխեմաներ և թույլատրելի միջակայքներ։

Vitrins BI: Ստուգված «միակ տարբերակները» հիմնական մետրիկ (DAU/GMV/ARPPU և այլն) թեստերով։

13) Տվյալների համար RCA և RCA գործընթացները

Դետեկտիվ 'վալիդության անկում, բեռնման ուշացում, սխեմաների փոփոխություն առանց անոնսի, բաշխման անոմալիա։

Էսկալացիա 'ապրանքի սեփականատերը ռուսական նվագարկիչ/պլատֆորմը մեջբերում է աղբյուրը/պրովայդերը։

Միտումնավոր գործողություններ 'հրատարակությունների ֆրիզը, վերջին վերափոխումը, նախորդ «լավ» տարբերակի հրապարակումը, նշումներ տվյալների կարգավիճակի էջում։

RCA (105-ֆոկուս) 'արմատները' սխեմաների/105, աղբյուրի ուշացումը, սխալ բիզնես կանոնները, դրեյֆը։

CAPA 'վերահսկում են սխեմաները, նոր թեստերը, սկաններին լիմիտները, օրինագծերի ծանոթությունները, ուսուցումը։

14) Դերեր և պատասխանատվություն (RACI)

Not Owner: SLA/SLO, գերակայություն, roadmap։

Interneer/Analytics Engineer: Windows, մոդելավորում, թեստեր, օպտիմիզացում։

Platform/Infra 'նվագախումբ, lake/warehouse, անվտանգություն և հասանելի։

Governations/Steward: Կատալոգը, որակը, դասակարգումը, պահանջների համապատասխանությունը։

Sec/Compliance: Գաղտնիություն, աուդիտ, կարգավորող հաշվետվություններ։

Բիզնեսի սեփականատերերը '«ճշմարտության» ցուցանիշների սահմանումը և վերահսկումը։

15) Կատալոգը և մետատվողները

Catalog-ը 'աղյուսակների/դաշտերի նկարագրություն, սեփականատերեր, թեգեր (PII/ֆինանսներ), հարցումների օրինակներ, որակի մակարդակներ։

Active Metadata-ը 'lineage-ն, դիմումների ժողովրդականությունը, օգտագործման առաջարկությունները։

Glossary (բիզնես բառարանը) 'հաշվարկման ցուցանիշների և կանոնների սահմանումը, տարբերակը և սեփականատերը։

16) Dashbords You Ops (նվազագույն հավաքածու)

Դելպլինների առողջությունը 'հաջողությունը/առաջադրանքների սխալը, DAG լատինականությունը, կատարման միջին ժամանակը, հերթը։

Որակը և թարմությունը 'թեստերի լիդիությունը, Bronze/Silver/Gold շերտերի ուշացումը, կարանտինի մասնաբաժինը։

Lineage-վյու 'X աղյուսակի նվազման ազդեցությունը Y- ի սպառողների վրա։

Ֆինանսներ 'պահուստների և սկանների դոլար, «թանկ» հարցումներ/մոդելներ, խնայողություններ նյութականությունից։

Փոփոխություններ ՝ փոխակերպման օրինակներ, սխեմաների փոփոխություններ, ալտերտեր։

17) Չեկ-թերթ «Պատրաստակամություն-ապրանքի»

• Նկարագրված են մուտքեր/ելքեր, սեփականատեր և SLA/SLO (թարմ/ամբողջական/ճշգրտություն)։
• Մեթոդներն ու պայմանագրերը պահեստում, ներառում են որակի թեստեր (վալիդիզմի շեմն)։
• Lineage և կատալոգ; PII/դասակարգումը օգտագործվում է։
• Հասանելի են RBAC/ABAC, դիմակավորում և վերափոխման քաղաքականություն։
• Օրկեստրացիան և ալերտները 'կարճ և երկար պատուհաններ, շարժասանդուղքներ։
• Բեքֆիլները idempotent; կա արձագանքի և կարանտինի պլան։
• Արժեքի օպտիմիզացումը 'կուսակցություն/կլաստերիզացիա/նյութականացում։
• Ռոտմետրիկ և հարցումների օրինակներ։

18) Anti-patterna

«Winswamp»: lake առանց սխեմաների/www.ru/սեփականատերերի հայտարարվում է չօգտագործված և թանկ տվյալներ։

Աղբյուրի սխեմայի փղը բացատրում է կասկադային միջադեպերը։

Թեստերը միայն խմբագրության մեջ են, ավելի ուշ հայտնաբերում, թանկ ուղղումներ։

Մեկ ընդհանուր «արծաթե մուրճ» փոխակերպումներ բոլոր ածխաջրածինների համար։

Կարանտինի բացակայությունը 'ամուսնությունը ընկնում է Gold և BI-ում։

Անթույլատրելի ժայռերը/ջոյները «հաջողության վրա» բացատրում են արժեքի պայթյունը։

PII-ը լոգարաններում/սամպլներում, ռենտենիայի և դիմակավորման բացակայությունը։

19) Մինի ձևանմուշները

SLA ձևանմուշների համար

Թարմություն: 99 տոկոսը հայտարարությունների ոչ ուշ, քան T + 10 րոպե; ամբողջական վերահաշվարկ '07:00 UTC D + 1։

Լիխտա ՝ 3699։ vs-ի ձայնագրությունների 7 տոկոսը աղբյուրներ; բեկորները։

Ճշգրտությունը 'տարբերությունը վերահսկողական մետրիկայի հետ 240։ 3%.

Հասանելիությունը 'SQL-endpoints/wukhi հասանելի է 3699։ 9% (28 օր)։

Էսկալացիայի ալիքը, սեփականատերը, աջակցության պատուհանը։

Սխեմաների տարբերակման քաղաքականությունը

Minor 'ավելացնելով արտանետվող դաշտերը, back-compatible-ը։

Major: Հեռացում/փոխակերպում; Զուգահեռ V1/V2 հրատարակությունը N շաբաթ; դեպրեքսային նշաններ։

Backfill պլանը

Աղբյուրը, ամսաթվերի միջակայքը, արժեքը/ժամանակը գնահատելը, գաղափարախոսությունը, գործարկման պատուհանը, հաջողության չափանիշները, արձագանքը։

20) Live Ops-ի իրականացման քարտեզը (օրինակ 8-12 շաբաթ)

1. Մոսկվան։ 1-2 'աղբյուրների բուլարիզացիան, օրինագծերի քարտեզը, Lakehouse/OLAP ընտրությունը, կատալոգը։

2. Մոսկվան։ 3-4 'սխեմաների/կոդերի ստանդարտները, CI/CD/CT կմախքը, հիմնական DQ թեստերը։

3. Մոսկվան։ 5-6: lineage և alerts թարմ, կարանտին, առաջին SLA ամսաթվերը։

4. Մոսկվան։ 7-8: FinOps օպտիմիզացում (կուսակցություն/նյութականացում), բեքֆիլներ օրինաչափությամբ։

5. Մոսկվան։ 9-12: MDM/հանրաքվեներ, RBAC/դիմակավորում, RCA պրակտիկա 2019-2019, KPI հասունության համար։

21) Արդյունքը

SysteOps-ը վիրահատական համակարգ է տվյալների հետ 'կառավարական պատասխանատվություն, պայմանագրեր և թեստեր, փոփոխությունների ավտոմատացում, դիտարկելիություն և անվտանգություն, տնտեսագիտություն և պրոցեսներ։ Այս մոտեցման դեպքում տվյալները դառնում են հուսալի ապրանք, դրանք կարելի է տարբերակել, չափել, մեծացնել և վստահորեն օգտագործել որոշումների, հաշվետվությունների և ML-ի կայացման մեջ։