Әртүрлі көздерден деректерді біріктіру

Әртүрлі көздерден деректерді біріктіру

Деректерді біріктіру - бұл біртекті ағындарды (өнімдер ДҚ, CRM, төлем провайдерлері, оқиғалар логтары, бөгде тізілімдер) тұтас мәнге және консистентті витриналарға біріктіру процесі. Мақсаты - талдаулар, ML және операциялық кейстер үшін «алтын жазбаны» (Golden Record) және келісілген қималарды алу.

1) Үлгілік сценарийлер мен мақсаттар

360 ° мәні бойынша: клиент/ойыншы, құрылғы, төлем құралы, сатушы.
Транзакцияларды шоғырландыру: бірнеше PSP/кассалар → міндетті демпотенттілігі бар бірыңғай журнал.
Оқиғаларды қалыпқа келтіру: веб/мобайл/бэкенд-логи → оқиғалардың бірыңғай сөздігі.
Байыту: сыртқы анықтамалықтар (гео, FX, AML/санкциялар, маркетингтік көздер).
Бірыңғай метриктер: валюталарды/таймзондтарды, схемалар мен кодтауларды келісу.

2) Көздердің келісімшарттары мен схемалары

• Схема: өрістер, типтер, нуллабельділік, кілт (тер), мәндер домендері.
• Семантика: әрбір өріс (сөздіктер) нені білдіреді.
• SLA: жаңалық/жиілік, максималды кідіріс және out-of-order.
• Эволюция: схемаларды өзгерту саясаты (backward/forward), deprecation.
• Сапасы: кілттердің бірегейлігі, рұқсат етілген диапазондары, референциялық тұтастығы.

3) Сәйкестендіру: кілттер және салыстыру (record linkage)

3. 1. Қатты идентификаторлар

Табиғи кілттер: 'user _ id', 'transaction _ id', 'device _ id', 'iban'.
Прокси-кілттер: e-mail/телефон (қалыпқа келтірілген: тіркелім, бос орындар, елдердің кодтары).
Суррогаттар: 'surrogate _ id' әмбебап кілт болмағанда хаб-кестелерде.

3. 2. Салыстырудың жұмсақ ережелері

Детерминирленген: қалыпқа келтірілген e-mail + ДР дәлме-дәл сәйкестігі; «үй «/» моб »телефон → E.164.
Ықтималдық (фаззи): Jaro-Winkler/Levenshtein атау/мекенжай үшін, TF-IDF/жолдар үшін эмбеддингтер, жеделдету үшін өрескел хэштер/префикстер бойынша «бұғаттау» (blocking).
Графикалық тәсілдер: түйін ретінде мәні, қабырға ретінде сәйкес келуі; байланыстылық компонентін кластерлеу.
«Step-up» стратегиясы: қатаң ережелерден «шекарада» қол ревімен жұмсақ ережелерге.

3. 3. Біріктіру ережелері (survivorship)

Көздің артықшылығы: Мәндер қайшылығы болған кезде «KYC тізілімі> CRM> логи».
Жаңалық: неғұрлым жаңа уақыт белгісі жеңіске жетеді (дұрыстығына түзетумен).
Толтырылуы: prefer non-NULL; жиындарды біріктіру арқылы мекенжайларды/тегтерді біріктіру.
Аудит: «шешім ізін» сақтаңыз - нені және неге қайта жазыңыз.

4) Дедупликация және MDM

MDM-қабат (Master Data Management): «мастер-мәндер» кестесі + «дереккөз → мастер» байланысы.
Golden Record: «confidence »/шындық көзі бар біріктірілген жазба.
Тарихы: Уақытқа байланысты атрибуттар үшін SCD түрі 2 (мекенжай, KYC мәртебесі).
Ұқсастықтар: мерджа кестелері (merge map) «біріктіру «/« құю »күндері.

5) Өзгерістер ағындары: CDC, кешіккендер және телнұсқалар

CDC (Change Data Capture): события `insert/update/delete` + `source_lsn`/offset.
Кешігіп қалған оқиғалар: су таңбалары (watermarks) және күту терезелері (grace period), түзетулерге арналған кеш жаңартуларды сақтау.
Out-of-order: апдейттердің орнын толтыратын кілт пен уақыт бойынша сұрыптау.
Телнұсқалар: идемпотенттік кілттер ('event _ id', 'idempotency _ key'), терезедегі дедуп.
Exactly-once: транзакциялық сингс/стор, детерминирленген логикасы бар 'MERGE'.

6) Таймзондтар, валюталар және күнтізбе

Уақыт: UTC + жергілікті кесінділерді сақтау; анық 'ingested _ at' және 'event _ time' сақталсын.
Валюталар: операция күнгі бағаммен «шикі валютаны» және қалыпқа келтірілген «base _ ccy» сақтау.
Күнтізбелер: әділ салыстыру үшін өңірлер бойынша мерекелер/жұмыс күндері кестелері.

7) Біріктіру үшін псевдо-SQL (upsert/merge)

7. 1. Транзакциялар (идемпотенттік журнал)

sql
MERGE INTO fact_transactions t
USING staging_transactions s
ON t. txn_id = s. txn_id
WHEN MATCHED AND s. updated_at > t. updated_at THEN
UPDATE SET amount = s. amount,
currency = s. currency,
status = s. status,
updated_at = s. updated_at
WHEN NOT MATCHED THEN
INSERT (txn_id, user_ext_id, amount, currency, status, event_time, updated_at)
VALUES (s. txn_id, s. user_ext_id, s. amount, s. currency, s. status, s. event_time, s. updated_at);

7. 2. Пайдаланушының «алтын жазбасы» (көздің басымдығы + жаңалық)

sql
WITH ranked AS (
SELECT s. ext_user_id,
s. norm_email,
s. phone_e164,
s. addr_struct,
s. source,
s. updated_at,
ROW_NUMBER() OVER (
PARTITION BY s. ext_user_id
ORDER BY
CASE s. source
WHEN 'KYC' THEN 1 WHEN 'CRM' THEN 2 ELSE 3 END,
s. updated_at DESC
) AS rn
FROM staging_users s
)
MERGE INTO dim_user_golden g
USING ranked r
ON g. ext_user_id = r. ext_user_id
WHEN MATCHED AND r. rn = 1 THEN
UPDATE SET email = COALESCE(r. norm_email, g. email),
phone = COALESCE(r. phone_e164, g. phone),
address = COALESCE(r. addr_struct, g. address),
source_of_truth = r. source,
updated_at = r. updated_at
WHEN NOT MATCHED AND r. rn = 1 THEN
INSERT (ext_user_id, email, phone, address, source_of_truth, updated_at)
VALUES (r. ext_user_id, r. norm_email, r. phone_e164, r. addr_struct, r. source, r. updated_at);

8) Сапасы және тестілеу

Схема-тесттер: міндетті өрістер, типтер, домендер.
Логика-тесттер: кілттің бірегейлігі, телнұсқаның жоқтығы, «уақытқа кері» жоқ.
Салыстыру (reconciliation): көзі бойынша сомалар vs қорытынды витрина; айырмашылықтар → тикеттер.
Кескіндеу: бөлу, NULL үлесі, «ұзын қалдықтар».
Біріктіру метрикасы: precision/recall салыстырулар, «CONFLICT» үлесі, ≥ табалдырықтан confidence жазбалар%.

9) Бақылау және SLO

SLO жаңалық: витриналар лаг ≤ N минут/сағат; кідірістер мен backlog мониторингі.
Алерттар: дубликаттардың өсуі, қайшылықтардың өршуі, кілттердің coverage құлдырауы.
lineage логтары: қай көзден өрісті алды, қашан және кім қайта жазды.
Рунибуки: оқыс оқиғалар сценарийі (кешіктірілген партиялар, CDC дауылы, дұрыс емес FX).

10) Қауіпсіздік, құпиялылық, комплаенс

PII: псевдонимдеу, идентификаторларды хэштеу, BI-да бүркемелеу.
RLS/CLS: рөлдер мен жолдар бойынша қатынау; экспорт - белгілермен және жарамдылық мерзімімен.
Деректердің өмір сүру мерзімі: сақтау кестелері; жою құқығы (DSAR) және «legal hold».
Анти-қосылыс (re-identification): сезімтал кестелердің джойндарын азайту ережелері.

11) Модельдер мен деректерді ұйымдастыру

Қабаттар: 'raw' (бар болғанындай) → 'staging' (тазалау/қалыпқа келтіру) → 'core' (мастер-мән, факт/өлшеу) → 'marts' (талдау/ML үшін сөрелер).
SCD: 2-түр атрибуттар үшін, 1-түр қателерді түзету үшін; анық 'valid _ from/valid _ to'.
Feature Store: түрлендіру функциялары онлайн/офлайн ұқсас; point-in-time дұрыстығы.

12) Сату паттерндері

ELT семантикалық қабатпен: бірігу логикасы декларативтік түрде сипатталған (ережелер, басымдықтар, кілттер).
Стрим + микробатч: near-real-time витриналар үшін - watermarks-пен 1-15 мин микробатч.
Graph-linkage: күрделі сәйкестендіру үшін жеке хаб-баған (құрылғылар, карталар, мекенжайлар).
Step-up валидациясы: жаңа linkage ережелерін shadow режимінде қосу, дәлдік өлшемдерін жинау.

13) Қосылу контурын шығару алдындағы чек-парақ

• Дереккөздердің келісімшарттарына қол қойылды; өрістердің сызбалары мен сөздіктері келісілген
• Кілттер/linkage ережелері анықталған; дедупликация стратегиясы бар
• Survivorship ережелері және көздердің басымдықтары берілген; аудит-лог қосылған
• CDC/сәйкестік/кеш деректерді өңдеу іске асырылды
• Валюталар/таймзондтар/күнтізбе қалыпқа келтірілді
• Сапа тестілері мен салыстыру теңшелген; бақылау дашбордтары бар
• SLO жаңалық және қол жетімділік тіркелген; алерттар мен рунибуктар дайын
• PII/қолжетімділік/сақтау комплаенс талаптарына сәйкес келеді
• Құжаттама: мән паспорты, lineage схемасы, сұрау үлгілері

14) «Алтын жазба» паспорты (шаблон)

Мәні: 'USER _ GOLDEN'

Кілт: 'user _ master _ id' (surrogate), мэппингтер 'source _ user _ id []'

• 'email': қалыпқа келтіру + артықшылық 'KYC> CRM> LOGS'
• 'phone': E.164 қалыпқа келтіру, верификация бойынша сплит
• `name`: Jaro-Winkler ≥ 0. 92. Fallback - «KYC» көзі
• 'address': құрамдас нысан; біріктіру + жаңалық басымдығы
• Тарихы: SCD2 ('valid _ from/valid _ to')
• Lineage: донор өрістердің сілтемелік тізімі
• Сапасы: coverage ≥ 98%, телнұсқалары ≤ 0. 3%
• SLO: жаңалық ≤ 1 сағат, қол жетімділік ≥ 99. 9%
• Иелері: Data Platform, KYC/AML
• Тәуекелдер: аттардың қайшылығы, «отбасылық» телефондар, shared-devices

15) Қорытындылар мен ұсынымдар

Біріктіру тек «JOIN кілті» ғана емес, контур: дереккөздердің келісімшарттары → сәйкестендіру және дедуп → басымдықтар және «алтын жазба» → CDC және кешіктірілген → сапа және бақылау → қауіпсіздік және өзгерістер тарихы.
Ережелерді ашық жасаңыз, әрбір шешімнің аудитін сақтаңыз, SCD және exactly-once-ды қолдаңыз. Осылайша, ондаған дереккөздерден алынған деректер өнімге, аналитикаға және ML-ге арналған сенімді сөрелерге және тұрақты метрикаларға айналады.