Тізбекаралық талдау

(Бөлім: Экожүйе және Желі)

1) Тізбекаралық талдау дегеніміз не және ол не үшін қажет

• Құндылық пен белсенділіктің бірыңғай есебі: көлемдер, өтімділік, комиссиялар, ретеншн.
• Көпірлер мен P2P-байланыстарды бақылау: аяқтау, лагтар, reorg/challenge оқиғалары.
• Трафик пен конверсияның атрибуциясы: чейн → чейн, арна → өнім.
• Тәуекел және комплаенс: AML, санкциялар, мінез-құлық фроды, мәнін сәйкестендіру.
• Шешімдер қабылдау: OKR/бюджеттер, лимиттер, жаңартулар мен өтімділік регламенттері.

2) Деректер көздері және оқиғалар (каноникалық тізім)

1. Тізбектер/тізілімдер: блоктар, транзакциялар, оқиғалар логтары, смарт-келісімшарттардың жай-күйі.
2. Көпірлер: өтінімдер, түбіртектер, дәлелдер (light/optimistic/ZK), аяқтау мәртебелері.
3. Төлемдер провайдерлері/АҚК: тексерулерден өту, лимиттер, төлемдердің мәртебесі.
4. Өнімдік оқиғалар: онбординг, депозиттер/ставкалар/қорытындылар, ойын және мінез-құлық өлшемдері.
5. P2P-көлік: Pub/Sub түбіртек, RPC-сәттілік, latency.
6. Анықтамалықтар: желілер, активтер, decimals, chainId, келісімшарттардың мекенжайлары, SDK нұсқалары.

3) Деректер архитектурасы (ағындар мен қоймалар)

Ingest (стриминг): нод/индекстерге коннекторлар, webhooks көпірлер, операциялық ДБ-дан CDC.
Шикі қабаттар (Bronze/Raw): 'observed _ at' белгісі және көздің метадеректері бар өзгермейтін партиялар.
Тазарту/қалыпқа келтіру (Silver): дедуп, семантикалық байыту, таймзондарды теңестіру, активтердің маппингі.
Ядро модельдері (Gold/Core): біріздендірілген фактілер 'transfers', 'bridges', 'onchain _ events', 'kyc _ status', 'payouts'.
Витриналар (Marts): қаржы (GTV/TVL/Take Rate), өнім (ретеншн/құйғыштар), тәуекел (скорингтер), операциялық (SLO).
Кеш/Serve: Дашбордтар мен API үшін OLAP/HTAP, және/tx мекенжайлары бойынша жеке іздеу.

Көлік: Kafka/Pulsar (іспеттестік үстінен exactly-once semantics), шикізатқа арналған объектілік сақтау орны, талдамаға арналған паркет/бағаналы форматтар.

4) Аяқталу, реорги және іспеттілік

Оқиғаның күйі: 'observed' → 'confirmed (k)' → 'finalized' → 'invalidated (reorg)'.
Растау ережесі (K-confirmations): желі/актив түрі бойынша теңшеледі.
Optimistic/Challenge терезелері: көпірлер үшін «даулы» мәртебені қолдау.
Сәйкестік: 'idempotency _ key = chainId' block 'tx' logIndex 'topic' (немесе пайдалы жүктеме хэшы).
Қайта ойнату (replay): жоспарлы backfill және индексті ауыстырғанда қалпына келтіру.

5) Ұқсастықтар мен мәндер моделі (entity resolution)

Мекен-жайы → Актор: мекенжайлар, кілттер, әмияндар, аккаунт/ұйым/провайдер.
Кросс-тізбекті баған: мекенжайлардың бір иесімен байланысы (эвристика, қолдар, онбординг-деректер).
Сенімділік деңгейлері: hard-link (KYC, on-chain қолтаңбасы), soft-link (мінез-құлық корреляциялары).
Бүркеншік атау: талдауда PII орнына тұрақты идентификаторларды (PID) сақтаңыз.

6) Оқиғалардың біріздендірілген схемасы (оңайлатылған)

yaml event:
id: string # global UUID observed_at: timestamp # when they saw chain_id: string # 'eth-mainnet', 'solana-mainnet',...
block_height: long tx_hash: string log_index: int event_type: string    # transfer    bridge. lock    bridge. mint    kyc. pass    payout. done...
status: string      # observed    confirmed    finalized    invalid actor_src: string # address/peer-id/source organization actor_dst: string # address/peer-id/destination organization asset: string # canonical symbol (e. g., USDC), + decimals amount: decimal usd_value: decimal # rate normalization at the observed_at bridge_ref: string # link with the application/receipt of the metadata bridge: object # network/contract/version/gac/fee, etc.
idempotency_key: string

7) Активтер мен бағаларды қалыпқа келтіру

Активтердің канондық анықтамалығы: символ, decimals, chain mapping, келісімшарттық мекенжайлар.
FX қалыпқа келтіру: тарихи бағамдар және «observed _ at» таймстемпі бойынша активтердің бағалары.
Көп белсенді бандалар: «оралған» және ұлттық активтерді топтастырыңыз.

8) Негізгі метриктер мен витриналар

8. 1 Қаржы және өтімділік

Желілер/активтер/көпірлер бойынша GTV (Gross Transaction Volume).
TVL және Net Flow көпірлер мен пулдар бойынша.
Take Rate/көлеміне комиссия; Трансфер үшін Cost-to-Serve.
Payout SLA Hit Rate, Finality p50/p95, Pending Backlog.

8. 2 Өнім және пайдаланушы

Cross-chain MAU/DAU (dedup по PID),

Retention D1/D7/D30 мультичейн белсенділігін ескере отырып,

Funnel: кіріс желісі → көпір → мақсатты өнім → әрекет.
QoT (трафик сапасы): анти-фрод кейін трафик валиді.

8. 3 Тәуекел және комплаенс

Fraud/Dispute Rate, High-Risk Score%, Sanctions Hit%.
Аударым үлгілері бойынша Anomaly rate, velocity-чек, clustering.
KYB/KYC Pass% және таймингтер.

8. 4 Операциялық және SLO

Bridge Success-Rate, p95 Finality, Relay Availability,

Reorg/Challenge events, Error budget burn.

9) SQL/жалған сұрау үлгілері

GTV тізбек жұбы бойынша

sql
SELECT src. chain_id AS src_chain,
dst. chain_id AS dst_chain,
date_trunc('day', e. observed_at) AS d,
SUM(e. usd_value) AS gtv_usd
FROM events e
JOIN bridges b ON e. bridge_ref = b. id
JOIN networks src ON b. src_chain_id = src. id
JOIN networks dst ON b. dst_chain_id = dst. id
WHERE e. status = 'finalized' AND e. event_type IN ('bridge. lock','bridge. mint','transfer')
GROUP BY 1,2,3;

Cross-chain retention D7

sql
WITH first_touch AS (
SELECT pid, MIN(observed_at) AS t0
FROM product_events
WHERE event IN ('signup','first_deposit')
GROUP BY pid
),
week_activity AS (
SELECT DISTINCT pid
FROM product_events pe
JOIN first_touch ft USING(pid)
WHERE pe. observed_at BETWEEN ft.t0 + INTERVAL '1 day'
AND ft.t0 + INTERVAL '7 day'
)
SELECT 100. 0 COUNT() / (SELECT COUNT() FROM first_touch) AS d7_retention_pct
FROM week_activity;

SLO көпіріне арналған сөре

sql
SELECT date_trunc('hour', observed_at) AS h,
100. 0 SUM(CASE WHEN status='finalized' THEN 1 END)/COUNT() AS success_rate,
percentile_cont(0. 95) WITHIN GROUP (ORDER BY (finalized_at - observed_at)) AS p95_finality_min,
SUM(CASE WHEN challenge_event THEN 1 END) AS challenges
FROM bridge_events
WHERE observed_at >= now() - INTERVAL '7 days'
GROUP BY 1;

10) Атрибуция және көп арналы жол

last-touch/position-based моделі желі көзі, көпір және өнім үшін таразылармен.
UTM → On-chain: онбординг кезінде щелкілерді/рефералдарды ончейн мекенжайымен байланыстырыңыз (келісімімен).
Ассоциативті модельдер: Shapley/Markov күрделі жолдар үшін «желі → көпір → өнім».

11) Анти-фрод және мінез-құлық сигналдары

Графалық белгілер: жалпы контрагенттер, айналмалы аудармалар, жылдам айналымдылық.
Velocity-лимиттер және аномалиялар: жарылыстар, сомаларды «бөлшектеу», түнгі кластерлер.
Көпірлердегі алаяқтық схемалары: қайтадан беру, KYC-ны айналып өтуге тырысу, өтімділігі бар сэндвич-паттерндер.
Модельдері: градиент бустингі/graph-embeddings; оқиғалардың таңбалауында үйретіңіз.

12) Құпиялылық және комплаенс (privacy-by-design)

PII азайту: тікелей идентификаторлардың орнына PID, токенизация.
Data residency: өңірлер бойынша партиялану, «тыныштықта/жолда» шифрлау.
Жою құқығы: дәлелденетін tombstone/redaction-оқиғалар.
Кіру және аудит: рөлдік ACL, оқу журналдары, қол қойылған тексеруге арналған есептер.

13) Талдау пайплайндарына арналған SLI/SLO

• Freshness ('observed _ at' лагынан бастап Gold-та пайда болғанға дейін),
• Completeness (K-confirmations күтулері бойынша тесіксіз оқиғалар%),
• Correctness (схемалар/ережелер валидациясынан өткен оқиғалар%),
• Reorg handling success (% дұрыс мүгедектік/қайта ойнау),
• Serve latency (витриналарға/дашбордтарға p95 сұраулар).

• Freshness p95 ≤ 3 мин (стриминг), ≤ 15 мин (батч).
• Completeness ≥ 99. 7%, Correctness ≥ 99. 9%.
• Reorg handling success ≥ 99. 9%.
• Serve p95 ≤ 500 мс (негізгі сөрелер).

14) Деректердің байқалуы және lineage

Data Lineage: дашбордтан шикі оқиғаға дейін (column-level).
Сапа сигналдары: completeness, uniqueness, referential integrity, schema drift.
Алерттар: «тыныш ақаулар» (жаңа деректер жоқ), үлестірулер секірулері, өрістердің 'unknown' өсуі.

15) Дашбордтар (үлгілер)

• Success-Rate, p95 Finality, Relay Availability, Challenge/Reorg, backlog, error budget burn.

• TVL, Net Flow per chain, cost-per-transfer, utilization, сақтандыру қоры.

• MAU/DAU (dedup), cross-chain retention, арналық құйғыштар, QoT.

• Fraud/Dispute Rate, sanctions hits, high-risk share, талқылау жылдамдығы.

16) Операциялық регламенттер және playbook

Инцидент: тазалық> SLO

Коннекторларды/индекстерді тексеру, резервке ауысу, тозу режимін қосу (витриналар «соңғы аяқталған» деп көрсетеді), көздің иесіне eskalate.

Оқыс оқиға: reorg/challenge

K-confirmations/дау терезесін ұлғайту, ірі сомалар үшін «delayed finalization» қосу, көпірді/операторларды хабардар ету.

Инцидент: валюта/активтердің алшақтығы

Қозғалған жұптарды мұздату, анықтамалықтан айдау, USD-қалыпқа келтіруді қайта есептеу, есепті жариялау.

Оқиға: Fraud/Dispute секіру

Лимиттерді/скорингті қатаңдату, high-risk қол ревімен қосу, модельді жаңа үлгіде аяқтау.

17) Конфигурация үлгісі (псевдо-YAML)

Желілер бойынша аяқтау терезелері

yaml finality:
eth-mainnet: 12  # блоков polygon: 256 solana: "optimistic: 32 slots"
optimistic-bridge: { challenge_minutes: 20 }
zk-bridge: { proof_time_sla: 180 }

Демпотенттілік және атасының ережелері

yaml dedup:
key_template: "${chain_id}    ${block_height}    ${tx_hash}    ${log_index}    ${event_type}"
ttl_hours: 48

SLO пайплайндар

yaml pipelines:
ingest_stream:
freshness_p95_min: 3 completeness_min_pct: 99. 7 gold_build:
correctness_min_pct: 99. 9 reorg_success_min_pct: 99. 9

18) Енгізу чек-парағы

1. Көздерді, схемаларды, аяқтау терезелерін және иелерін бекітіңіз.
2. Сәйкестік пен reorg-handling (states + replay) қосыңыз.
3. Үлгілер ядросын жасаңыз (transfers/bridges/onchain_events/kyc/payouts).
4. Активтер анықтамалығын және FX қалыпқа келтіруді теңшеңіз.
5. SLI/SLO пайплайндар мен дашбордтарды анықтаңыз.
6. entity resolution және privacy-by-design бағдарламаларын іске асырыңыз.
7. Анти-фрод скорингтерін және инциденттердің регламентін қосыңыз.
8. Backfill және сынақтарды тарихи reorg/challenge кейстерінде өткізіңіз.
9. Схемаларды, метрикалардың салмағын және көздерін үнемі тексеріңіз.

19) Глоссарий

Finality - күй/оқиғаның қайтымсыздығы.
Reorg - блоктардың бір бөлігін жоюға әкелетін тізбекті қайта жинау.
Challenge period - optimistic-модельдерде даулау терезесі.
Entity resolution - бірыңғай мәні бар мекенжайларды/аккаунттарды салыстыру.
GTV/TVL - транзакция көлемі/тыйым салынған құн.
Completeness/Freshness/Correctness - деректер сапасының базалық өлшемдері.

Қорытынды: тізбекаралық талдау - бұл жай ғана метриканың жиынтығы емес, басқарылатын тәртіп: оқиғалардың бірыңғай схемасы, дұрыс аяқталу, тұрақты пайплайндар, жекешелендіру, анти-фрод және түсінікті витриналар. Осы фреймворкқа сүйене отырып, экожүйе шын мәнінде құндылыққа, тәуекелдер мен өсімге - шикі блоктан бизнес-шешімге дейін «толассыз» көзқарас алады.