Түйіндер арасындағы сигналдар

1) Сигнал түсінігі

Сигнал - желідегі мағыналық коммуникацияның ең аз бірлігі: оқиға, сұрау салу, растау, мәртебе, лимит, саясат. «Шикі» пакеттен айырмашылығы, сигналдың семантикасы (типі, схемасы, мәтіні, инварианттары) және кепілдіктері (жеткізу, тәртібі, іспеттілігі) болады.
Мақсаттары: сервистердің байланысын төмендету, өзгерістерге реакцияны жеделдету, желіні басқарылатын және бақыланатын ету.

2) Сигналдардың таксономиясы

Оқиға (Event): болған оқиға туралы фактілер (Created, Updated, Settled, Slashed).
Command: әрекетті орындау ниеті (Mint, Pause, RotateKey).
Сұрау-жауап (Query/Reply): күйді/агрегацияны алу.
Жай-күйі (State Snapshot): мерзімді суреттер (лимиттер, квоталар, конфигалар).
Алерттар/Инциденттер (Alert): ауытқулар, тозулар, SLA бұзушылықтары.
(Governance/Policy) саясаты: тарифтер, лимиттер, нұсқалар параметрлері.
Кросс-домендік (X-Chain/X-Domain): тізбектер/сенім аймақтары арасындағы құқықтарды/хабарламаларды тасымалдау.

Әрбір сынып схемамен тіркеледі (ID нұсқалары, міндетті өрістер, инварианттар).

3) Хабарлама моделі

• `signal_id` (ULID), `causality_id` (trace/span), `ts`, `ttl`
• `type` (namespace:version), `schema_hash`
• 'producer _ id', 'domain', 'auth _ proof' (қолы/VC/ZK)
• 'qos' (сынып), 'retries', 'attempt'
• `payload` (CBOR/JSON/ProtoBuf), `crc`
• 'idempotency _ key' (бизнес мәні бойынша)

4) QoS және жеткізу сыныптары

Q0 Fire-and-Forget: растаусыз (telemetry, метрика).
Q1 At-Least-Once: ретра, қабылдағышта дедуп, іспеттілік.
Q2 Exactly-Once (тиімді): демпотенттік жазба + дедуп + транзакциялық outbox/inbox.
Q3 Ordered: партия кілті бойынша тәртіпті сақтау (keyed partitioning).
Q4 Priority/Deadline: сындарлы командалар үшін басымдықтар мен мерзімдер (EDF/LLF).

Шешім: әдепкі Q1 + сәйкестік; Q3 - себептермен ағындар үшін; Q4 - авариялар үшін.

5) Тәртіп, себептілік және демпотенттілік

Себеп кілті: 'aggregate _ id', 'version', 'prev _ hash'.
Outbox/InBox-паттерн: оқиғаны транзакциялық тіркеу және жіберу.
Идемпотенттік хендлерлер: 'idempotency _ key' -ді «seen table» + upsert.
Reconciliation: снапшоттар мен логтарды мерзімді салыстырып тексеру (repair jobs).
Ретрайлардың/TTL лимиттері: «мәңгілік» қайталанулардан және жай-күйдің дрейфінен қорғау.

6) Ағынды бақылау және backpressure

Квоталар мен токендер: leaky/bucket, rate-limit түрлері/тұтынушылары бойынша.
Жиілік/өлшем бойынша шарт: batch size, window, max-in-flight.
Drop/Degrade-саясат: шамадан тыс жүктеу кезіндегі шолу телеметриясы; маңызды Q4 дренаж болмайды.
Әділдік: кезек бойынша WFQ/DRR-жоспарлау.
Бейімділігі: PID контроллерлері: кідірістің өсуі → терезені кішірейту.

7) Көлік және шина

Оқиғаның жергілікті шинасы: Kafka/Pulsar/NATS/Redis Streams - кілттер бойынша партиялану.
Синхронды сұраулар: Query/Reply, тайм-ауттар және Circuit Breakers үшін gRPC/HTTP2.
Кросс-домендік арналар: IBC/CCIP-ұқсас қабаттар, кепілдігі бар релейерлер, дәлелденетін растаулар.
Edge/POP: жергілікті буферлер және core ретрансляциясы.

8) Сигналдардың қауіпсіздігі

Аутентификация: S2S үшін mTLS/OIDC; қол қойылған хабарлар (EdDSA/secp256k1).
Авторизация: ABAC/RBAC топиктерге және сигналдар түрлеріне; RNFT-құқықтар/лимиттер.
Тұтастығы: батчалардың хеші/мерклизациясы, өзгермейтін журналдар.
Құпиялылық: ZK-дегі өрістер/өрістерді шифрлау (ішінара жылыстау үшін FPE).
Анти-фрод: мінез-құлық белгілері, «бал» трафигі, стохастикалық тексерулер.

9) Бақылау және трассалау

Корреляция: әрбір дабылдағы trace-id/span-id, өтпелі лейблдер.
Метриктер: түрлері бойынша p50/p95 latency, success rate, timeout/reties%, DLQ depth, consumer lag.
Саясаттың логтары: кім, қашан, не өзгертті ( /лимиттер), қолтаңбалар және конфигурациялардың диффалары.
Алертингтер: SLO-қателер бюджеттері; сындарлы бағыттар үшін синтетикалық сынамалар.
DLQ/Replay: өлі кезектер, дубльден қорғайтын reprocess.

10) Схемалар және нұсқалау

Schema Registry: өрістердің эволюциясы (back/forward compatible), semver типтері.
Feature flags: өрістерді/логиканы біртіндеп белсендіру.
Үйлесімділік келісімшарттары: «ескі продюсер жаңа консюмер» тестілері және керісінше.
Көші-қон: dual-write/dual-read, айналы топиктер, sunset-жоспарлар.

11) Ретрайлер және дедупликация саясаты

Ретраилер: экспоненциалдық кідіріс + джиттер, максималды талпыныстар, табалдырықтан кейін quarantine.
Дедуп: партияға немесе bloom-сүзгілерге соңғы 'N' кілттерін сақтау; Жазбалардың TTL.
Анти-дауыл: топтық ACK/NACK, coalescing оқиғалар (debounce/aggregate).

12) Сигналдарға арналған SLA/SLO

• Q4: p95 ≤ 200 мс, табысты ≥ 99. 99%, DLQ = 0, инциденттің MTTR ≤ 15 мин.
• Q3: p95 ≤ 500 мс, табысты ≥ 99. 9%, тәртіптің бұзылуы ≤ 10 ⁻⁶/хабарлама.
• Q1: сәттілік ≥ 99. 5% T терезесі үшін, p95 ≤ 1-2 с.

Error budget: артық шығын → жылдамдықты автоматты жүктеу, басымдықтарды қосу, тозу фич-жалауы.

13) Кросс-тізбекті сигналдар (мультичейн)

Оқиғаның дәлелі: «релейге сенім» орнына light-client/state proofs.
Аяқталуы: доменнің аяқталу кідірістерін есепке алу, уақытша құлыптар (challenge period).
Экономикалық кепілдіктер: S-релеерлер кепілі, жалған растаулар үшін слэшингтер.
X-Domain теңсіздігі: жаһандық 'x _ msg _ id', екі ұшындағы seen кестесі.
Шығу саясаты: тоқтату крандары, көлем/уақыт лимиттері, шабуыл кезіндегі қол кворумы.

14) Анти-коллюзия және теріс пайдалану

Жалған сигналдар: strong auth + мінез-құлық аномалия детекторы.
Реплика-шабуыл: nonce/TTL және бір реттік кілттер.
Өндірушілердің коллюзиясы: корреляциялық аудит, соқыр іріктемелер, жүйелі қате үшін айыппұлдар.
Оқиғалар фарминг: сапа бойынша тарифтеу (Q-класс), мәні бойынша rate limits.

15) Енгізу ойнатқышы

1. Домендер мен сигнал түрлерін картаға түсіру. Сызба иелерінің сындылығын (Q-класс) анықтау.
2. Көлік және топик-архитектураны таңдау. Себеп кілттері бойынша партияландыру.
3. SLO/SLA анықтамасы. Қателер бюджеті, тәуекелдер, апаттық рәсімдер.
4. Security-by-default. Қолтаңбалар, mTLS, ABAC, негізгі ротация.
5. Іспеттілік және дедуп. Outbox/InBox, seen-tables, TTL.
6. Backpressure. Квоталар, терезелер, басымдықтар, лагтардың дашбордтары.
7. Schema Registry & нұсқалау. Үйлесімділік келісімшарттары, тест матрицалары.
8. Бақылау қабілеті. E2E трассировкасы, синтетикалық сынамалар, DLQ/Replay.
9. Ұшқыш және game-days. Инциденттік жаттығулар, нақты логтардың репликасы.
10. Масштабтау. X-domain, лимиттер, тоқтату крандары, жария пост-мортемалар.

16) Метриктер мен дашбордтар

Өнімділігі: latency p50/p95/p99, throughput, consumer lag, in-flight.
Сенімділік: success rate, retry%, DLQ depth, duplicate ratio.
Тәртібі: out-of-order%, reordering distance.
Экономика: өңдеу/қатынас құны, сынып бойынша маржа, айыппұлдар/ынталандырулар.
Қауіпсіздік: rate күдікті сигналдар, фолс-позитив/негатив.
, Схемаларды/саясаттарды жазу жылдамдығы, қайтарусыз табысты апгрейдтердің үлесі.

17) Келісімшарттардың/сервистердің үлгілері

Signal Gateway: валидация, аутентификация, қалыпқа келтіру, басымдық беру.
Schema Registry: схемаларды сақтау/валидациялау, үйлесімділік.
Signal Router: тип/домен бойынша маршруттау, QoS-кластар, rate limits.
Idempotency Store: кілттер, TTL, дедуп.
DLQ/Replay Service: карантин, кейінге қалдырылған өңдеу, терезе бойынша реплика.
X-Domain Relay: дәлелдемелер, кепілдемелер, слэшинг, ақырғы.
Policy Hub: лимиттерді/конфигурацияларды басқару, өзгерістер аудиті.

18) Өнiм дайындығының чек-парағы

• Барлық сигналдар түрлеріне арналған QoS және SLO кластары анықталған
• Қолтаңбалар, mTLS, кілттерді ротациялау, ABAC қосылған
• теңшелген outbox/inbox, іспеттес хендлерлер, дедуп
• Іске асырылған rate limits, backpressure, басымдықтар
• Енгізілген Schema Registry, үйлесімділік тесттер, мин-жоспарлар
• Қол жетімді дашбордтар: latency/lag/DLQ, қате бюджеттері бойынша алерттар
• Оқыс оқиғалар (game-days), репликалар, пост-мортемалар пысықталды
• X-domain үшін дәлелдемелер, кепілдер және тоқтату крандары енгізілген

19) Глоссарий

QoS: жеткізу/басымдық кепілдіктерінің сыныбы.
Idempotency: кері әсерсіз қайталау.
Backpressure: артық жүктеу кезінде жүктемені шектейтін тетіктер.
DLQ: сәтсіз өңдеуге арналған «өлі» кезек.
Trace/Span: өтпелі трассировка идентификаторлары.
X-Domain/X-Chain: сигналдардың кросс-домендік/кросс-тізбекті бағыттары.

Қорытынды: дұрыс жобаланған сигналдар - бұл желінің «жүйке жүйесі». Схемаларды, кепiлдiктердi, қауiпсiздiк пен бақылаушылықты стандарттай отырып, экожүйе болжамды жеткiзудi, іркiлiске төзiмдiлiктi және жасырын байланыстарсыз және қол балдақтарсыз басқарылатын эволюцияны алады.