Такрори ҳодиса

1) Чаро такрорӣ

• инвариантҳо вайрон карда мешаванд (дебетҳои дукарата, почтаи такрорӣ/SMS, фармоиши "ду маротиба эҷодшуда");
• Афзоиши хароҷот (дубора менависад/коркард мекунад)
• таҳлилҳои таҳрифшуда.

Ҳадафи ихтисоркунӣ таъмин намудани самараи яквақта мушоҳидашуда бо такрори қобили қабул дар нақлиёт, аксар вақт дар якҷоягӣ бо idempotency.

2) Ҷойгиркунии такрорӣ (сатҳҳо)

1. Дарвозаи Edge/API - нусхаҳои возеҳро бо имзои 'Idempotency-Keu '/бадан + буред.
2. Брокер/ҷараён - такрори мантиқӣ аз рӯи калид/пайдарпаӣ, дар як пазмон шудан (камтар аз ҳама - аз сабаби арзиш).
3. Қабулкунандаи ҳодиса (истеъмолкунанда) - макони асосӣ: паёмдони/ҷадвали калидӣ/кэш.
4. Ғалтак (DB/кэш) - калидҳои беназир/UPSERT/версияҳо/фишурдасозӣ.
5. ETL/таҳлил - мӯҳлат аз рӯи равзанаи вақт ва калид дар катҳои сутун.

Қоида: ҳарчи зудтар, аммо бо назардошти арзиши мусбатҳои бардурӯғ ва зарурати такрорӣ.

3) Калидҳои такрорӣ

3. 1 табиӣ (афзалиятнок)

'payment _ id', 'order _ id', 'saga _ id # step', 'agregate _ id # seq'.
Кафолати устуворӣ ва маъно.

3. 2 Композитсия

'(tenant_id, намуд, external_id, версия)' или '(user_id, event_ts_truncated, payload_hash)'.

3. 3 Изофаи ангушт

Hash як зербанди муайянкунандаи майдонҳо (тартибот/регистрҳоро муқаррар кунед), ихтиёрӣ 'HMAC (махфӣ, сарборӣ)'.

3. 4 Пайдарпаӣ/версияҳо

Маҷмӯи якхелаи 'seq' per (бастани оптимистӣ/версия).

Анти-намуна: "UUID тасодуфӣ" бидуни иртибот бо субъекти соҳибкорӣ ғайриимкон аст.

4) Тирезаҳои вақт ва фармоиш

Равзанаи такмилдиҳӣ - даврае, ки дар он ҳодиса метавонад дубора фаро расад (одатан 24-72 соат); барои молия - дарозтар).
Тартиби фармоишӣ: биёед дермонӣ бошем. Дар чаҳорчӯбаи ҷараён - вақти ҳодиса + нишонаҳои обӣ.
Sliding/Fix-window deadup: "Оё шумо калидро дар дақиқаи охирини N дидаед? ».
Огоҳии пайдарпай: агар 'seq' ≤ охирин коркардшуда - дубора/такрор.

5) Сохторҳо ва татбиқи маълумот

5. 1 Баҳисобгирии дақиқ

Redis SET/STRING + TTL: 'SETNX калиди 1 EX 86400' → "бори аввал - мо коркард карда истодаем, вагарна - SKIP".
Кэши LRU/LFU (in-proc): зуд, вале идоранашаванда → танҳо ҳамчун монеаи аввал беҳтар аст.
Индексҳои беназири SQL + UPSERT: "ворид ё навсозӣ" (таъсири idempotent).

5. 2 Сохторҳои тахминӣ (эҳтимолият)

Филтри Bloom/Cuckoo: хотираи арзон, мусбатҳои бардурӯғ имконпазиранд. Он барои тарки возеҳи "ғавғо" мувофиқ аст (масалан, телеметрия), на барои молия/фармоиш.
Эскизи Count-Min: Ҳисоб кардани басомадҳо барои муҳофизат аз "гарм" мегирад.

5. 3 Ҳолати ҷараён

Кафка ҷараёнҳо/Флинк: мағозаи давлатии калидӣ бо TTL, тарҳ аз рӯи калид дар тиреза; гузаргоҳ/барқарорсозӣ.
Нишони обӣ + таъхирнопазирии иҷозатдодашуда: Тирезаи рӯйдодҳои дерро идора мекунад.

6) Намунаҳои муомилот

6. 1 Қуттӣ (ҷадвали воридотӣ)

pseudo
BEGIN;
ins = INSERT INTO inbox(id, received_at) ON CONFLICT DO NOTHING;
IF ins_not_inserted THEN RETURN cached_result;
result = handle(event);
UPSERT sink with result; -- idempotent sync
UPDATE inbox SET status='done', result_hash=... WHERE id=...;
COMMIT;

Бозсозӣ сабтро мебинад ва натиҷаро такрор намекунад.

6. 2 Outbox

Сабти корӣ ва рӯйдод дар як транзаксия → ношир ба брокер мефиристад. Дучандро аз истеъмолкунанда бартараф намекунад, балки "сӯрохиҳо" -ро истисно мекунад.

6. 3 Индекси беназир/UPSERT

sql
INSERT INTO payments(id, status, amount)
VALUES ($1, $2, $3)
ON CONFLICT (id) DO NOTHING; -- "create once"

sql
UPDATE orders
SET status = $new, version = version + 1
WHERE id=$id AND version = $expected; -- optimistic blocking

6. 4 Версияи агрегатҳо

Чорабинӣ дар сурати 'ҳодиса татбиқ карда мешавад. версия = агрегат. версия + 1 '. Дар акси ҳол - дукарата/такрор/низоъ.

7) Мурдагон ва брокерҳо/ҷараёнҳо

7. 1 Кафка

Истеҳсолкунандаи Idempotent вурудро дучанд коҳиш медиҳад.
Амалиётҳо ба шумо имкон медиҳанд, ки ҷуброни атомӣ + сабтҳои баромадро содир кунед.
Фишурдасозӣ: арзиши охиринро барои як калид нигоҳ медорад - dedup post-factum/coenescing (на барои пардохт).
Тарафи истеъмолкунанда: мағозаи давлатӣ/Redis/DB барои калидҳои тиреза.

7. 2 NATS/Jetstream

Ack/redelivery → ҳадди аққал як маротиба. Dedup дар истеъмолкунанда (Inbox/Redis).
Пайдарпаии/кори истеъмолии JET Stream муайян кардани такрори онро осонтар мекунад.

7. 3 навбат (харгӯш/SQS)

Мӯҳлати намоёнӣ + таҳвили такрорӣ → ба шумо калид + мағозаи марговар лозим аст.
SQS FIFO бо 'Message' Grouplication '/' Deduplication 'кӯмак мекунад, аммо тирезаҳои TTL аз провайдер маҳдуданд - агар тиҷорат талаб кунад, калидҳоро дарозтар нигоҳ доред.

8) Нигоҳдорӣ ва таҳлилгарон

8. 1 Клик/Биг Query

Тарҳбандӣ аз рӯи тиреза: 'Фармоиш аз рӯи калид, ts' ва 'arg

sql
SELECT key,
anyLast(value) AS v
FROM t
WHERE ts >= now() - INTERVAL 1 DAY
GROUP BY key;

Ё қабати моддии рӯйдодҳои "беназир" (якҷоя бо калид/версия).

8. 2 Гузоришҳо/телеметрия

Биёед бигӯем, ки тахминан партофтан (Блум) дар indest → захира кардани шабака/диск.

9) Коркард, такрорӣ ва бозгашт

Калидҳои Dedup бояд аз такрори (TTL ≥ тирезаи такрорӣ) наҷот ёбанд.
Барои backfill, фазои калидиро бо версия ('key # source = batch2025') ё "ихроҷи" алоҳида истифода баред, то ба равзанаи онлайн халал нарасонед.
Артефактҳои натиҷаро нигоҳ доред (ҳаш/версия) - ин суръатро дар "такрорӣ" суръат мебахшад.

10) Нишондиҳандаҳо ва мушоҳидаҳо

'dedup _ hit _ total '/' dedup _ hit _ rate' - ҳиссаи нусхаҳои гирифташуда.
'dedup _ fp _ rate' for филтрҳои эҳтимолӣ.
'window _ size _ seconds' воқеӣ (тавассути телеметрия дер омадан).
'inbox _ conflict _ total', 'upsert _ conflict _ total'.
'replayed _ events _ total', 'skipped _ by _ inbox _ total'.
Профилҳо аз рӯи иҷорагир/калид/намуд: аз ҳама бештар дар куҷоянд ва чаро.

Логи: 'message _ id', 'idempotency _ key', 'seq', 'window _ id', 'action = process' skip '.

11) Амният ва махфият

PII-ро дар калид нагузоред; ҳаш/тахаллусро истифода баред.
Барои имзо кардани изи ангушт - HMAC (махфӣ, canonical_payload) барои пешгирӣ кардани бархӯрд/қаллобӣ.
Вақти нигоҳдории калидҳоро бо мувофиқат ҳамоҳанг созед (нигоҳдории GDPR).

12) Иҷро ва арзиши

In-proc LRU ≪ Redis ≪ SQL аз рӯи таъхир/арзиши як амалиёт.
Редис: арзон ва зуд, аммо ҳаҷми калидҳо ва TTL-ро ба назар гиред; шармгин аз ҷониби 'иҷорагир/ҳаш'.
SQL: аз ҷониби p99 гарон аст, аммо кафолатҳои қавӣ ва шунавандагонро таъмин мекунад.
Филтрҳои эҳтимолӣ: хеле арзон, аммо FP-ҳо имконпазиранд - дар ҳолатҳое истифода баред, ки "SKIP-и иловагӣ" муҳим нест.

13) Анти-намунаҳо

"Мо Кафка як маротиба дорем - ягон калид лозим нест. "Лозим - дар қабати кӯфта/тиҷорат.
TTL-и хеле кӯтоҳ барои калидҳо → дубора/таъхир дучанд мешавад.
Dedup глобалии ягона → нуқтаи доғ ва SPOF; бо иҷорагир/калид тезонида намешавад.
Dedup танҳо дар хотира - аз даст додани раванд = мавҷи мегирад.
Блум барои пул/фармоиш - мусбати бардурӯғ амалиёти қонуниро маҳрум мекунад.
Канонизатсияи номувофиқи сарборӣ - хэшҳои гуногун барои паёмҳое, ки бо маъно якхелаанд.
Нодида гирифтани фармоиш - ҳодисаҳои дер бо нусхабардорӣ иштибоҳан қайд карда мешаванд.

14) Рӯйхати назорати амалисозӣ

• Муайян кардани калиди табиӣ (ё мураккаб/изи ангушт).
• Равзанаи dedup ва сиёсати "сабукӣ" -ро танзим кунед.
• Сатҳ (ҳо) -ро интихоб кунед: канор, истеъмолкунанда, танӯр; таъмини shardening.
• Татбиқи паёмдони/UPSERT; барои ҷараёнҳо - ҳолати калидӣ + TTL.
• Агар ба шумо монеаи тахминӣ лозим бошад - Bloom/Cuckoo (танҳо барои доменҳои ғайримуқаррарӣ).
• Танзими мутобиқати такрорӣ (TTL ≥ тирезаи такрорӣ/backfill).
• Метрикаҳои 'dedup _ hit _ rate', муноқишаҳо ва ақибмонии тиреза; панели панели ҳар як иҷорагир.
• Рӯзи бозӣ: танаффус/бозсозӣ, такрорӣ, фармоиш, тарки кэш.
• Канонизатсияи сарбории ҳуҷҷатҳо ва версияи калидӣ.
• Санҷишҳои сарбориро дар калидҳои гарм ва тирезаҳои дароз иҷро кунед.

15) Танзимоти намуна/Рамз

15. 1 Redis SETNX + TTL (монеа)

lua
-- KEYS[1] = "dedup:{tenant}:{key}"
-- ARGV[1] = ttl_seconds local ok = redis. call("SET", KEYS[1], "1", "NX", "EX", ARGV[1])
if ok then return "PROCESS"
else return "SKIP"
end

15. 2 Қуттии паёмдони Postgre-SQL

sql
CREATE TABLE inbox (
id text PRIMARY KEY,
received_at timestamptz default now(),
status text default 'received',
result_hash text
);
-- In the handler: INSERT... ON CONFLICT DO NOTHING -> check, then UPSERT in blue.

15. 3 ҷараёнҳои Кафка

java var deduped = input
.selectKey((k,v) -> v.idempotencyKey())
.groupByKey()
.windowedBy(TimeWindows. ofSizeWithNoGrace(Duration. ofHours(24)))
.reduce((oldV,newV) -> oldV)   // first wins
.toStream()
.map((wKey,val) -> KeyValue. pair(wKey. key(), val));

15. 4 Флинк (ҳолати калидӣ + TTL, псевдо)

java
ValueState<Boolean> seen;
env. enableCheckpointing(10000);
onEvent(e):
if (!seen.value()) { process(e); seen. update(true); }

15. 5 Дарвозаи NGINX/API (Idempotency-Key дар канор)

nginx map $http_idempotency_key $idkey { default ""; }
Proxy the key to the backend; backend solves deadup (Inbox/Redis).

16) FAQ

Савол: Чиро интихоб кардан лозим аст: мурда ё аблаҳии пок?
A: Одатан ҳарду: deadup ин "филтр" (пасандоз) -и зуд аст, idempotence кафолати таъсири дуруст аст.

Савол: Кадом TTL бояд гузорад?
A: ≥ ҳадди имконпазири вақти интиқоли дубора + инвентаризатсия. Одатан 24-72 соат; барои молия ва вазифаҳои таъхиршуда - рӯзҳо/ҳафтаҳо.

Савол: Шумо чӣ гуна рӯйдодҳои дерро ҳал мекунед?
A: Танзимоти 'дурустии иҷозат' ва хотиррасонӣ 'late _ event'; баъдтар - тавассути шохаи алоҳида (ҷуброн/партофтан).

Савол: Оё тамоми ҷараёни телеметрияро аз байн бурдан мумкин аст?
A: Бале, филтрҳои тахминӣ (Блум) дар канор, аммо FP-ро баррасӣ кунед ва ба эффектҳои муҳими тиҷорат татбиқ нашавед.

Савол: Мурдан дар роҳи бозгашт?
A: Фосилаҳои алоҳидаи калидӣ ('калид # batch2025') ё монеаро дар тӯли backfill хомӯш кунед; Калидҳои TTL бояд танҳо тирезаҳои онлайнро пӯшонанд.

17) Натиҷаҳо

Таркиб таркиб аст: калиди дуруст, сохтори равзана ва давлат + шакли транзаксия (Inbox/Outbox/UPSERT) ва коркарди оқилонаи тартибот ва рӯйдодҳои дер. Монеаҳоеро ҷойгир кунед, ки дар он арзонтарин аст, аблаҳиро дар изи хунхобӣ таъмин кунед, 'dedup _ hit _ rate' -ро чен кунед ва такрори санҷишҳо/нокомиро санҷед - бо ин роҳ шумо бе думҳои нолозими таъхир ва арзиши "якбора" ба даст меоред.