Exactly-once семантика

иш жүзүндө exactly-once деген эмне

• Жеткирүү: билдирүү туура бир жолу керектөөчүгө жеткирилет.
• Дарылоо: акыркы терс таасири (DD жазуу, балансты өзгөртүү, башка иш-чара чыгаруу) жеткирүү же аракет көп болсо да, так бир жолу болот.

Бөлүштүрүлгөн системаларда иштетүү семантикасы жөнүндө сөз кылуу ишенимдүүрөөк. Жеткирүү так бир жолу камсыз кылуу кыйын (кайталанышы жана кайталанышы сөзсүз), бирок акыркы абалы бир гана иштетүүгө барабар болушу мүмкүн.

EOS керек болгондо жана жок болгондо

• Акча транзакциялары жана баланстар: кош эсептен чыгарууга жол берилбейт.
• Лицензияларды/квоталарды эсепке алуу, биллинг эсептегичтери.
• Кайтарылгыс тышкы чакырыктар (мисалы, бир жолку ачкычты активдештирүү).

• Эффекттер кайтарылуучу же компенсациялануучу (сагалар, кайтарымдар).
• Витриналарда/логдордо убактылуу дубликаттарга жол берилет.
• Бүткүл тракт аркылуу транзакцияларды сүйрөгөнгө караганда, демпотенттик sink менен камсыз кылуу арзан.

Модель: end-to-end vs. hop-by-hop

Hop-by-hop EOS: ар бир участогу (булагы → CPU → кабылдагыч), ал так бир жолу иш-аракет кылат деп кепилдик берет.
End-to-end EOS: бүтүндөй чынжыр "фактыдан" "Саид эффектине" чейин натыйжасы бир гана иштетүүгө барабар экенине кепилдик берет.

Иш жүзүндө бүтүм-бүтүм ар бир хопко транзакциялардын жана/же демпотенттиктин айкалышы менен жетишилет.

Негизги курулуш блоктору

1. Демпотенттик операциялар

Операциянын ачкычы боюнча бир эле суроо-талапты кайталоо ошол эле натыйжаны берет.

Ключи: `idempotency_key`/`event_id`/`operation_id`.
Ишке ашыруу: TTL менен "көрүлгөн" иш ≥ кириш Логин Retenia.

2. Транзакциялар "окуу-иштетүү-жазуу" (read-process-write)

Жумуштун бир атомдук бирдигинде окуунун терс таасири да, прогресси да (офсеттер/позиция) жазылган. Бул кадамдардын ортосунда жыгылганда "арбактарды" жок кылат.

3. Версиялоо/SEQUENCE

Агрегат үчүн версия/эсептегич сакталат; өзгөртүүлөр 'expected _ version' дал келсе гана колдонулат. Ошол эле окуяны кайталоо версиясын көтөрбөйт → эффект бир жолу.

4. Дедупликация

Индекс '(consumer_id, event_id)' же табигый 'business _ id' операциялары боюнча.

Сатуу үлгүлөрү

1) Транзакция журналы + офсетти бекитүү менен транзакция синк

Агымды иштетүү үчүн идеалдуу.

Логинден окуйбуз (тастыкталган жазуулар гана).
Иштеп жатабыз.

• а) sink (DD/таблица) бир таасир жазып,
• b) "N офсетке чейин окулду" (ошол эле DDде).
• Коммит. Реставрацияда же баары жашыруун (жана офсет жылдырылат), же эч нерсе жок.

Касиеттери: кайталоо зыян келтирбейт; "так бир жолу" таасири боюнча, ал тургай, билдирүү эки жолу окулду.

2) Outbox + Idempotent Consumer

Транзакциялык кызматтар-продюсерлер үчүн.

Бир DD-бүтүм: домендик жазууну өзгөртүү жана outbox бир окуяны жазып.
Републикатор ошол эле 'event _ id' менен окуяны шинага жеткирет.
Консумерлер окуяларды демпотенттик түрдө колдонушат (дедуп 'event _ id').

Касиеттери: продюсер чындык жоголбойт деп кепилдик берет; так бир эффектке кепилдик берет.

3) Kafka/Flink сыяктуу системаларда EOS (түшүнүк)

Idempotent өндүрүүчүсү: жөнөтүү учурунда дубль коргойт.
Өндүрүүчүнүн бүтүмдөрү: Топик жазуулар тобу + Консумердин жылышы атомдук; окурмандар 'read _ committed' изоляциясын колдонушат.
Процессинг тарап байлыкты (state store) сактайт жана аны транзакция менен бирге бөлүштүрөт.

Касиеттери: кайра баштоо storoy/таштоо кош таасир алып келбейт; көчүрмөлөрү "көрүнбөйт" downstream.

4) Idempotent "сики" (sinks) upsert/merge аркылуу

Sink кабыл алат 'operation _ id '/' event _ id' жана аткарат 'UPSERT... WHERE NOT EXISTS`.
Терс таасири (мисалы, эсептөө) "буга чейин колдонулганбы" деген текшерүү менен атомдук түрдө аткарылат.

Касиеттери: бөлүштүрүлгөн бүтүмдөр жок, сактоо менен чек арзан EOS ыкмасы.

Ишке ашыруунун негизги деталдары

Операциянын идентификаторлору

Кайталоо үчүн аныкталышы керек (ретрада жаңы UUIDди жаратпаңыз).
Туруктуу көрүү чөйрөсүнө ээ болуу (консюмерге/агрегатка/системага).

Дедупликация таблицасы

Колонки: `consumer_id`, `operation_id`, `applied_at`, `ttl_expires_at`.
Индекстер '(consumer_id, operation_id)'.
TTL максималдуу кайталоо терезеси ≥ (Логдун ретенциясы + потенциалдуу кечигүүлөр).

Оптимисттик атаандаштык

Write моделинде агрегаттын версиясын сактаңыз.
Окуя/команданы колдонууда 'WHERE version =: expected'; нускасын көбөйтпөйт.

Заказ/тартиби

EOS барабар эмес "так ошол эле тартиби". Партия ачкычы (агрегаттын бардык окуялары → бир партия) жана/же "sequence" салыштыруу аркылуу туруктуулукту камсыз кылуу.

Демпотенттик тышкы чакырыктар

Кооптуу ыкмалар үчүн (мисалы, үчүнчү тараптын кызматына HTTP-Webhucks) 'Idempotency-Key' кошуңуз жана өнөктөштөн аны колдоону талап кылыңыз.

Тез-тез тузактар

EOS бир гана жерде: Эгер sink idempotent болсо, бирок сиз idempotent жок экинчилик окуяларды чыгарсаңыз, "так көп жолу" downstream аласыз.
Эки коммита: адегенде DDде, андан кийин брокерде коммит офсет - алардын ортосундагы түшүү эффекттердин кайталанышын жаратат.
Чийки CDC сыртка: DD схемасын өзгөртүү керектөөчүлөрдүн демпотенттигин бузат.
Туруксуз ачкычтар: 'operation _ id' убакытка/рандомго көз каранды жана ретрада өзгөрөт.

Наркы жана компромисстер

Латентность: транзакциялар/обочолонгон окуулар → өсүү p95/p99.
сактагычтар Overhead: Дедуп таблицалар, state stores, транзакциялардын логи.
Операциянын татаалдыгы: транзакциялардын таймауттары, агымдардын ребалансы, "жабышкан" сессиялар.
Диагностика: көбүрөөк шарттар ("камитте", "сиз read_committed" катары көрө аласыз, "артка").

EOS пункту тандоо: маанилүү агрегаттар жана таасирлери үчүн; калгандарын демпотенттүүлүк жана компенсация менен жабыңыз.

exactly-once сыноо

1. Fault-injection: кадамдардын ортосундагы жараяндын кулашы "эффектти жазды" жана "офсетти жазды".
2. Дубликаттар: Ошол эле билдирүүнү 2-5 жолу сордуруп, бир эффектке ынаныңыз.
3. Рестарттар жана ребаланс: workers токтотуу/кайра баштоо, кош иштетүү жоктугун текшерүү.
4. Тармактык флаппи: транзакциянын ортосунда таймауттар, коммитти кайталоо.
5. Жүктөө тесттер: кезектердин өсүшү → деградация "бүтүмдөрдү түбөлүккө".

Мини-шаблондор (псевдо)

Idempotent sink офсет бекитүү

pseudo begin tx if not exists(select 1 from dedup where consumer_id=:c and op_id=:id)
then apply_effect(...)    -- upsert / merge / add_one_time_action insert into dedup(c, id, applied_at) values(:c,:id, now)
end if update offsets set pos=:pos where consumer_id=:c commit

Агрегаттын версиясы бар команда

pseudo begin tx update account set balance = balance +:delta,
version = version + 1 where id=:account_id and version=:expected_version;
if row_count=0 then error CONCURRENT_MODIFICATION commit

Коопсуздук жана комплаенс

PII/PCI таятасынын таблицаларында: минималдуу сактаңыз, "чийки" маалыматтардын ордуна токендерди колдонуңуз.
Аудит: логин 'operation _ id', 'trace _ id', натыйжасы (APPLIED/ALREADY_APPLIED).
Сактоо саясаты: TTL дедуп-таблицаларда, офсеттерди/логдорду архивдөө.

Анти-үлгүлөрү

"Чыныгы exactly-once жеткирүү": жол-жоболоштуруу протоколунун деъгээлинде эч кандай таасир этпейт.
Баарына глобалдык бөлүштүрүлгөн транзакциялар: бардык кызматтар аркылуу XA/2PC - назик жана жай.
Демпотенттик эмес терс таасирлерди аралаштыруу (мисалы, электрондук почта офсет коммитине чейин жөнөтүлгөн).
Операциянын ачкычтарынын жоктугу: пайдалуу жүктүн "уникалдуулугуна" таянуу.

Өндүрүштүн чек-тизмеси

• Ар бир критикалык эффектте идемотенттик ачкыч бар.
• Офсет/окуу позициясы эффект менен бир транзакцияда белгиленет.
• Дедуптун таблицалары индекстелген; TTL ≥ retenia логу.
• Агрегаттар үчүн оптимисттик атаандаштык (версия/sequence) кирет.
• Агымдар/топиктер режиминде окулат "гана жашыруун" (бар болсо).
• Кайталоо жана түшүү тесттери CI/CDде бар.
• Dashbord: кайталоо үлүшү, ийгиликсиз бүтүмдөр, бөгөт коюу убактысы, лагдар.
• 'Idempotency-Кеу '/кайталоо/таймаут боюнча интеграторлор үчүн документтер.

FAQ

Транзакциясыз EOS менен камсыз кылуу мүмкүнбү?
Көбүнчө ооба - sink 'ov (upsert/merge) жана агрегаттарды версиялоо аркылуу. Транзакциялар кепилдиктерди жеңилдетет, бирок наркын жогорулатат.

Бардык "exactly-once" керек?
Жок. Ал кымбат. Компенсация мүмкүн болбогон жерде/жол.

Кантип EOS менен кат/Webhook байланыштыруу керек?
Билдирүүнү коммитке чейин буферлөө, эффектти бекиткенден кийин жөнөтүү; 'notification _ id' сактаңыз жана жөнөтүңүз.

Эмне маанилүү - жеткирүү же иштетүү?
Иштетүү. Жеткирүү кайталанышы мүмкүн; абалы туура жана жалгыз болууга тийиш.

Жыйынтык

Exactly-once - бул зымдарда дубль жоктугу жөнүндө эмес, таасирдин тууралыгы жөнүндө. Бул жол-жоболоштуруу, атомдук бекитүү таасири жана окуу прогресс, акылга сыярлык партиялаштыруу жана нускалоо тартиби айкалышы менен жетишилет. ката наркы кабыл алынгыс жерде EOS колдонуу, жана анын чындыгын сыноо жыгылып жана эки - транспорт ишенбей.