ოპერაციები და მენეჯმენტი - ავტომატური ვორკფლოუ

ავტომატური ვორკფლოუ

1) რატომ არის ეს აუცილებელი?

ავტომატური ვორკფლოუ ამცირებს სახელმძღვანელო ოპერაციებს, აჩქარებს „დროს იდეიდან ფულზე“ და ამცირებს შეცდომების რისკს. IGaming/fintech- ში ეს კრიტიკულია დეპოზიტებისთვის/დასკვნებისთვის, KYC/AML, ბონუსების/ჯეკპოტების მენეჯმენტისთვის, შინაარსის განახლებისთვის, ინციდენტის რეაქციისთვის და სარეზერვო დავალებებისთვის.

• სტაბილური, გამჭვირვალე დაკვირვებული პროცესები ტრიგერიდან შედეგამდე.
• მინიმალური სახელმძღვანელო ნაბიჯები, პროგნოზირებული SLO პროცესი.
• შეცდომების კონტროლი: ჭიდაობა, კომპენსაცია, მკაფიო ესკალაცია.
• მოვლენებისა და დატვირთვის მასშტაბები „ქარიშხლებისა“ და დუბლიკატების გარეშე.

2) ძირითადი ტერმინოლოგია

Workflow (WF): ნაბიჯების ჯაჭვი (tasks) ბიზნეს შედეგის მისაღწევად.
ორკესტრი: ცენტრალური კოორდინატორი აკონტროლებს ნაბიჯებს და მათ წესრიგს.
ქორეოგრაფია: ნაბიჯები რეაგირებს მოვლენებზე, არ არსებობს „ცენტრალური ტვინი“.
ანაზღაურება: საპირისპირო მოქმედებები ნაწილობრივი მარცხით (საგები).
HITL (Human-in-loop): კონტროლირებადი „სახელმძღვანელო“ გადაწყვეტილებები WF- ში.
პროცესის SLO: კონკრეტული WF დასრულების/წარმატების მიზნობრივი დრო (მაგალითად, „დეპოზიტების 95% 3 წამი“).

3) სად უნდა გამოვიყენოთ (მაგალითები)

გადახდის flow: ანაბრები, ანტიფროდი, ბუღალტრული აღრიცხვა, შეტყობინებები.
KYC/AML: დოკუმენტების შეგროვება, პროვაიდერების შემოწმება, შესაბამისობაში ესკალაცია.
შინაარსის/ლიმიტების მენეჯმენტი: თამაშების გამოქვეყნება, კვოტები, გეო წესები.
პრემია/ჯეკპოტები: დარიცხვები, შენარჩუნება, პირობების გაანგარიშება, გადახდები.
ინციდენტები: მანქანის დიაგნოზი, შემცირებული შემოწმების ფურცლები, კომუნიკაციები.
მონაცემები/ETL: ანგარიშების გადმოტვირთვის, ჩანაწერების, არქივის.

4) ორკესტრის ქორეოგრაფია

ორკესტრი შესაფერისია, როდესაც: ფილიალის რთული ლოგიკა, მკაცრი SLO, აშკარა ვადები/ტაიმაუტები, ვიზუალური „პროცესის რუკა“ ბიზნესს სჭირდება.
ქორეოგრაფია - როდის: მაღალი მოვლენა, სუსტი კავშირი, ერთი მოვლენის მრავალი დამოუკიდებელი მომხმარებელი.

ჰიბრიდი: გრძელი საგები აკონტროლებენ ორკესტრს, ხოლო ადგილობრივი რეაქციები ხორციელდება მოვლენების საშუალებით.

5) არქიტექტურული პრინციპები

Idempotence: თითოეული ნაბიჯი უსაფრთხოდ უნდა განმეორდეს (idempotency-key, მესიჯი-ID დედობა).
აშკარა ტაიმაუტები და აჯანყებები: backoff + gitter, მცდელობების შეზღუდვები, retrais მხოლოდ უსაფრთხო შეცდომებისთვის.
ანაზღაურება (საგები): ჯაჭვის გამოტოვება ნაწილობრივი მარცხით.
ნაბიჯების იზოლაცია: bulkhead (ცალკეული აუზები/ლიმიტები გარე downstrimes).
კონტრაქტები: OpenAPI/AsyncAPI ყველა გარე გამოწვევისთვის, CDC ტესტები.
WF ვერსია: შეყვანის/გამომავალი მონაცემების სქემის შეცვლა ძველი ინსტანციების „მასობრივი“ დაცემის გარეშე.

6) მოვლენებისა და ტრიგერების მოდელი

• დომენის მოვლენა ('deposit. requested`),
• გრაფიკი (cron),
• სახელმძღვანელო გაშვება (ოპერატორი/საფორტი),
• სიგნალი ალერტიდან (ინციდენტი-ავტო-ვორკფლოუ).
• კონტექსტი: კორელაცია 'trace _ id', 'workflow _ instance _ id', მომხმარებელი/რეგიონი, ficeflage- ის ვერსია.
• იაფი ფილტრები შესასვლელში: ადრეული ჩამოსხმა და დუბლების მოწყვეტა.

7) ნაბიჯების დიზაინი (tasks)

თითოეული ნაბიჯი აღწერილია: შესვლა, გასასვლელი, SLO, ტაიმუტი, მცდელობები, რეაგირების პირობები, ანაზღაურება, უფლებები/საიდუმლოებები.

task: call_psp input: { user_id, amount, currency, idempotency_key }
timeout: 200ms retries:
max: 2 on: [5xx, connect_error]
backoff: exponential jitter: true compensation: reverse_authorization secrets: [PSP_TOKEN]
sla: p99 <= 300ms

8) კომპენსაცია და საგები

ადგილობრივი გარიგება + ღონისძიება: „დაზოგეთ intent- ის ღონისძიება“.
ანაზღაურება: ავტორიზაციის გაუქმება, ბონუსის დაბრუნება, ბალანსის გადაანგარიშება, თიკეტის დახურვა.
კომპენსაციის ერთპიროვნულობა: განმეორებითი გაუქმება არ უნდა დაარღვიოს ინვარიანტები.

9) უსაფრთხოება და საიდუმლოებები

KMS/საიდუმლო მენეჯერი: ტოქსინების შენახვა, როტაცია, როლების დაშვება.
ყველაზე მცირე პრივილეგიები: WF ძრავა გაიცემა ზუსტად საჭირო ნაგავებით.
ვებჰუკების/კოლბეკების ხელმოწერა: HMAC/JWS, დროების შემოწმება.
მონაცემთა პოლიტიკოსები: PII- ის შენიღბვა ლოგოებში/ტრეკებში, დაშიფვრა.

10) დაკვირვება და SLO

პროცესის მეტრიკა: 'workflow _ started/completed', 'success _ rate', 'aborted', 'mean/p95/p99 duration', „ჩამოკიდებული“ ინსტანციები, „მკვდარი ლეტერი“.
ნაბიჯების მეტრიკა: 'task _ latency', 'error _ rate', 'retry _ count', 'Open _ circuit', 'cost _ per _ 1k _ calls'.
ტრეკები: სპანი თითოეული ნაბიჯისთვის, ჭდეები 'workflow. name`, `step`, `attempt`.

SLO: მაგალითად, "ანაბრების 95% - 3 წამი, 99% - 5 წამი; abort ≤ 0. 3 %/დღე."

დაშბორდები: ნაბიჯების თერმული რუკა, „ვიწრო ადგილები“, დამოკიდებულების რუქები.

11) წრიული კაცი (HITL)

კრიტერიუმები: საკამათო შემთხვევები (risk/AML), დიდი გადახდების სახელმძღვანელო დადასტურება.
ვადები: გადაწყვეტილების მოლოდინის დრო, შეხსენებები/ესკალაცია.
აუდიტი: ვინ/როდის/რა გადაწყვიტა, დასაბუთება, თიკეტთან დაკავშირება.

12) ცვლილებებისა და გამოშვებების მენეჯმენტი

Vorkflow ვერსიები: 'v1' და 'v2' პარალელურად; ინსტანციების მიგრაცია შეუძლებელია - დაასრულეთ ძველი ბუნებრივად, ახალი ტრაფიკი - 'v2' -ზე.
კანარის ტრაფიკი: 1% - 10% - 100%, მეტრის შედარება 'success/p95/abort'.
ფიჩეფლაგები: სწრაფი დაბრუნება ნაბიჯის/ფილიალების წინა განხორციელებაზე.
CDC/კონტრაქტები: CI კარიბჭე ისე, რომ ნაბიჯების ცვლილებები არ დაარღვიოს მომხმარებლები/პროვაიდერები.

13) ტესტირება

Unit ნაბიჯები: პოზიტიური/უარყოფითი + იდემპოტენტობა.
Contract tests: პროვაიდერის mock/stage წინააღმდეგ.
WF სიმულაციები: happy-path + timeouts, 4xx/5xx, „ნელი პროვაიდერი“, მოვლენების დაკარგვა, ნაწილობრივი შეცდომები.
Game-days: წარუმატებლობის ინექცია (PSP/KYC ვარდნა, რიგების კლდე, დახურული ბრეიკერი).
Replay: ისტორიული მოვლენების რეპროდუქცია მიგრაციის შესამოწმებლად.

14) ინციდენტები და ავტო რეაქციები

ინციდენტის მანქანა-ვორკფლოუ: მეტრიკის შეგროვება, downstrims- ის შემოწმება, შეტყობინებები, ტრენინგი (პროვაიდერის შეცვლა, დეგრადაცია).
Runbook ნაბიჯები: როგორ „გავაფართოვოთ“ ჩამოკიდებული ინსტანციები, როდესაც ნებადართულია სახელმძღვანელო აბორტი/force-complete.

15) ხარჯების მართვა

კვოტები და „რბილი ქუდი“: ძვირადღირებული ნაბიჯების/პროვაიდერების ლიმიტები.
ქეში/დედაპლატი: არ გააკეთოთ განმეორებითი გარეგანი გამოწვევები საჭიროების გარეშე.
მოხსენებები: „cost _ per _ 1k _ workflows“, „წარმატების ღირებულება“ WF ტიპების მიხედვით.

16) მინი შაბლონი workflow (ფსევდო-YAML)

workflow: deposit_v1 trigger:
event: deposit.requested filters: [amount > 0, currency in [USD,EUR,TRY]]
sla:
p95_ms: 3000 abort_rate_daily: 0.3%
steps:
- name: reserve_funds timeout_ms: 150 retries: {max: 2, on: [5xx, connect_error], backoff: exponential, jitter: true}
compensation: release_reserve
- name: call_psp timeout_ms: 200 retries: {max: 2, on: [5xx, connect_error]}
circuit_breaker: {error_rate: 0.05, window_s: 10, open_s: 30}
- name: post_ledger type: async topic: ledger.post
- name: notify_user channel: push hitl:
when: amount > 10000 or risk_score > 0.8 timeout_m: 30 escalate_to: "compliance@oncall"
observability:
emit_metrics: true trace: true security:
secrets: [PSP_TOKEN, PUSH_API_KEY]

17) რეტრაისა და ტაიმაუტის პოლიტიკოსები (რეკომენდაციები)

ნაბიჯის ტაიმუთი = მისი ლატენტობის ბიუჯეტის 70-80%.
Retrai - 2-3, მხოლოდ idempotent ოპერაციებზე და ქსელის წარუმატებლობებზე.
ჯიტერი სავალდებულოა; ვიწრო ადგილების ტაიმაუტების აკრძალვა ფოლბეკის გარეშე.
ანაზღაურება - როგორც ცალკეული ნაბიჯები, ასევე იდემპოტენტურია.

18) დაშბორდი (მინიმალური)

WF Overview: გაშვება/წარმატება/აბორტი, p95/p99 ხანგრძლივობა, ვიზები/ბაბუა.
Step Drilldown: ტოპ ნელი/მცდარი ნაბიჯები, retray, ღია შესვენებები.
Provider Panel: გამომავალი p95/error-rate/კვოტები/ღირებულება.
HITL Board: „ელოდება გადაწყვეტილებებს“, ვადებს, SLA შესაბამისობას.

19) განხორციელების სია

• საკვანძო WF რუკა და მფლობელები (on-call, ჩატი, რეპო).
• ნაბიჯების აღწერა: შესასვლელი/გასასვლელი, SLO, Timauts, retrais, კომპენსაცია, საიდუმლოებები.
• OpenAPI/AsyncAPI + CDC კონტრაქტები.
• Idempotence/dedup შესასვლელში და ნაბიჯებზე.
• დაშბორდები, კვალდაკვალ, ალერტები (პროცესის SLO და ნაბიჯები).
• Canareika + icheflagi WF გამოშვებისთვის.
• Runbook: როგორ „მკურნალობა“ ჩამოკიდებული/ნაწილობრივ შესრულებული WF.
• დეგრადაციის გეგმა: ალტერნატიული პროვაიდერები, „მძიმე“ ფილიალების გამორთვა.
• საიდუმლოების/წვდომის/აუდიტის პოლიტიკა.
• თამაშის დღეები/xaoc სცენარები სპრინტზე ერთხელ.

20) ალერტების მაგალითები (იდეები)

ALERT WorkflowSLOBreached
IF workflow_p95_duration_ms{name="deposit_v1"} > 3000 FOR 15m
LABELS {severity="critical", team="payments"}

ALERT WorkflowAbortRateHigh
IF rate(workflow_aborted_total{name="deposit_v1"}[30m]) > 0.005
LABELS {severity="warning", team="payments"}

ALERT StepRetryStorm
IF step_retry_count{name="call_psp"} > 2 baseline_1w FOR 10m
LABELS {severity="warning", team="integrations"}

ALERT StuckInstances
IF workflow_in_progress_age_p95_m{name="kyc_v2"} > 60
LABELS {severity="warning", team="risk"}

21) ანტი შაბლონები

„დიდი მონოლითური WF“ 100 + ნაბიჯით და მკაცრი კავშირით - რთულია და ხმაურიანია.
Retrais indempotent ოპერაციებისთვის (ორმაგი ჩამოწერა/დარიცხვა).
ტაიმაუტები „უფრო გრძელია, ვიდრე ცხოვრება“ მომხმარებლის მოთხოვნა - ჩამოკიდებული და „ზომბები“.
კომპენსაციის არარსებობა - ხელით შესწორებები და გრძელი პოსტმორტემები.
არ არსებობს WF ვერსია, გამოშვებები არღვევს ძველ ინსტანციებს.
კონფიგურაციის/ცვლადის საიდუმლოებები როტაციისა და აუდიტის გარეშე.

22) KPI ხარისხის workflow

Success rate და Abort rate WF ტიპების მიხედვით.
p95/p99 ნაბიჯების და პროცესის ხანგრძლივობა.
MTTD/MTTR პროცესების ინციდენტებთან დაკავშირებით.
Retry storm count/თვე (სამიზნე - 0).
ღირებულება 1k WF და „წარმატების ღირებულება“.
ავტომატიზაციის წილი: შემთხვევების% HITL- ის გარეშე.

23) სწრაფი დაწყება (ნაგულისხმევი)

დაიწყეთ 3-5 კრიტიკული WF- ით (ანაბარი, დასკვნა, KYC).
გრძელი სიცოცხლის საგების ორკესტრი; ადგილობრივი რეაქციები - მოვლენები.
ნაბიჯის ტაიმუტი ბიუჯეტის 80% -ს შეადგენს; retrai-2 backoff + gitter.
ანაზღაურება განისაზღვრება წერილობით და ტესტირება.
ჩართეთ კანარი 5-10% ტრაფიკით, შედარების დუშბორდის საშუალებით.
თითოეული WF არის მფლობელი, runbook და SLO ალერტები.

24) FAQ

Q: რა უნდა აირჩიოთ: ორკესტრი თუ მოვლენები?
A: თუ თქვენ გჭირდებათ ვიზუალური რუკა, ვადები და გრძელი საგები - ორკესტრი. თუ მარტივი რეაქციები ხდება მოვლენებზე და უამრავ მომხმარებელზე - ქორეოგრაფია. ხშირად საუკეთესო ვარიანტია ჰიბრიდი.

Q: როგორ ავიცილოთ დუბლიკატები?
A: Idempotence-key WF შესასვლელში, დედაპლატი „მესიჯი _ id“ და შენახვა „seen-events“. ნაბიჯები იდემპოტენტურია.

Q: გჭირდებათ ადამიანი წრეში?
ა: დიახ, საკამათო/ძვირადღირებული შემთხვევებისთვის. მაგრამ გაზომეთ და შეამცირეთ HITL- ის წილი უკეთესი ავტომატიზაციისა და წესების გამო.