Batch vs Stream: როდის

რატომ უნდა აირჩიოთ საერთოდ

ნებისმიერი მონაცემთა სისტემა დაბალანსებულია სიახლეებს შორის, ღირებულებას, მხარდაჭერის სირთულეს და საიმედოობას.
Batch არის მონაცემთა პერიოდული „ნაწილი“ მაღალი სიჩქარით და ჩაწერის დაბალი ღირებულებით.
Stream არის მოვლენების უწყვეტი დამუშავება მინიმალური დაგვიანებით და მეხსიერების/ადგილობრივი სვეტების მდგომარეობით.

მოკლედ მოდელების შესახებ

Batch

წყარო: ფაილები/ცხრილები/სნაიპერები.
ტრიგერი: გრაფიკი (საათი/დღე) ან პირობა (ახალი პარკეტის ფაილი).
სიძლიერე: სიმარტივე, დეტერმინიზმი, მონაცემთა სრული კონტექსტი, იაფი დიდი გადაანგარიშებები.
სუსტი: არა „ონლაინ“, მაღალი ლატენტობა, „ფანჯრები“ რეალური დროის სიგნალების გარეშე.

Stream

წყარო: ბროკერები (Kafka/NATS/Pulsar), CDC, რიგები.
ტრიგერი: მოვლენა.
ძლიერი: დაბალი შეფერხება, რეაქტიულობა, პროდუქტთან ბუნებრივი ინტეგრაცია.
სუსტი: დროის სირთულე (ღონისძიება), ბრძანება/დუბლები, მდგომარეობა, ექსპლუატაცია.

გამოსავალი: არჩევანის მატრიცა

წესი 80/20: თუ SLA საშუალებას გაძლევთ წუთიერი/საათის შეფერხებები და არ არის რეაქტიული დარტყმები - აიღეთ batch. თუ რეაქცია „აქ და ახლა“ კრიტიკულია, ან საჭიროა ცოცხალი ვიტრინები - stream (ხშირად + დამატებითი ღამის batch გამოსაყენებლად).

ტიპიური სკრიპტები

• ყოველდღიური მოხსენებები, პერიოდების ბილინგი, ML ტრენინგი, დიდი ჯოინები, „მთელი კომპლექტი“.
• მედალიონის მოდელი (bronze/silver/gold) ღრმა ტენდენციებით.
• მასობრივი ბექტესტები და ფანჯრების გადაკეთება.

• ანტიფროდი/მონიტორინგი, SRE ალერტები, რეალური დროის ბალანსი/მისიები, რეკომენდაციები „ახლა“.
• ინტეგრაცია „მოვლენა-ფაქტი“ (EDC), მატერიალიზებული წარმოდგენების განახლება (CQRS).
• მიკროსერვისი: ნოტიფიკაცია, ვებჰუკი, რეაქციები ბიზნეს მოვლენებზე.

• ნაკადი ქმნის ოპერაციულ ფანჯრებს და სიგნალებს; ღამის batch აკეთებს კონვერტაციას, თაღს და იაფი ისტორიულ დათვლებს.

არქიტექტურა

Lambda (Stream + Batch)

Stream სავარაუდო და ონლაინ; Batch სისრულისა და კორექტირებისთვის.
დადებითი: მოქნილობა და SLA. უარყოფითი მხარეები: ორმაგი ლოგიკა, კოდის დუბლირება.

Kappa (все — Stream + Replay)

ერთი ლოგი, როგორც ჭეშმარიტების წყარო; batch გადანაწილება = replay.
დადებითი: ერთი კოდის ბაზა, ერთი სემანტიკა. უარყოფითი მხარეები: უფრო რთულია ოპერაცია, ლოგოს შენახვის მოთხოვნები.

Hybrid-Pragmatic

ნაკადის „ოპერაცია“ + პერიოდული batch ჯობი მძიმე ჯოინებისთვის/ML/კორექტირებისთვის.
პრაქტიკაში - ყველაზე გავრცელებული ვარიანტი.

დრო, შეკვეთა, ფანჯრები (Stream- ისთვის)

დაეყრდნო ღონისძიების დროს, არა პროფესიულ დროს.
მართეთ watermark და 'allowed _ lateness'; შეინარჩუნეთ retractions/upserts გვიან მოვლენებისთვის.
მართეთ განყოფილებების გასაღებები, დაგეგმეთ „ცხელი გასაღებები“.

ეფექტების საიმედოობა და სემანტიკა

Batch

BD გარიგებები ან წვეულებების/ცხრილების ატომური ჩანაცვლება.
Idempotenty - deterministic გამოთვლებით და overwrite/insert-overwrite.

Stream

At-least-once + idempotent sinks (upsert/merge, აგრეგატების ვერსიები).
გარიგება „წაიკითხა და ჩაწერა პოზიცია“ EOS- სთვის ეფექტის შესახებ.
ბაბუის ცხრილი 'event _ id '/' operation _ id'.

საცავი და ფორმატები

Batch

Data Lake (Parquet/Delta/Iceberg), OLAP (ClickHouse/BigQuery), ობიექტის საცავი.
ACID ცხრილი ატომური სივრცისთვის, დროის მოგზაურობისთვის.

Stream

Logs/თემები ბროკერებში, სახელმწიფო მაღაზიებში (RocksDB/embedded), KV/Redis, OLTP პროექციებისთვის.
სქემების რეესტრი (Avro/JSON/Proto), თავსებადობის რეჟიმები.

ღირებულება და SLO

Batch: გადაიხადეთ „პაკეტებით“ - სასარგებლოა დიდი მოცულობებით, მაგრამ შეფერხება გრაფიკის მიხედვით.
Stream: მუდმივი ranthim რესურსები, პიკის ღირებულება მაღალი QPS; მაგრამ SLA წამებში.
ჩათვალეთ p95/p99 ლატენტობა, გავლის გზა, ღირებულება UU/ღონისძიება და TCO მხარდაჭერა.

ტესტირება

საერთო: golden ნაკრები, property-based ინვარიანტები, ბინძური შესასვლელების წარმოება.
Batch: დეტერმინაცია, idempotent გადატვირთვა, თაღების შედარება „ადრე/შემდეგ“.
Stream: out-of-order/დუბლიკატები, fault-injection ოფსეტური ეფექტსა და ფიქსაციას შორის, replay ტესტები.

ობსერვაბილიტი

Batch: ჯობის ხანგრძლივობა, fayles/retray- ის წილი, ფანჯრის სიახლე, skan-cost.
Stream: დროში/შეტყობინებებში, watermark, late-rate, state/chreckpoint სიხშირე, DLQ ფსონი.
ყველგან: 'trace _ id', 'event _ id', სქემების/კონვეიერის ვერსიები.

უსაფრთხოება და მონაცემები

PII/PCI - მინიმუმამდე დაყვანა, დაშიფვრა at-rest/in-flight, სქემებში ველების აღნიშვნა ('x-pii').
Stream- ისთვის - state/checkpoint's დაცვა, ACL ტოპებისთვის.
GDPR/დავიწყების უფლება: Stream- ში - კრიპტო-წაშლა/გამოცემა პროექციებში; Batch - პარტიების გადაანგარიშება.

გარდამავალი სტრატეგიები

Batch - Stream: დაიწყეთ მოვლენების გამოქვეყნებით (Outbox/CDC), აიღეთ პატარა რეალურ დროში ფანჯარა არსებული თაღის შეხების გარეშე.
Stream Batch: დაამატეთ ყოველდღიური თაღები ანგარიშგების/გადამოწმებისთვის და დატვირთვის დატვირთვის შემცირება ნაკადულებზე.

ანტი შაბლონები

„ყველაფერი Stream- ზე“ მოდის გულისთვის: ძვირი და რთულია რეალური საჭიროების გარეშე.
„ერთი გიგანტური ღამის სატანკო“ მოთხოვნით <5 წუთი.
პროგრესირების დროის გამოყენება ბიზნეს მეტრიკისთვის.
ნედლეული CDC, როგორც საზოგადოებრივი მოვლენები: მკაცრი კავშირი, ტკივილი ევოლუციის დროს.
არ არსებობს idempotention sinks - ორმაგი ეფექტები restarts- ზე.

არჩევანის სია

• SLO სიახლე: რამდენი წამი/წუთი/საათი დასაშვებია?
• შესასვლელი სტაბილურობა: არსებობს თუ არა out-of-order/დუბლიკატები?

საჭიროა ონლაინ რეაქციები/ფანჯრები?

• ღირებულება: ranteim 24/7 vs „გრაფიკის ფანჯარა“.
• კორექტირების მეთოდი: retract/upsert ან ღამის დათვლა.
• გუნდი და ოპერაციული სიმწიფე (ობსერვატორია, on-call).
• მოთხოვნები „ზუსტად ერთი ეფექტისთვის“.
• პოლიტიკოსები PII/რეტენციები/დავიწყების უფლება.

რეფერენდუმის შაბლონები

• Stream: EDC პროექცია (KV/Redis, OLTP) UI- სთვის, idempotent upsert.
• Batch: nightly თაღი OLAP, რეკონსტრუქცია, ML ფიჩები.

• ნაკადი: სესიის ფანჯრები, CEP წესები, ალერტები <1-5.
• Batch: მოდელების გადამზადება, ოფლაინ მონიტორინგი.

• Stream: გამომწვევი, რეალურ დროში სეგმენტები.
• Batch: მორიელები, LTV მოდელები, მოხსენებები.

FAQ

შესაძლებელია თუ არა „თითქმის რეალური დროის“ მიღება batch- ზე?
დიახ: მიკრობათჩი/გამომწვევი ჯობი (ყოველ 1-5 წუთში) - კომპრომისი, მაგრამ ფანჯრის სირთულეების გარეშე/გვიან-მოვლენები.

საჭიროა Lambda მიდგომა ყველგან?
არა. თუ ნაკადი დახურავს ყველა დავალებას და თქვენ იცით როგორ გააკეთოთ replay - Kappa უფრო ადვილია გრძელი. წინააღმდეგ შემთხვევაში - ჰიბრიდი.

როგორ გავითვალისწინოთ ღირებულება?
შეაჯამეთ compute + storage + ops. Stream- ისთვის დაამატეთ ფასი „24/7“ და გადაუდებელი ღამეები; Batch- ისთვის - მონაცემთა „შეფერხების“ ფასი.

შედეგი

შეარჩიეთ Batch, როდესაც მნიშვნელოვანია დაბალი ღირებულება, სიმარტივე და პერიოდული თაღები; Stream - როდესაც რეაქტიულობა და სიახლე კრიტიკულია. პრაქტიკაში, ჰიბრიდი იმარჯვებს: ნაკადი - ონლაინ და სიგნალებისთვის, საბრძოლო - სისრულისა და იაფი ისტორიული გამოკითხვებისთვის. მთავარია SLO- ს დაყენება, idempotence/დაკვირვება და წინასწარ შემუშავება კორექტირების გზა.