रोलबैक रणनीतियाँ और परमाणु रिलीज

1) आपको एक त्वरित रोलबैक की आवश्यकता क्यों

यहां तक कि उत्कृष्ट परीक्षण कवरेज के साथ, भोजन त्रुटि-मुक्त की गारंटी न रोलबैक एक SLO/व्यावसायिक मैट्रिक्स या घटना संकेत द्वारा पिछले स्थिर अवस्था में एक सिस्टम की नियंत्रित वापसी है। उद्देश्य:

MTTR को मिनट तक कम करें।
प्रभाव की त्रिज्या (न्यूनतम प्रभावित उपयोगकर्ता/लेनदेन) को सीमित करें।
डेटा अखंडता और अनुबंध संगतता बनाए रखें।

कुंजी: बिल्ड रिलीज इसलिए रोलबैक एक तुच्छ कार्रवाई है, मिनी-प्रोजेक्ट नहीं।

2) "परमाणु रिलीज" की अवधारणा

परमाणु रिलीज - जब एक नए संस्करण/व्यवहार को स्थायी दुष्प्रभावों के बिना एकल परमाणु संचालन द्वारा किया जा सकता है (और रद्द किया जा सकता है)।

परमाणु घटक:

अपरिवर्तनीय कलाकृति (हस्ताक्षरित छवि/पैकेज)।
वर्शनित कॉन्फ़िग (प्रचार संस्करण, मैनुअल संपादन नहीं)।
"समावेश" (रूटिंग/झंडे) से "डिलीवरी" का पृथक्करण।
संगत डेटा स्कीमा (दोनों संस्करण एक साथ रह सकते हैं)।
रोलबैक रनबुक: एक स्पष्ट चरण (चयनकर्ता/वजन/ध्वज बदलें) + जाँच करें।

3) रोलबैक मशीनरी इन्वेंट्री

3. 1 ट्रैफिक परत (सबसे तेज)

ब्लू-ग्रीन: स्थिर संस्करण में/लक्ष्य समूह चयनकर्ता को स्विच करें।

कैनरी: 0% तक कम वजन और फ्रीज प्रगति।

गेटवे/NGINX/सेवा मेष: पिछले वजन/मार्गों पर लौटें।

3. 2 कन्वेयर स्तर

हेल्म/आर्गो रोलआउट्स: पिछले संशोधन के लिए 'गर्भपात/रोलबैक'।

GitOps: एमआर/रिपॉजिटरी प्रकट करने के लिए प्रतिबद्ध (नियंत्रक बाकी काम करेगा)।

3. 3 परिशिष्ट/विशेषताएँ

फ़ीचर-फ्लैग्स/किल-स्विच: जोखिम भरा रास्ता तुरंत बंद करें।

टॉगल कॉन्फ़िग: पिछले कॉन्फ़िग शॉट पर वापस जाएँ।

3. 4 डेटा

रोल-फॉरवर्ड माइग्रेशन (पसंदीदा) + संगतता।

पॉइंट-इन-टाइम रिकवरी (PITR) और दुर्घटनाओं के लिए बैकअप।

मुआवजा (सागा) और प्रतिवर्ती कार्यों के लिए पहचान।

4) "विस्तार → माइग्रेट → अनुबंध" पैटर्न

रोलबैक को सुरक्षित रखने के लिए, डेटा स्कीमा को पुराने और नए संस्करणों को सह-लाइव करने की अनुमति देनी चाहिए।

1. पुराने तर्क को तोड़े बिना नया फ़ील्ड/इंडेक्स (nullable) जोड़ें।

2. माइग्रेट करें - डबल राइट/रीड, बैक-फिल, बैकग्राउंड जॉब्स साथ आइडेम्पोटेंसी।

3. संविदा - 100% निकास और सतत विंडो के बाद पुराने क्षेत्र/कोड मिटाएँ।

💡 नियम: एप्लिकेशन रिलीज़ कभी भी त्वरित प्रवास पर निर्भर नहीं करता है। किसी भी ऑपरेशन को रोका जा सकता है और सुरक्षित रूप से फिर से शुरू कि

5) एसएलओ गेटिंग और ऑटो रोलबैक

प्रत्येक रिलीज चरण के प्रवेश द्वार को मैट्रिक्स द्वारा "संरक्षित" किया जाना चा

तकनीकी एसएलओ: p95/p99 विलंबता, 5xx-दर, संतृप्ति (सीपीयू/मेमोरी), त्रुटि-बजट बर्न।

व्यावसायिक मैट्रिक्स: जमा/कैशआउट के लिए सीआर, भुगतान से इनकार, धोखाधड़ी प्रतिशत, केवाईसी त्रुटियां।

स्वतः स्टॉप (तर्क का उदाहरण):

5xx> 0। 5% 10 मिनट → रोलबैक।
p95 20% बेसलाइन - होल्ड + विश्लेषण।
PSP त्रुटि> 0। 3 p.p. → रोलबैक + स्विचिंग भुगतान मार्ग।

6) उदाहरण: Kubernetes/Helm/Argo/NGINX

6. 1 ब्लू-ग्रीन (K8s सेवा चयनकर्ता)

yaml
Service points to "blue"; switch to green - change selector apiVersion: v1 kind: Service metadata: {name: app-svc}
spec:
selector: { app: app, version: blue }
ports: [{ port: 80, targetPort: 8080 }]

रोलबैक = चयनकर्ता को 'नीला' (परमाणु, कोई आश्वस्त नहीं) पर लौटाएं।

6. 2 कैनरी (Istio VirtualService веса)

yaml http:
- route:
- destination: { host: app, subset: stable } # 100 weight: 100
- destination: { host: app, subset: canary } # 0 weight: 0

रोलबैक = वजन कैनरी → 0, स्थिर → 100।

6. 3 आर्गो रोलआउट - गर्भपात

yaml kubectl argo rollouts abort app # stop and return to stableService

6. 4 हेल्म - संशोधन के लिए रोलबैक

bash helm history app -n prod helm rollback app 17 -n prod # revert to revision 17

6. 5 NGINX - अपस्ट्रीम वजन

nginx upstream app {
server blue:8080 weight=100;
server green: 8080 weight = 0; # rollback - return 100/0
}

7) "पैराशूट" के रूप में फीचर-फ्लैग और किल-स्विच

उच्च जोखिम वाले प्रवाह (जमा/भुगतान/बोनस) के लिए किल-स्विच - अनिवार्य।

चिपचिपाहट: उपयोगकर्ताओं को हैश कुंजी के माध्यम से "संस्करण" सौंपना - पूर्वानुमानित तुलना।

असफल-सुरक्षित: यदि फ्लैग सर्वर अनुपलब्ध है, सुरक्षित तयशुदा.

उदाहरण (छद्म कोड):

ts const enabled = flags. bool("new_cashout_flow", false);
if (! enabled) return classicFlow () ;//instant rollback - disable the return newFlow () flag;

8) एपीआई और इवेंट कॉन्ट्रैक्ट्स: "रोलबैक को तोड़ ना" कैसे नहीं

वर्शनिंग अनुबंध (OpenAPI/gRPC/Avro): नया संस्करण फ़ील्ड जोड़ ता है, पुराने लोगों के शब्दार्थ को नहीं बदलता है।

इवेंट-वर्शनिंग: 'टाइप = v2', उपभोक्ताओं को अज्ञात क्षेत्रों की अनदेखी करने की आवश्यकता होती

आउटबॉक्स + आइडेम्पोटेंसी: घटना की कोई भी पुनरावृत्ति सुरक्षित है, उपभोक्ता पहचान है।

9) ऑफसेट लेनदेन (सागा)

जब राज्य का कोई "कठिन" रोलबैक नहीं होता है (धन बचा, पत्र भेजा जाता है), तो मुआवजे का उपयोग करें:

पोस्ट किया गया राइट-ऑफ - मुआवजा: रिटर्न, रिवर्सल, सुधार रिकॉर्ड।
सफलता से पहले प्रतिपूरक संक्रियाओं और वापसी की पत्रिका में रिकॉर्डिंग।
प्रत्येक ऑपरेशन के लिए पहचान कुंजी।

संदेश टेम्पलेट (सरलीकृत):

json
{
"sagaId": "b7d2...",
"action": "withdraw. execute",
"idempotencyKey": "user123:withdraw:7845",
"compensation": "withdraw. refund"
}

10) कॉन्फ्रेंस और सीक्रेट: संस्करण के रूप में रोलबैक

संस्करण कलाकृतियों (सेवर/कमिट-शा) के रूप में कॉन्फ़िग करें।

रोलबैक = कॉन्फ़िग को पिछले संस्करण (GitOps वापस) में वापस करें, न कि "अपने हाथों से ठीक करें।"

रहस्य - भंडारण के माध्यम से (केएमएस/वॉल्ट); रिलीज में रोटेशन और वर्शनिंग शामिल हैं।

11) रोलबैक रनबुक (न्यूनतम)

1. ठहराव प्रगति (कैनरी/रोलआउट)।

2. ट्रैफिक रिटर्न (वजन/चयनकर्ता)।

3. SLO/बिजनेस मैट्रिक्स चेक बेसलाइन पर वापस आ गए हैं।

4. पृष्ठभूमि नौकरियों का स्थिरीकरण (यदि आवश्यक हो तो माइग्रेशन/बैक-फिल बंद करें)।

5. हादसा और पोस्ट-फैक्टम: कलाकृतियाँ (लॉग/ट्रेल्स/मैट्रिक्स), परिकल्पना, सुधार।

6. सफाई: फ्लैग बंद करें, बायाँ कोड हटाएँ, कार्य कार्यक्रम वापस करें।

12) ऑटो-प्रोटेक्शन पॉलिसी

छवियों के लिए 'नवीनतम' और म्यूटेबल टैग प्रतिबंधित करें।

प्रवेश नियंत्रण: केवल हस्ताक्षरित कलाकृतियाँ।

सीआई गेट: SAST/SCA/पॉलिसी-चेक को बढ़ावा देने के लिए हरा होना चाहिए।

फ्रीज विंडोज: जोखिम अवधि के दौरान कोई रिलीज/वेट> एक्स% नहीं।

13) लगातार एंटी-पैटर्न

हम संगतता के बजाय डीडीएल बेस को "रोल बैक" करते हैं - लंबे ताले/डाउनटाइम।

इंस्टेंट हेड-टू-हेड माइग्रेशन बिना पहचान और बैक-फिल के।

"डिलीवरी" और "समावेश" का मिश्रण - ट्रैफ़िक को जल्दी से वापस करने का कोई तरीका नहीं है।

बिना लेखा परीक्षा के उत्पादन कॉन्फिग में मैनुअल संपादन।

भुगतान/आउटपुट पर कोई किल-स्विच नहीं।

प्रोड के लिए कलाकृतियों का पुनर्निर्माण करें ("एक बार बिल्ड - रन कई" का उल्लंघन)।

कोई एकल रोलबैक बटन/रनबुक काम नहीं किया गया है।

14) कार्यान्वयन चेकलिस्ट (0-45 दिन)

0-10 दिन

प्रमुख सेवाओं पर ब्लू-ग्रीन/कैनरी शामिल करें।

इनकार करें 'नवीनतम', छवि पर हस्ताक्षर करने और हेल्म/आर्गो इतिहास सक्षम करें।

एसएलओ बोर्ड कनेक्ट करें (विलंबता, 5xx, कुंजी व्यवसाय संकेत)।

11-25 दिन

जोखिम प्रवाह के लिए किल-स्विच लागू करें।

डेटाबेस माइग्रेशन को विस्तार-माइग्रेट-कॉन्ट्रैक्ट + आइडेम्पोटेंसी में बदलें।

एसएलओ (Argo Template/Alerts) द्वारा ऑटो-स्टॉप/रोलबैक जोड़ें।

26-45 दिन

वर्शनिंग कॉन्फ़िग (GitOps), MR-revert के माध्यम से रोलबैक।

रनबुक को "गेम-डे" (घटना और रोलबैक का सिमुलेशन) चलाएं।

सागा मुआवजा दर्ज करें जहां नीचे की ओर रोलबैक संभव नहीं है।

15) परिपक्वता मैट्रिक्स

रोलबैक MTTR: लक्ष्य <5 मिनट।

% रिलीज जहां रोलबैक = रूट/फ्लैग स्विच (कोई पुनर्निर्माण नहीं)> 90%।

विस्तार-माइग्रेट-कॉन्ट्रैक्ट माइग्रेशन> 90% की हिस्से

फ्लैग> 95% के साथ किल-स्विच सेवाओं को कवर करना।

असंगत योजनाओं/संविदाओं के कारण होने वाली घटनाओं की संख्या → 0।

16) अनुप्रयोग: मिनी-टेम्पलेट

Argo Template 5xx स्टॉप

yaml apiVersion: argoproj. io/v1alpha1 kind: AnalysisTemplate metadata: { name: guard-5xx }
spec:
metrics:
- name: http_5xx_rate interval: 1m successCondition: result < 0. 005 provider:
prometheus:
address: http://prometheus. monitoring:9090 query:
sum(rate(http_requests_total{app="app",status=~"5.."}[5m])) /
sum(rate(http_requests_total{app="app"}[5m]))

Kubernetes: तैनाती का त्वरित रोलबैक

bash kubectl rollout undo deploy/app -n prod

हेल्म: परमाणु रिलीज

bash helm upgrade --install app chart/ \
--atomic \
--timeout 5m \
--set image. tag=v1. 9. 3

NGINX: कैनरी क्रेन

nginx map $cookie_canary $weight {
default 0;
"~ on" 10; # enable 10% by cookie
}

17) निष्कर्ष

विश्वसनीय रोलबैक एक "फायर बटन" नहीं है, बल्कि वास्तुकला की एक संपत्ति है: अपरिवर्तनीय कलाकृतियां, वितरण और समावेश का पृथक्करण, संगत डेटा योजना, फ्लैग और एसएलओ गेटिंग। व्यवसाय और उपयोगकर्ताओं के लिए दर्द के बिना, परमाणु रिहर्सल, रिहर्सल रनबुक और स्वचालित सुरक्षा गेट - और कोई भी रिलीज मिनटों में प्रतिवर्ती होगी।

रोलबैक रणनीतियाँ और परमाणु रिलीज