Opérations et gestion → Prédiction des incidents

Prédire les incidents

1) Pourquoi est-ce nécessaire

Les incidents explosent rarement de nulle part. Avant d'échouer, la plate-forme donne des signaux : croissance accélérée de p99, lent burn-out du budget error, lenteur des files d'attente, augmentation des retraits sur un downstream spécifique, rapprochement des quotas du fournisseur. La prédiction systémique des incidents traduit la réaction de « l'extinction des incendies » à « l'intervention précoce », réduisant MTTR, Change Failure Rate et les pertes de revenus.

• Identifier les modèles de précurseurs et lancer automatiquement des actions préventives.
• Réduire la proportion de P1/P2 en décalant vers la gauche (taux de détection avant incident).
• Intégrer les prédictions dans les processus de publication, de faussaire et de capacity-proactivité.

2) Carte des signaux (indicateurs de départ)

• Accélération p95/p99 (gradient), « queues » des retards, augmentation de la variation.
• Files d'attente : croissance de 'lag'et dérivé positif de lag ; HPA au maximum.
• Base de données/cache : 'active _ conns/max _ conns', 'replication _ lag', 'evictions', chute 'cache _ hit'.
• Réseau : erreurs mTLS/handshake, croissance 5xx/timeout vers l'extérieur.

• 'outbound _ error _ rate '/' retry _ rate' à un fournisseur spécifique, 'circuit _ open', 'quota _ usage> 0. 9`.
• SLA du fournisseur : fenêtres planifiées, dégradations.

• Charge anormale (campagnes/matchs), sauts RPS/TPS, mélanges inhabituels de régions/canaux.
• La conversion des dépôts/taux diminue avec la hausse de p99 → quasi-proxy de l'incident.

• Burn-rate error-budget> seuil (par exemple> 4 × pendant 10-15 min).
• Fréquentes perturbations mineures du SLO (micro-dégradation) comme marqueur d'une défaillance imminente.

3) Sources et vitrines de données

Télémétrie en ligne : Prometheus/OTel (métriques, logs, tracés).
Événements d'incident : tiquets/statuts/postmortems (vérité pour le ciblage).
Plan/faits du changement : communiqués, ficheflags, migrations, fenêtres des fournisseurs.
Manuels : carte des dépendances, quotas, propriétaires.
Images DWH : agrégats de formation/validation (fenêtre synchrone !).

Exigences de qualité : exhaustivité de ≥99 %, alignement heure/minute TZ, définitions uniques p95/p99.

4) Approches de prédiction

4. 1 Non paramétrique/règles (démarrage rapide)

Alerts de seuil par taux de variation : 'deriv (p99)', 'z-score'pour les fenêtres courtes.
Conditions composites : « lag↑ + HPA = max + circuit_open (to = » PSP-X « ) ».
SLO-burn-gates : restes de sortie/canari à burn-rate> X.

4. 2 Détection d'anomalies

Baselines seasonales (STL/Prophet-comme des idées), rolling médian + MAD.
Multivariate : anomalie conjointe 'p99 + retry + open_circuit + quota'.
Détection du point de changement : CUSUM/BOCPD pour les changements de tendance.

4. 3 modèles ML (supervisés)

Classification « incident en T + K ? » par fenêtre de signes (par exemple 10-30 min avant).
Caractéristiques : statistiques, produits dérivés, résidus saisonniers, fournisseurs/régions à hot unique, drapeaux de sortie.
Étiquettes : 'incident{severity∈[P1,P2]}' dans l'intervalle [t, t + K].
Explainability : SHAP/Permutation importance pour la confiance et l'exploitation.

4. 4 SRE-first hybride

Le modèle d'évaluation des risques → (0-1) → la politique d'action (ficheflagi/feylover/avant-skale), avec HITL pour critique.

5) Conception des caractéristiques (feature engineering)

Fenêtres coulissantes (1/5/15 min) : mean, p95/p99, std, max, slope.
Indicateurs relatifs : 'p99/baseline _ 1d', 'error _ rate _ delta'.
Fiches de cohorte : fournisseur, région, type de jeu/match, canal de l'appareil.
Fiches de charge : RPS, taille payload, nombre de WS ouverts.
Système : 'hpa _ desired/max', 'db _ bou _ ratio', 'redis _ evictions> 0'.
Drapeaux d'événement : « sortie en cours », « canari 10 % », « fenêtre du fournisseur ».

6) La mécanique des prédictions et de l'action

1. Scoring des risques toutes les N secondes par domaine (Payments/Bets/Games/KYC).

• risque ≥ 0. 8 + signaux de confirmation → page propriétaire du domaine ;
• 0. 6–0. 8 → avertissement + préparation des mesures.

• Avant-scène (HPA minReplicas↑), inclusion des caches, limitation des fonctions lourdes ;
• basculement vers un fournisseur/itinéraire de secours ;
• pause/rollback de canaris ;
• limite des rétrogrames au downstream « étroit ».

4. HITL : une personne confirme des mesures de niveau « changement de comportement des entreprises ».

7) Intégration dans les processus quotidiens

Communiqués : Gates prédictifs sur canaris (comparaison « avant/après » et risque-scoring).
Feilover : Préparation/échauffement automatique de la route de secours au risque du fournisseur.
Capacity : « early uplift » à la chute de la tête et à la croissance des lagunes.
Alertes : ruban séparé « pré-incident » + annotations dans les dashboards.

8) Observabilité et dashboards

Présentation des risques : risque par domaine et par fournisseur, tendances, contribution des caractéristiques.
Lead Signals : top-N des précurseurs (gradient p99, lag, breakers ouverts).
Actions & Outcomes : ce qui est allumé, effet sur p95/erreur, incidents annulés.
Model Health : precision/recall/latency, drift caractéristiques, taux d'autopsies.

9) Métriques de qualité des prédictions

Recall @ P1/P2 (sensibilité aux incidents critiques).
Precision (moins de « fausses pages »).
Lead Time (médiane « combien de minutes avant le fait »).
Taux d'intérêt de l'intervention (proportion de cas où l'action a réduit les risques/coûts).
Indice Alert Fatigue (alertes/changement/personne).
Drift Score (stat. différences de distribution des signes de la période de formation).

Cibles par défaut : Recall (P1) ≥ 0. 7, Precision ≥ 0. 6, Lead Time médian ≥ 8-10 min.

10) Modèle de gestion des risques (ML Ops/Gouvernance)

Versioner les données/code/artefacts, reproductibilité.
Champion/Challenger : le nouveau modèle va en parallèle, comparaison hors ligne/en ligne.
Dérive : PSI/KL-divergence, auto-liste des seuils, alert « modèle est obsolète ».
Explainability : pour chaque décision, stocker l'importance des traits et le lien vers les données.
Sécurité/éthique : accès, camouflage des IPI, contrôle de l'autonomie par les politiciens.

11) Exemples de règles et de politiques

policy:
if slo_burn_rate{service="payments"} > 4 for 10m and release_phase in ["canary", "post-deploy_30m"]:
action: pause_release_and_rollback notify: squad-payments

risk_psp_x = sigmoid(
1. 2z(outbound_p99_ms) +
1. 5z(outbound_error_rate) +
0. 8z(retry_rate) +
1. 0I(quota_usage>0. 9) +
0. 7I(circuit_open=1)
)
if risk_psp_x > 0. 8 for 5m -> route_to_psp_y + reduce_features

if (consumer_lag > 5e6 and deriv(consumer_lag) > 5e4) and hpa_desired == hpa_max:
action: scale_consumers + throttle_producers + enable_batching

12) Chèque de mise en œuvre (30-60 jours)

• Catalogue des signaux et des « vérités » par incident (severity, timelines).
• Lignes de base et saisonnalité pour les mesures clés (avant/après la sortie).
• Règles relatives aux signaux précoces (gradients p99, lag, burn-rate).
• Dashboards Risk/Lead Signaux/Actions.
• Intégration avec les fischeflags/canaris, avant-scale HPA.
• Pilote d'un classificateur ML sur un seul domaine (p. ex., paiements).
• Les politiques de HITL et le journal d'autopsie.
• Métriques de qualité et alertes sur la dérive/santé du modèle.

13) Anti-modèles

« Boules de cristal » : un modèle ML complexe sans lignes de base et sans règles simples.
Pas d'actionability : on prédit « mal » mais on ne fait rien automatiquement.
Ignorer la saison/calendrier des événements (matchs/tournois) → fausses alertes.
Mélange des zones temporelles → des fenêtres métriques/incidents incorrectes.
L'absence d'exploration → la méfiance, la désactivation du prédicteur par les équipes.
Un seuil global unique pour tous les domaines/régions → faible précision.

14) Spécificité des domaines (iGaming)

Payments : fournisseurs/quotas, croissance de 'retry _ rate' et 'circuit _ open' → feilover précoce.
Bets : délai de mise à jour des coefficients, croissance du WS-fan-out → limite de diffusion.
Games/Live : les rejaillissements des liaisons, les limites des studios → la dégradation les UI/caches.
KYC/AML : retards webhook, files d'attente de vérification → HITL et traitement différé.

15) Exemples de métriques et d'alertes (idées)

ALERT PreIncidentRiskHigh
IF risk_score{domain="payments"} > 0. 8 FOR 5m
LABELS {severity="critical", team="payments"}

ALERT LeadSignalP99Slope
IF deriv(api_p99_ms{service="bets"}[5m]) > 15 AND api_p99_ms > baseline_1d 1. 2 FOR 10m
LABELS {severity="warning", team="bets"}

ALERT ProviderEarlyQuota
IF usage_quota_ratio{provider="psp_x"} > 0. 85 FOR 10m
LABELS {severity="info", team="integrations"}

ALERT StreamLagStorm
IF (kafka_consumer_lag{topic="ledger"} > 5e6 AND rate(kafka_consumer_lag[5m]) > 5e4)
AND hpa_desired == hpa_max FOR 10m
LABELS {severity="critical", team="streaming"}

16) Programme de prédiction KPI

Taux de détection avant incident (proportion d'incidents évités/atténués).
Avg Lead Time avant l'incident.

Réduction en P1/P2 carrés/carrés

MTTR (attendu ↓ par le contexte précoce).
Taux d'alerte False/Alert Fatigue (stable ↓).
Cost Avoidance (évaluation des pertes évitées/pénalités/overskale).

17) Démarrage rapide (recette)

1. Activer les règles de gradient sur p99/lag et SLO-burn ;

2. Ajouter des conditions composites pour les fournisseurs ;

3. Liez le prédict aux ficheflags et au skale avant ;

4. Rapport « Prédiction → action → effet » ;

5. Un pilote ML dans un seul domaine ; mettre à l'échelle après la croissance Precision/Recall.

18) FAQ

Q : Par où commencer sans ML ?
A : Base saisonnière + gradients + règles composites. Cela donne une augmentation notable de Recall sans difficulté.

Q : Comment ne pas se noyer dans les positifs folles ?
R : Combiner les signaux, entrer l'hystérésis et le temps de confirmation, ajuster les seuils par domaine/région, évaluer la précision et Alert Fatigue.

Q : Quelles actions automatiser en premier ?
R : Sécurisé et réversible : Avant-skale, activation des caches/dégradations, pause/rollback canaris, commutation du fournisseur en cas de signaux confirmés.