Assistants AI pour analystes

1) Définition et valeur

L'assistant AI pour les analystes est une interface (chat, panneau en BI, extension IDE/SQL, voix) qui traduit le langage naturel en actions analytiques correctes : écriture SQL/DBT, explication des métriques, construction de graphiques, recherche d'anomalies, génération de notes, plans d'expériences, etc.
Valeur : réduire le temps de la question à l'initiation, aligner l'expertise entre les équipes, réduire la charge de travail des analystes seniors, améliorer la qualité de la documentation et réutiliser les connaissances.

2) Principaux cas d'utilisation

copilote SQL : génération/optimisation des requêtes, explication du plan d'exécution, indices.
BI-copilote : création de widgets/dashboards, auto-commentation des graphiques (« ce qui a changé et pourquoi »).
Data discovery : recherche de tables/métriques par glossaire, linéeage et activités.
Qualité et observabilité : génération de tests de données, triage des anomalies, proposition de fiches.
Expériences : conception A/B, calcul de la puissance, analyse des résultats, rapports textuels.
ML-accélération : brouillons de fiches/piplines, comparaison de modèles, génération de monitoring.
Documentation : CV PR/diffs dans les circuits, auto-README pour les vitrines, Q&A par catalogue.
Communications : concepteur de notes analytiques, de briefings et de présentations.

3) Modèles architecturaux

1. RAG (Retrieval-Augmented Generation) : LLM répond en s'appuyant sur le contenu d'entreprise (répertoires, schémas, glossaire, exemples SQL) extrait par la recherche vectorielle/symbolique.
2. Agents d'outils : LLM appelle les outils (exécution SQL, profilage de table, graphisme, dbt docs, Jira/GitHub, Slack) par protocole de fonction.
3. Exécution guidée : bac à sable, limites de ressources, politique de requêtes dangereuses (DML interdit, SELECT uniquement), escalade vers l'homme.
4. Couche sémantique : métriques et mesures commerciales uniques comme source de vérité ; génération SQL par sémantique et non par tables « brutes ».
5. Cache et déterminisme : Cache des indices (prompt + context), fixation des versions des modèles et des données, contrôle de la reproductibilité.

4) Intégration et points d'intégration

DWH/OLAP: BigQuery, Snowflake, Redshift, ClickHouse; rôle de lecture uniquement, RLS/CLS.
BI/ordinateurs portables : Looker/Power BI/Tableau/Métabase, Jupyter/VS Code ; extensions/bots.
Catalogues/lignes : DataHub/Amundsen/Collibra ; indexation des définitions et des propriétaires.
Piplines : dbt/Airflow/Argo/Prefect ; génération de tests, descriptions, release notes.
Communications : Slack/Teams/Jira/Confluence ; autostats d'initiés et de tâches.

5) Sécurité, accès et conformité

Authentification/SSO : OIDC/SAML, SCIM pour les groupes et les rôles.
RLS/CLS : filtres par tenant/rôle/région ; masquage PII/PCI.
Politique de requête : schémas whitelisting, limite de temps/lignes, interdiction DDL/DML.
Audit et journal : qui a demandé quoi, quelles données ont été vues/exportées.
Confidentialité dans RAG : ne stocker que les documents d'entreprise ; Chiffrement ; l'interdiction de la formation externe sur les données privées.
Réglementation : Rétention des logs, DSAR, localisation du stockage dans les bonnes régions.

6) Modèles UX et interaction

Chat + Tools : dialogue avec les boutons d'action (« démarrer SQL », « construire un graphique », « créer un test de qualité »).
Explainability : mise en surbrillance des sources d'où proviennent les définitions/fragments SQL ; liens vers le glossaire et la ligne.
Confirm & Run : double confirmation avant les demandes lourdes, estimation coût/temps.
Few-shot exemples : bouton « afficher des requêtes similaires/haydline ».
Mode mentor : explications détaillées sur les raisons pour lesquelles un tel plan/méthode a été choisi.
Accessibilité : Navigation au clavier, copie de clichés en un clic, exportation vers Markdown/PDF.

7) Prompt-engineering (modèles de base)

7. 1 Explication de la métrique

Task: Explain the <KPI> metric.
Output: definition, formula, table sources, owner, update window, caveats.
Format: short summary + markdown list.
Limitations: Rely only on the semantic layer and glossary.

7. 2 Génération SQL par sémantique

Context: semantic objects {metric: "conversion_rate", dims: ["country, "" channel"], time: "day"}.
Task: generate SELECT for BigQuery, considering RLS by region.
Check: limit of 2000 lines, sorted by date, filter for the last 90 days.

7. 3 Plan de test A/B

Business question <description>.
Deduce: hypothesis, metrics (primary/guardrail), MDE, power calculation, duration,
stratification, analysis plan (CUPED/permutation), stopping criteria.

8) Évaluation de la qualité (evals) et contrôle des hallucinations

SQL-evals : comparaison des résultats avec les requêtes de référence ; vérification de l'équivalence (seuil delta).
Doc-grounding : l'assistant est tenu de citer l'ID des documents/métriques utilisés dans la réponse.
Règles linter : style SQL, interdiction 'SELECT', filtres temps/tenant obligatoires.
Tests négatifs : demandes provocatrices (« donnez des données personnelles » → refus).
Red Team : scénarios de sécurité/vie privée réguliers.

9) Performance et coût

Cache : résultats de requêtes fréquentes, embeddings, retrieved-chunks.
Diminution des tokens : prompts systémiques brèves, échantillonnage pertinent agressif.
Pools de composés et de préjugés : vitrines matérialisées pour les questions populaires.
Budget-guards : quotas par utilisateur/équipe, rapport de coûts « cost-to-insight ».

10) MLOps et fonctionnement

Versioning : modèles, prompts, outils, index RAG - avec numéros de version et changelog.
Surveillance : latence, erreurs, taux de réponse avec les sources, taux d'édition manuelle SQL.
Incidents : mode folback (réponses sécurisées avec liens), retour rapide des prompts/modèles.
Sorties : Canaries ; comparaison de « l'ancien assistant vs new » par métrique d'entreprise.
Formation du personnel : hyde aux demandes sécurisées, anti-modèles, éthique.

11) Métriques du succès de l'assistant

Acceptation : MAU/WAU, part des analystes actifs, réutilisation.
Vitesse : médiane du temps jusqu'à SQL/graphique/réponse correct.
Qualité : taux de réponse sans modification, précision selon les ensembles eval, couverture par les références des sources.
Économie : coût par insight/demande, économie d'heures humaines.
Impact sur l'entreprise : taux de diffusion des rapports, réduction des violations de SLA dans l'analyse.

12) Anti-modèles

« Chat au lieu de données » : l'absence de couche sémantique et de glossaire → le chaos dans les métriques.
Droits illimités : accès de l'assistant aux ventes sans RLS/CLS et audit.
Hallucinations sans grounding : réponses sans références ni sources vérifiables.
Absence d'événements : sorties « sur l'œil », augmentation des incidents.
Single-tenant prompts : les chemins durement parcourus vers les schémas → la douleur lors des déplacements.
Seulement iframe-incorporation : impossible d'appeler des outils et de faire des actions.

13) Feuille de route pour la mise en œuvre

1. Discovery : liste des tâches des analystes, sources de vérité (sémantique/glossaire), risques.
2. MVP : chat + génération SQL par 3-5 vitrines, accès read-only, RAG par glossaire, evals de base.
3. Scale : agents d'outils (BI, dbt, Jira), catalogue d'exemples, explainability, audit.
4. Hardening : tests négatifs, red-team, budget-guards, retences de loges et DSAR.
5. Growth : personnalisation par rôle, auto-alertes/recommandations, interface vocale, partenaires externes.

14) Chèque-liste avant la sortie

• Le SSO, les rôles/groupes, RLS/CLS et le masquage PII sont connectés.
• La couche sémantique et le glossaire couvrent KPI MVP, il y a des propriétaires.
• Les demandes sont limitées en termes de schémas/quotas, DML/DDL sont interdites.
• Evals : ensemble de SQL de référence/réponses, seuils de qualité et alertes.
• Les logs et la vérification sont inclus ; le plan d'incident et le mode folback sont prêts.
• UX : confirmation des opérations lourdes, sources dans les réponses, exportations vers Markdown/PDF.
• Documentation pour les utilisateurs : hyde par prompt, anti-patterns, exemples.

15) Exemples d'indices « vivants » pour l'assistant

« Trouvez des tableaux avec des conversions en 90 jours pour la région TR, expliquez les formules ».
Génère SQL : p95 latency par service X, par jour, filtre par trafic prod, jusqu'à 2k lignes.
« Construire un graphique ARPPU à travers les canaux, expliquer les anomalies, déduire en 5 thèses ».
« Faire un plan A/B pour la nouvelle mécanique bonus : métriques, MDE, puissance, guardrails ».

« Créez des tests de qualité pour la vitrine payments : fraîcheur ≤ 30 min, unique txn_id. »

Résultat : Les assistants AI pour les analystes ne sont pas un « chat intelligent », mais une plate-forme gérée de connaissances et d'outils. Leur valeur se manifeste lorsqu'il y a une couche sémantique, un accès rigoureux, un processus eval et une intégration dans les outils de travail. Ensuite, l'assistant réduit vraiment le temps à l'initiation et améliore la qualité des solutions.