KI-Assistenten für Analysten

1) Definition und Wert

Der AI-Assistent für Analysten ist eine Schnittstelle (Chat, Panel in BI, IDE/SQL-Erweiterung, Stimme), die natürliche Sprache in korrekte analytische Aktionen übersetzt: SQL/DBT schreiben, Metriken erklären, Diagramme erstellen, Anomalien finden, Notizen generieren, Versuchspläne usw.
Wert: Reduzierung der Zeit von der Frage bis zur Einsicht, Ausrichtung der Expertise zwischen den Teams, Reduzierung der Belastung für Senior-Analysten, Verbesserung der Dokumentationsqualität und Wiederverwendung von Wissen.

2) Wichtige Anwendungsfälle

SQL-Copilot: Abfragen generieren/optimieren, Ausführungsplan erklären, Indizes auffordern.
BI-Sparschwein: Widgets/Dashboards erstellen, Auto-Kommentare zu Grafiken („Was hat sich geändert und warum“).
Data discovery: Suchen Sie Tabellen/Metriken nach Glossar, Lineage und Aktivitäten.
Qualität & Beobachtbarkeit: Bildung von Datentests, Triage von Anomalien, Angebot von Fixes.
Experimente: A/B-Design, Leistungsberechnung, Ergebnisanalyse, Textberichte.
ML-Beschleunigung: Entwürfe von Daten/Pipelines, Modellvergleich, Monitoring-Generierung.
Dokumentation: Zusammenfassung von PR/Diffamierungen in Diagrammen, Auto-README für Schaufenster, Q&A im Katalog.
Kommunikation: Designer von analytischen Notizen, Briefings und Präsentationen.

3) Architektonische Muster

1. RAG (Retrieval-Augmented Generation): Das LLM reagiert auf Unternehmensinhalte (Verzeichnisse, Diagramme, Glossar, SQL-Beispiele), die über eine Vektor-/Zeichensuche extrahiert wurden.
2. Tool Agents: LLM ruft die Tools (SQL-Ausführung, Tabellenprofilen, Plotten, dbt docs, Jira/GitHub, Slack) per Funktionsprotokoll auf.
3. Geschützte Ausführung: Sandbox, Ressourcenlimits, Richtlinie für gefährliche Abfragen (DML verboten, nur SELECT), Eskalation zur Person.
4. Semantische Schicht: einheitliche Geschäftsmetriken und -dimensionen als Quelle der Wahrheit; Generieren von SQL nach Semantik, nicht nach „rohen“ Tabellen.
5. Cache und Determinismus: Tooltip-Cache (prompt + context), Fixierung von Modell- und Datenversionen, Steuerung der Reproduzierbarkeit.

4) Integrationen und Einbettungspunkte

DWH/OLAP: BigQuery, Snowflake, Redshift, ClickHouse; Nur Read-Only-Rollen, RLS/CLS.
BI/Laptops: Looker/Power BI/Tableau/Metabase, Jupyter/VS Code; Erweiterungen/Bots.
Verzeichnisse/Lineage: DataHub/Amundsen/Collibra; Indizierung von Definitionen und Eigentümern.
Piplines: dbt/Airflow/Argo/Prefect; Generierung von Tests, Beschreibungen, Release Notes.
Kommunikation: Slack/Teams/Jira/Confluence; autoposts Einblicke und Aufgaben.

5) Sicherheit, Zugang und Compliance

Authentifizierung/SSO: OIDC/SAML, SCIM für Gruppen und Rollen.
RLS/CLS: Filter nach Tenant/Rolle/Region; PII/PCI-Maskierung.
Anforderungsrichtlinie: Whitelisting von Schemas, Zeit-/Zeilenlimit, DDL/DML-Verbot.
Auditierung und Protokollierung: Wer hat was gefragt, welche Daten wurden angesehen/exportiert.
Vertraulichkeit in der RAG: Speicherung nur von Unternehmensdokumenten; Verschlüsselung; Verbot externer Schulungen für private Daten.
Regulatory: Logretention, DSAR, Speicherlokalisierung in den richtigen Regionen.

6) UX-Muster und Interaktion

Chat + Tools: Dialog mit Aktionsschaltflächen („SQL starten“, „plotten“, „Qualitätstest erstellen“).
Explainability: Hervorhebung der Quellen, aus denen die Definitionen/SQL-Fragmente stammen; Links zu Glossar und Lineage.
Confirm & Run: doppelte Bestätigung vor schweren Anfragen, Kosten-/Zeitschätzung.
Few-shot Beispiele: Button „ähnliche Anfragen/Haydlines anzeigen“.
Mentor-Modus: Detaillierte Erklärungen, warum ein solcher Plan/eine solche Methode gewählt wurde.
Zugänglichkeit: Tastaturnavigation, Snippets mit einem Klick kopieren, nach Markdown/PDF exportieren.

7) Prompt-Engineering (Basisvorlagen)

7. 1 Erklärung der Metrik

Task: Explain the <KPI> metric.
Output: definition, formula, table sources, owner, update window, caveats.
Format: short summary + markdown list.
Limitations: Rely only on the semantic layer and glossary.

7. 2 Generierung von SQL durch Semantik

Context: semantic objects {metric: "conversion_rate", dims: ["country, "" channel"], time: "day"}.
Task: generate SELECT for BigQuery, considering RLS by region.
Check: limit of 2000 lines, sorted by date, filter for the last 90 days.

7. 3 A/B-Testplan

Business question <description>.
Deduce: hypothesis, metrics (primary/guardrail), MDE, power calculation, duration,
stratification, analysis plan (CUPED/permutation), stopping criteria.

8) Qualitätsbewertung (evals) und Kontrolle von Halluzinationen

SQL-evals: Vergleich der Ergebnisse mit Referenzabfragen; Äquivalenzprüfung (Delta-Schwellenwert).
Doc-Grounding: Der Assistent ist verpflichtet, die ID der in der Antwort verwendeten Dokumente/Metriken zu zitieren.
Linter-Regeln: SQL-Stil, „SELECT“ -Verbot, obligatorische Zeit-/Tenant-Filter.
Negative Tests: provokative Anfragen („gib persönliche Daten“ → Ablehnung).
Red Team: Regelmäßige Sicherheits-/Datenschutz-Szenarien.

9) Leistung und Kosten

Caching: Ergebnisse von häufig wiederkehrenden Anfragen, Embeddings, retrieved-chunks.
Token-Downgrades: Kurze System-Prompts, aggressive relevante Stichproben.
Verbindungspools und Vorwegnahmen: materialisierte Schaufenster für populäre Fragen.
Budgetgarden: Quoten pro Benutzer/Team, Kostenaufstellung „cost-to-insight“.

10) MLOps und Betrieb

Versionierung: Modelle, Prompts, Werkzeuge, RAG-Indizes - mit Versionsnummern und Changelog.
Überwachung: Latenz, Fehler, Anteil der Antworten mit Quellen, Häufigkeit manueller SQL-Bearbeitungen.
Vorfälle: Folback-Modus (sichere Antworten mit Links), schnelles Rollback von Prompts/Modellen.
Releases: kanarische Berechnungen; Vergleich „alter Assistent vs neuer“ nach Geschäftskennzahlen.
Ausbildung des Personals: hyde auf sichere Anfragen, Anti-Muster, Ethik.

11) Erfolgskennzahlen des Assistenten

Akzeptanz: MAU/WAU, Anteil aktiver Analysten, Wiederverwendung.
Geschwindigkeit: Die mediane Zeit bis zur korrekten SQL/Grafik/Antwort.
Qualität: Anteil der unbearbeiteten Antworten, Genauigkeit durch Eval-Sets, Abdeckung mit Quellenreferenzen.
Wirtschaftlichkeit: Kosten pro Einsicht/Anfrage, Einsparung von Mannstunden.
Geschäftsauswirkungen: Uplift der Veröffentlichungsrate von Berichten, Reduzierung von SLA-Verstößen in der Analytik.

12) Antipatterns

„Chat statt Daten“: keine semantische Schicht und kein Glossar → Chaos in den Metriken.
Unbegrenzte Rechte: Zugriff des Assistenten auf Verkäufe ohne RLS/CLS und Audit.
Halluzinationen ohne Grounding: Antworten ohne Referenzen und überprüfbare Quellen.
Fehlende Ereignisse: Freigaben „per Guckloch“, Zunahme von Vorfällen.
Single-tenant Prompts: starr genähte Wege zu Schemata → Schmerzen beim Bewegen.
Nur iframe-embedding: Unfähigkeit, Tools aufzurufen und Aktionen auszuführen.

13) Roadmap für die Umsetzung

1. Discovery: Aufgabenliste der Analysten, Wahrheitsquellen (Semantik/Glossar), Risiken.
2. MVP: Chat + SQL-Generierung über 3-5 Vitrinen, Read-Only-Zugriff, RAG per Glossar, Basis-Evals.
3. Maßstab: Werkzeugagenten (BI, dbt, Jira), Beispielkatalog, Erklärbarkeit, Audit.
4. Hardening: Negativtests, rotes Team, Budgetgarden, Log-Retentionen und DSAR.
5. Wachstum: Personalisierung nach Rolle, Auto-Alerts/Empfehlungen, Sprachschnittstelle, externe Partner.

14) Checkliste vor Veröffentlichung

• SSO, Rollen/Gruppen, RLS/CLS und PII Masking angeschlossen.
• Die semantische Schicht und das Glossar decken die MVP-KPIs ab, es gibt Eigentümer.
• Anfragen sind nach Schemata/Quoten begrenzt, DML/DDL verboten.
• Evals: eine Reihe von Referenz-SQL/Antworten, Qualitätsschwellen und Alerts.
• Protokolle und Audit enthalten; Ereignisplan und Folback-Modus bereit.
• UX: Bestätigung schwerer Operationen, Quellen in Antworten, Export nach Markdown/PDF.
• Dokumentation für Anwender: hyde auf Prompts, Anti-Muster, Beispiele.

15) Beispiele für „Live“ -Hinweise für den Assistenten

„Finden Sie Tabellen mit Konversionen in 90 Tagen für die TR-Region, erklären Sie die Formeln“.
„Generieren Sie SQL: p95 Latenz nach Dienst X, nach Tag, Filter nach Prod-Verkehr, bis zu 2k Zeilen“.
„Erstellen Sie einen ARPPU-Graph durch Kanäle, erklären Sie Anomalien, oformi Schlussfolgerung in 5 Thesen“.
„Machen Sie einen A/B-Plan für die neue Bonus-Mechanik: Metriken, MDE, Power, Guardrails“.

„Erstellen Sie Qualitätstests für die Zahlungsanzeige: Frische ≤ 30 Minuten, Einzigartigkeit der txn_id.“

Fazit: KI-Assistenten für Analysten sind kein „Smart Chat“, sondern eine überschaubare Wissens- und Tool-Plattform. Ihr Wert zeigt sich, wenn es eine semantische Schicht, strenge Zugriffe, einen Eval-Prozess und eine Einbettung in Arbeitswerkzeuge gibt. Dann verkürzt der Assistent wirklich die Zeit bis zur Einsicht und erhöht die Qualität der Entscheidungen.