Interfețe de acces la date
1) De ce o interfață grijulie
Viteză și predictibilitate: măsurătorile de afaceri și rapoartele se potrivesc în SLA-uri, fără „încărcări manuale”.
Securitate și confidențialitate: PII/biometrie sub control, k-anonimat, geo-limite.
Flexibilitate: clienții diferiți (BI, servicii, parteneri, DS/ML) obțin exact ceea ce au nevoie.
Reutilizați „datele ca produs” cu contracte și versiuni.
2) Interfață hartă (când ce)
SQL/ANSI + dialecte furnizor: analiză interactivă, BI, ad-hoc.
REST JSON: agregate stabile și date operaționale, integrări cu partenerii.
GraphQL: grafic flexibil „selectiv” de citire și navigare (dimensiuni/fapte).
gRPC (protobuf): latență scăzută a navigării online (Feature Store, scoring).
Arrow Flight/Parchet peste HTTP/S3-presigned: gropi rapide coloană pentru DS/ML.
OData: instrumente de întreprindere, model de masă ca serviciu.
Fluxuri (Kafka/Pulsar) + CDC/Webhooks: evenimente în timp real, integrări reactive.
Federația (Trino/Presto): punct unic de intrare la mai multe surse.
Regulă: agregate și felii stabile → REST/MV, interogări arbitrare bogate → SQL, latență scăzută/caracteristici online → gRPC, formular de răspuns flexibil → GraphQL, schimb binar de masă → săgeată/parchet.
3) Contracte și versiuni (semver)
MAIORULE. MINOR. PATCH "pentru fiecare API/schema/eveniment.
MAJOR: modificări incompatibile (cale nouă/subiect/tabel).
MINOR: Adăugări compatibile câmp/argument.
PATCH: editați descrieri/limite.
Contractele sunt fixe: schema, filtre, limite, confidențialitate, SLO.
yaml openapi: "3. 0. 3"
info: {title: "Analytics API", version: "2. 4. 0"}
paths:
/v2/payments/metrics:
get:
parameters:
- {name: brand, in: query, schema: {type: string}, required: true}
- {name: country, in: query, schema: {type: string}}
- {name: from, in: query, schema: {type: string, format: date-time}}
- {name: to, in: query, schema: {type: string, format: date-time}}
- {name: group_by, in: query, schema: {type: string, enum: [psp,status,day]}}
- {name: limit, in: query, schema: {type: integer, default: 500}}
responses:
"200": {description: "OK"}
x-slo: {p95_latency_ms: 1200, freshness_max: "PT5M"}
x-privacy: {pii: false, min_group_size: 20}4) Acces la analiză (SQL și federație)
Gateway SQL cu roluri/măști (securitate la nivel de rând/coloană).
Proiecții de viscol/BI: nume stabile și semantică; cererile grele merg la preagregare.
Federația (Trino/Presto): punct unic de intrare, dar cu politici: ce directoare și ce caracteristici sunt disponibile.
Lakehouse (Iceberg/Delta/Hudi): călătorie în timp, instantaneu-recuperare prin SQL/REST.
Квоты: bytes scanate/interogare, concurență, timp de perete.
5) GraphQL (formă flexibilă)
Oferim clientului sa colecteze campul dorit, dar sa execute peste viscolele/proiectiile pregatite, cu limite de adancime/os.
graphql type Query {
payments(
brand: String!, country: String, from: DateTime!, to: DateTime!,
first: Int = 200, after: String
): PaymentConnection
}Politici: adâncime ≤ 5, noduri totale ≤ 5k, interzice regex arbitrar/ca de linii; noi cache cereri frecvente.
6) gRPC/Feature Store (latenţă redusă)
Caracteristici online pentru scoring anti-fraudă/recomandări/RG.
proto service FeatureStore {
rpc GetFeatures (FeatureRequest) returns (FeatureResponse);
}
message FeatureRequest { string user_tok = 1; repeated string features = 2; }
message FeatureResponse { map<string, FeatureValue> values = 1; int64 ts_micros = 2; }Cerințe: p95 ≤ 50-100 ms, consistență offlayn↔onlayn exactă, caracteristică TTL, memorie cache LRU, idempotență și mTLS.
7) Fluxuri și CDC
Evenimente domenii: 'plăţi. deposit_accepted', "joc. round_finished'.
CDC (de la OLTP): modificări de stare/limită în timp aproape real.
Carti web pentru parteneri: abonament la agregate (ex. „Eșecuri PSP> prag”).
Politici de retransmitere/recunoaștere: exact o dată pentru monitorizare critică, cel puțin o dată.
8) Lacuri și probe mari
Arrow Flight pentru descărcări rapide de coloane în DS/ML.
Semnat-URL la parchet/pene, cu scurt TTL și cerere semnată.
Transfer tăiat și controlul dimensiunii fișierului; Descărcați jurnalul (audit WORM).
9) Filtre, paginare, sortare
Keyset paginare (cursor) în loc de OFFSET pentru seturi mari.
Filtre: lista albă după câmpuri, tipuri şi operatori ('=, IN, BETWEEN, prefix').
Sortare: listă limitată de câmpuri, ordine implicită.
Răspuns parțial: 'fields = brand, country, cantity' reduce sarcina utilă.
http
GET /v2/game-rounds? brand=X&from=...&to=...&first=1000&after=eyJkYXRlIjoi...10) Caching și costuri
Rezultatul cache pentru cererile de șablon, dezactivat de id-ul instantaneu.
Memorie cache/CDN pentru agregate publice/semi-publice (fără PII).
Parametrii bugetari: limita bytes scanate, solicita timeout, rps/min cote.
Prioritizarea bazinelor: 'bi _ hot', 'adhoc', 'partner _ api'.
11) Securitate și confidențialitate
AuthN: OAuth2/OIDC (acreditările clienților pentru servicii, PKCE pentru oameni).
AuthZ: RBAC + ABAC (atribute: brand, țară, licență, rol).
mTLS între servicii, TLS 1. 2 + out.
Igiena PII: măști/tokenizare pe strat API, măști coloană, k-anonimatul agregatelor.
Geo/chiriaș-izolare: cereri de rutare în regiunea de licență; chei de criptare per brand/regiune.
DSAR/Legal Hold: căutare după subiect token, secrete pentru seturi de congelare.
12) Observabilitate (SLI/SLO) și protecție
SLI: p50/p95/p99 lat, rata de eroare, rps, octeți scanați, lovit în cache, cote/limite, cota de coloane mascate, cota de eșecuri de autorizare.
SLO: p95 latență, prospețimea datelor,% cereri de succes, min-grup-dimensiune pe răspunsuri.
Alerte: creșterea octeților scanați, căderea ratei de lovire, 429/5xx spike, încercări de acces PII, scurgeri de cursor.
yaml slo:
p95_latency_ms: 1200 success_rate: 0. 995 freshness_max: "PT5M"
privacy:
pii_allowed: false min_group_size: 20 quotas:
rps: 50 max_scanned_mb: 25613) Formate și compresie
JSON pentru compatibilitate; CSV - numai pentru exporturi mici și simple.
Parchet/Săgeată - implicit pentru încărcări mari.
Compresie: gzip/zstd (negociere prin „Accept-Encoding”).
Conținut-negociere: „Acceptă: cerere/x-parchet”.
14) Măsurători ca API (Analytics/OLAP gateway)
Valori de nivel superior: GGR/NET, CR, hold, RG incidente - ca resurse cu parametrii 'brand, country, window, group _ by'.
Aprox (HLL/TDiest) для distincte/percentile.
Memoria cache cheie: '(metric, params, snapshot_id)'.
15) Specificitatea iGaming - puncte finale gata făcute
'GET/v2/payments/metrics' - eșecuri/actualizări de către PSP/country/brand cu ferestre 7/30d.
'GET/v2/game-rounds/metrics' - jocuri de top/furnizori, durata p95, ferestre RTP.
„GET/v2/rg/case” - restricții active/autoexcluderi (agregate k-anonime).
„POST/v1/features: get” (gRPC) - caracteristici online pentru scoring fraudă/recomandare.
'POST/v1/webhooks/psp-alerts' - notificări „rata de declin> prag”.
16) Exemple de contract
Interogare GraphQL felie subțire:graphql query {
payments(brand:"X", country:"TR", from:"2025-10-01", to:"2025-10-31", first:500) {
edges { node { day totalAmount declines psp } cursor }
pageInfo { hasNextPage endCursor }
}
}json
{"event_id":"...","occurred_at":169..., "brand":"X","psp":"Papara","status":"declined","amount":"100. 00","currency":"TRY"}
/flight/v1/query? dataset=gold. payments&from=...&to=...&brand=X&format=arrow17) Noul proces de publicare a interfeței
1. ADR: Emitere/Valoare/Clienți/Securitate/Cost.
2. Contract: sistem, filtre, limite, confidențialitate, SLO, versiuni.
3. Modelarea sarcinii: solicitări de top-N, octeți p95/scanare, cost.
4. Validare/cache/cote: activați în mod implicit.
5. Documentație și SDK: exemple, limite, erori, retribuții, idempotență.
6. Canare:% dintre clienți, teste de regresie, alerte.
7. GA: Versiunea catalogului produselor de date, raportul efectelor.
18) Anti-modele
Deschideți „raw” SQL pentru toată lumea - scurgeri PII, costuri imprevizibile.
OFFSET pagination and 'SELECT' - durere prin latență și numărare.
GraphQL fără constrângeri de adâncime/cost.
REST, care returnează prea multe coloane fără 'fields =...'.
Lipsa k-anonimatului și dimensiunea min-grup în agregate.
Zero cote/limite și memoria cache cu handicap.
Fără versiuni/contracte - „rupem” clienții cu fiecare schimbare.
Aceeași interfață pentru toate țările/mărcile este o ignorare a normelor regionale.
19) Foaia de parcurs privind implementarea
0-30 zile (MVP)
1. Catalog de produse de date (metrici/felii) și contractele lor OpenAPI/GraphQL.
2. Gateway SQL cu RLS/CLS, k-anonimatul agregatelor, cotele de bază.
3. Un punct final REST-metric ('/payments/metrics') + cache + pools' bi _ hot/adhoc '.
4. gRPC Feature Store: citire 10-20 caracteristici cheie on-line (p95 ≤ 80 ms).
30-90 zile
1. Stream interfețe (Kafka/Webhook) pentru alerte PSP/evenimente de joc.
2. Încărcare săgeată/parchet din URL-ul prezentat; catalog instantaneu.
3. Federația Gateway (Trino/Presto) cu politici explicite.
4. Observabilitate: tablou de bord SLI/SLO, alerte privind costul/latența/PII.
3-6 luni
1. SDK (TypeScript/Python/Go) cu retraiuri/idempotency/cote.
2. Felii subțiri GraphQL pentru produse și parteneri.
3. extinderea gRPC/FS, negocierea offlayn↔onlayn; shadow→canary lansări.
4. Audit de confidențialitate/DSAR; accesează rapoartele de conformitate.
20) RACI
Platforma de date (R): gateway-uri, cache, cote, federație, observabilitate.
Guvernanța datelor (A/R): contracte, versiuni, confidențialitate/k-anonimat.
Proprietarii de domenii (R): semantica de câmp, invarianți de afaceri, produse de date.
Securitate/DPO (A/R): AuthN/Z, geo-izolare, DSAR/Legal Hold.
SRE/Observabilitate (C): SLO/SLI, alerte, capacitate.
Analytics/BI/DS (C): cerințe pentru formulare/agregate, SDK.
21) Secțiuni conexe
Indexarea stocării analitice, optimizarea interogărilor analitice, schemele de date și evoluție, validarea datelor, practicile DataOps, API-urile de analiză și metrică, Feature Store, securitatea și criptarea datelor, controlul accesului, politicile de păstrare a datelor.
Total
Interfețele de acces la date proiectate corespunzător transformă stocarea și fluxurile într-un „produs” fiabil: SLA-uri predictibile, costuri controlate, respectarea confidențialității și o singură limbă pentru echipele de produse, analiză, conformitate și parteneri. În iGaming, acest lucru înseamnă că prinderea PSP se blochează mai repede, înțelegând comportamentul jucătorului și îndeplinind cerințele de reglementare - fără încărcări manuale și migrații nocturne.