Zasady przechowywania dzienników i zdarzeń
1) Cel i zakres
Cel: Zapewnienie legalnego, bezpiecznego i opłacalnego przechowywania dzienników/zdarzeń, wsparcie dochodzeń AML/KYC, audytów, sprawozdawczości i odporności platformy.
Zasięg: wszystkie środowiska (prod/stage/dev), aplikacje i mikroservice, zwalczanie nadużyć finansowych i płatności, CCM/sankcje, RG, infrastruktura (K8s/cloud/CDN/WAF), partnerzy/sprzedawcy (PSP, KYC, zwalczanie nadużyć finansowych, analityka).
2) Klasy dziennika i minimalny skład pola
1. Bezpieczeństwo (SecOps/Identity): uwierzytelnianie, sygnały ATO/anti-fraud, zmiany roli i polityki, dostęp do PII.
Мола: 'actor', 'subject', 'action', 'result', 'ip', 'device', 'geo', 'risk _ score', 'trace _ id'.
2. Transakcje/płatności: depozyty/wypłaty, obciążenia zwrotne, zasady zwalczania nadużyć finansowych.
Мола: 'tx _ id',' kwota ',' waluta ',' psp ',' status ',' rule _ hits [] ',' evidence _ ref '.
3. CCM/sankcje/PEP: inicjacje, wyniki, dostawca/wersja wykazów, decyzje (true/false positive).
4. Operacje/SRE: wskaźniki SLO, wydania, autokat, incydenty, wpisy.
5. Marketing/CRM (opcjonalnie): opt-in/unsubscribe events, campaigns (no extra PII).
6. Audyt dostępu do danych: zestawy odczytu/eksportu/usuwania z PII; odniesienia do spraw DSAR/AML.
3) Okresy retencji i poziomy retencji (gorące/ciepłe/zimne/WORM)
4) Synchronizacja czasu i identyfikowalność
Pojedyncza baza czasowa: NTP/Chrony, store 'ts _ utc' (UTC) +' ts _ local '(do raportowania).
Korelacja: W każdym dzienniku należy umieścić 'trace _ id'/' span _ id' i' source _ service '.
Strefy czasowe: raporty/eksport - z wyraźnym wskazaniem TZ.
5) Dostęp, szyfrowanie i segregacja obowiązków
Szyfrowanie: w spoczynku (KMS; rotacja klucza co najmniej 90 dni dla pomieszczeń tajnych) i w tranzycie (TLS 1. 2+).
RBAC/ABAC: minimalny dostęp; oddzielne role do czytania dzienników audytu.
Break-glass: tymczasowy dostęp z wielofunkcyjną autoryzacją i automatycznym zamykaniem.
Segmentacja: dzienniki z PII/finance - oddzielne indeksy/zbiorniki, oddzielne klucze.
Rejestry dostępu do dzienników: wszystkie odczyty/eksport są rejestrowane i przeglądane.
6) Prywatność i maskowanie
Nie wolno logować się: hasła, żetony, PAN (w całości), CVV/CVC, pełne numery dokumentów, „surowe” dane biometryczne.
Domyślne maskowanie: email → 'p @ domain. com "; telefon → '+ XXX123'; IBAN/PAN → żetony/ostatnie 4 cyfry.
Aliasing: zastąpić 'user _ id' silnym znakiem w logach analitycznych/marketingowych.
Pliki cookie/SDK: log tylko identyfikatory techniczne za zgodą (CMP) i bez klejenia z PII, jeśli nie ma podstawy prawnej.
Kompatybilność DSAR: przechowywać odniesienie do źródła zestawu i możliwość selektywnego wyodrębnienia/usunięcia.
7) Jakość danych i formatowanie
Schemat-as-code: scentralizowane schematy JSON/protokoły zdarzeń, wersioning.
Walidacje: nie null/ranges/regexes; odrzucone zdarzenia - do kolejki kwarantanny z etykietą powodową.
Deduplikowanie: przez '(trace_id, ts, źródło)'; poziomy idempotencji dla przekładni.
Wzbogacenie: ściśle deterministyczne; atrybuty geo/device - wskazanie wersji słowników.
8) Poziomy architektury i magazynowania
Hot: indeksowalne klastry pamięci masowej/wyszukiwania (dochodzenia operacyjne, SIEM).
Ciepło: przechowywanie obiektów z przyspieszonym dostępem/przeziębieniem.
Zimno: obiekt/archiwum (klasa lodowca/analogowa), żądania za pośrednictwem partii.
WORM/Legal Hold: niezmienne wiadra retencyjne/polityki i „posiadłości prawne” bez usunięcia/zmiany przed wygaśnięciem.
9) Usuwanie, archiwizacja i przechowywanie prawne (SOP)
1. Dzienny harmonogram oblicza kandydatów na czas.
2. Sprawdź aktywne incydenty/dochodzenia/Hold.
3. Archiwizacja - Migruj do Cold/WORM w razie potrzeby.
4. Delete: safe purge + log ('dataset', 'range', 'actor', 'hash _ before/after').
5. Zgłosić zgodność/dane na końcu partii.
10) Integracja zgodności (RODO/AML/PCI/ISO)
RODO: minimalizacja, cele/podstawy w RoPA; dostępność DSAR; 72-godzinne powiadomienia polegają na dziennikach kontroli.
AML: przechowywanie dzienników kontroli sankcji, łącza STR/SAR; warunki 5-10 lat (według krajów).
PCI DSS (jeśli dotyczy): wyłączyć wrażliwe dane uwierzytelniające; segregacja dzienników obwodu płatności.
ISO 27001/ISMS: polityka pozyskiwania drewna jako dokument obowiązkowy; roczne audyty i testy.
11) Sprzedawcy i podwykonawcy przetwórcy
DPA/SLA: okresy przechowywania rejestrów, geografia, TOM, format eksportu, WORM/Legal Hold, czas reakcji incydentu.
Audyt: kwestionariusze, selektywne dzienniki dostępu PII, test incydentu/powiadomienia.
Offboarding: usunięcie/zwrot dzienników, akt zamknięcia, potwierdzenie zniszczenia kopii/kopii zapasowych.
12) Monitorowanie i wpisy
KRI: wzrost niepowodzenia walidacji> X%, połknięcie> Lagi Y, awaria ETL <99%, próby dostępu poza oknem.
KPI: zakres pozyskiwania drewna ≥ 95% usług; MTTD awarii rurociągu ≤ 15 min; Odsetek wniosków do Hot zakończonych ≤ 2 sekundy wynosi ≥ 95%.
SOAR: auto-bilety z naruszeniem retencji/dostępu/maskowania.
13) RACI
14) Wywóz i sprawozdawczość
Białe listy odbiorców i formatów (CSV/Parquet/JSON) z domyślną depersonalizacją.
Podpis/hash każdego archiwum, pobierz dziennik.
Wzory sprawozdań regulacyjnych: podsumowania sankcji/PEP, KYC, wpisów dotyczących AML, dostępu do PII, incydentów.
15) Wymagania dotyczące rozwoju i eksploatacji
Logowanie znaczące: kluczowe działania/decyzje, nie cały ruch.
Normy poziomu: „DEBUG” nie jest dozwolone w prod; „INFO” dla imprez biznesowych; „OSTRZEŻENIE/BŁĄD” w przypadku anomalii.
Redaction-middleware: pojedyncza warstwa maskowania w bramach/SDK.
Środowiska badawcze: dane syntetyczne lub pseudonimizacja; wyłączanie kopii prod-logów w dev.
Wydania: lista kontrolna dziennika/maskowania w CAB; flagi funkcji do zaawansowanego rejestrowania.
16) Listy kontrolne
16. 1 Cotygodniowe monitorowanie
- Synchronizacja czasu bez dryfu
- Błędy dotyczące spożycia
- Brak bezpośredniego PII/tajemnic w próbkach
- Dostęp/role są aktualne
- Sukces ETL ≥ 99%
16. 2 Miesięczny audyt
- Zatrzymanie/przeprowadzka kontrolna
- Losowy wybór eksportu (podpis/hash ok)
- Opinie sprzedawców (dzienniki dostępu, incydenty)
- Aktualizacja schematów/ksiąg referencyjnych
16. 3 Przed usunięciem/archiwum
- Brak prawnego wstrzymania/incydentu
- Artefakty związane z wywozem (jeżeli jest to wymagane)
- Utworzono protokół zniszczenia
17) Incydenty z rejestrowaniem (szybkie odtwarzanie)
PII/sekrety zostały znalezione w dziennikach → natychmiast włączyć zasady redakcji, ograniczyć dostęp, rozpocząć czyszczenie/obracanie kluczy, oszacować skalę (DPO/Legal), a w razie potrzeby powiadomienia.
Awaria rurociągu kłód → przejście na buforowanie, alert SRE, ponowne połknięcie, pośmiertnie.
18) Plan działania na rzecz realizacji
Tygodnie 1-2: spis źródeł, porozumienie w sprawie dat, podstawowa macierz retencyjna, schemat-as-code.
Tygodnie 3-4: wdrożenie maskowania/wersji, separacja indeksu z PII, identyfikatory NTP/śladowe, WORM dla zestawów krytycznych.
Miesiąc 2: automatyzacja usuwania/archiwizacji, KRI/KPI i wpisy, SOAR playbooks.
Miesiąc 3 +: audyty sprzedawcy, optymalizacja kosztów (wielopoziomowe), kwartalne przeglądy terminów i wymogów jurysdykcji.
TL; DR
Ujednolicona polityka dziennika = przejrzysta macierz czasu + maskowanie i szyfrowanie + RBAC i audyt dostępu + WORM/Legal Hold + synchronizacja jakości i czasu. Zmniejsza to ryzyko (RODO/AML/PCI), zmniejsza koszty przechowywania i przyspiesza badania.