Синхронизация времени

Зачем это нужно

Единое и точное время — основа упорядочивания событий, корректной корреляции логов/трейсов, подписи транзакций и воспроизводимости отчетности. Для платформ с денежными потоками это вопрос комплаенса и доверия: «кто был первым», «когда был зафиксирован результат», «какой seed использован».

Базовые понятия

UTC vs TAI: UTC содержит вставки високосных секунд; TAI — без них. БО́льшая часть систем работает в UTC.
Leap second: секундная вставка/удаление. Поддержка/смягчение (smear) критичны для бесшовной работы.
Stratum (NTP): уровень удаленности от эталона (0 — атом/ГНСС, 1 — серверы, 2+ — клиенты).
PTP роли: Grandmaster (GM) → Boundary Clock (BC) / Transparent Clock (TC) → Slave.
PPS: импульс-в-секунду для точной привязки от ГНСС/генератора.
Servo: алгоритм, корректирующий частоту/фазу локальных часов (chrony/ptp4l/phc2sys).

Когда NTP, когда PTP

NTP (Chrony): точность миллисекунды/сотые миллисекунды; WAN/интернет; просто и надежно.
PTP (IEEE 1588): суб-миллисекундная и до микросекунд с аппаратной отметкой; требует сетевой дисциплины (L2/мультикаст/QoS).
Гибрид: NTP/Chrony подает эталон на PTP-GM; дальше в ЦОД — PTP с HW-timestamp.

Источники времени и устойчивость

GNSS (GPS/GLONASS/Galileo/BeiDou) + PPS как первичный эталон.
OCXO/TCXO (генераторы) для holdover при потере спутников.
Резервные референсы: два независимых GNSS-приемника, разные антенны/кабели, заградители от джамминга.
Вторичные NTP-пулы: внешние надежные провайдеры и частные серверы (по VPN).
Grandmaster x2 с BMC (Best Master Clock) и ручным failover планом.

Сетевая архитектура PTP

Профили: Default, Telecom (G.8275.x), Power. Для ЦОДа чаще Default или профили вендора.
Transparent Clock (TC): коммутатор добавляет задержку (correction field) — улучшает точность.
Boundary Clock (BC): коммутатор/маршрутизатор — клиент к высшему и мастер к нижнему сегменту.
QoS: приоритизация PTP-мультикаста/уникаста, минимизация очередей.
Изоляция: выделенные VLAN/VRF для времени; отсутствие L3-NAT на PTP-пути.

Безопасность: NTS для NTP, защита PTP

NTP: используйте NTS (Network Time Security, RFC 8915) — TLS-аутентификация серверов времени. Симметричные ключи (classic auth) допустимы внутри периметра. Autokey — устаревший.
PTP: родной MAC/аутентификацией почти не пользуются; компенсируйте сетевой изоляцией, ACL, MACsec/IPsec на L2/L3.
GNSS: защита от jamming/spoofing — монитор качества сигналов, наблюдение DOP, гео-фильтры, детект аномалий.

Обработка високосной секунды и «смазывание»

Leap-announce: NTP/Chrony сообщает о предстоящей вставке секунды.
Smear: растяжение суток на ±0.5 с (или другое окно), избегая ступени. Google-подобный smear удобен для отказа от «скачка», но все сервисы должны следовать единой политике (или изолируйте контуры).

SLO для времени (примеры)

Offset p95 клиент ↔ эталон ≤ 1.0 ms (NTP-контур ЦОДа), p99 ≤ 5 ms.
PTP с HW-timestamp: offset p95 ≤ 20 μs, p99 ≤ 100 μs внутри домена.
Jitter (stddev) ≤ 0.2 ms (NTP) / ≤ 5 μs (PTP-HW).
Clock step событий = 0; только slew (плавная коррекция) в прод-классе.
Drift при holdover OCXO: ≤ 1 ppm (контролируем и алертим).

Инженерные практики (NTP/Chrony)

Почему Chrony: лучше сходится на «шумной» сети, устойчив к packet loss/асимметрии, гибкий NTS.

Минимальная `chrony.conf` (сервер):

conf
Sources (top-level servers)
server ntp1. example iburst nts server ntp2. example iburst nts
Local GNSS with PPS (if any)
refclock SHM 0 poll 4 refid GNSS refclock PPS /dev/pps0 poll 4 refid PPS lock GNSS
Access restrictions allow 10. 0. 0. 0/8 deny all
makestep adjustment policy 0. 1 3 rtcsync log tracking measurements statistics

Проверка и мониторинг:

bash chronyc tracking chronyc sources -v chronyc sourcestats -v

Клиенты: укажите минимум два сервера; включите `makestep` для раннего старта и `maxslewrate` по необходимости.

Инженерные практики (PTP/linuxptp)

Аппаратная отметка времени (HW-TS): требуются NIC/драйверы с PHC (PHC = PTP Hardware Clock).

Проверка:

bash ethtool -T eth0      grep timestamp phc2sys -l

ptp4l (slave/GM/BC) — пример конфига:

conf
[global]
twoStepFlag      1 time_stamping     hardware tx_timestamp_timeout 30 logging_level     6 clock_class      248 clock_accuracy    0x20 priority1       128 priority2       128 delay_mechanism    E2E network_transport   L2 dsptp_domain     0

[eth0]
delay_filter     moving_average delay_filter_length  10 announceReceiptTimeout 3 syncReceiptTimeout   3

Связка PHC → системные часы:

bash
PHC NIC -> system clock (slew)
phc2sys -s /dev/ptp0 -c CLOCK_REALTIME -O 0 -E ntpshm -w

Для Boundary/Transparent clocks: используйте прошивки/образы коммутаторов с поддержкой BC/TC и включайте их профили; контролируйте correction field в pmc:

bash pmc -u -b 0 "GET TIME_STATUS_NP"

Kubernetes, виртуализация и контейнеры

Ноды K8s синхронизируются как обычные хосты. Контейнеры используют время хоста.
Для PTP: PTP Operator/DaemonSet (например, `linuxptp-daemonset`) на выделенных нодах с HW-TS; `NodeFeatureDiscovery` для маркировки NIC с PHC.
Изоляция рабочей нагрузки с чувствительностью к времени (RNG/игровые ивенты): taints/tolerations → ноды с лучшей синхронизацией.
В виртуализации отключите агрессивные «виртуальные» drift-корректоры гипервизора, используйте одну дисциплину времени (либо guest NTP/PTP, либо от гипервизора).

Сеть и QoS

Разделяйте time-VLAN/VRF, держите задержки и джиттер минимальными.
Для PTP E2E — избегайте асимметрий путей; для P2P — используйте линк-local задержки.
Включайте jumbo MTU end-to-end только если везде согласовано; иначе — стандартный MTU, но стабильная очередь.
Маршрутизируйте NTP по UDP/123, разрешите NTS-TLS порты; для PTP — корректные ACL для мультикаста (224.0.1.129/130).

Мониторинг и алерты

Что мерить:

Offset (текущее расхождение), jitter, frequency drift, коррекции/сек.
Для PTP: `offsetFromMaster`, `meanPathDelay`, `grandmasterIdentity`, `stepsRemoved`.
Для GNSS: SNR, DOP, видимые спутники, PPS jitter.

Инструменты:

`chrony` экспорт в Prometheus (chrony-exporter), текстовые логи → Loki.
`linuxptp` статистика (`ptp4l -m`), метрики через node-exporter textfile.
Сетевые счетчики: drops/retransmit/queue-len на time-VLAN.

Алерты (идеи):

NTP offset p95 > 1 ms в течение 5 мин.
PTP offsetFromMaster > 25 μs (p95) 5 мин.
Потеря GNSS/PPS > 1 мин (переключение в holdover).
Смена grandmaster (BMC) вне планового окна.
Разница RTC ↔ system clock > порога при загрузке.

Операции и обновления

Старт/перестарт: сначала восстановите сеть/GNSS/PPS → GM → BC/TC → клиенты.
Leap-second: объявляйте заранее, проверьте smear-политику и совместимость.
Обновления: firmware NIC/коммутаторов, `linuxptp/chrony` — staged с контролем offset.
Runbooks: потеря GNSS, замена GM, переезд домена PTP, рассинхронизация кластера, аварии VLAN.

Чек-лист внедрения

Определены SLO по времени (offset/jitter) для сервисов и журналов.
Два независимых источника времени (GNSS+NTP), два GM, BMC/ручной план фейловера.
Выделенный time-VLAN/VRF, QoS, ACL/MACsec; PTP BC/TC включены.
Везде единая политика leap (smear/step запрещен в проде).
Chrony с NTS; ptp4l/phc2sys — на нодах с PHC, настройки серв.
Мониторинг offset/jitter/GM/потерь GNSS, алерты и дашборды.
Runbooks: loss of GNSS, GM failover, leap-second, drift-hunt.
Документация для аудита: источники, конфиги, отчеты SLO, журнал смен GM.

Типичные ошибки

Один сервер времени без резервирования; смешение публичных пулов и приватных без контроля.
PTP через «шумные» L3-маршруты/асимметрию, без BC/TC.
Нет NTS/изоляции — возможность подмены NTP/спуфинга PTP.
Разные leap-политики в подсистемах → «трещина» во времени между сервисами.
Игнор мониторинга drift/holdover, внезапные шаговые коррекции.
Виртуальные машины с двойной дисциплиной (host+guest) → расхождения.

Специфика для iGaming/финтех

Юридически значимые метки времени: храните офсеты и статусы синхронизации в логах транзакций/ивентов (чтобы доказывать валидность).
Порядок событий: кросс-сервисный коррелятор использует монотонные логические часы + UTC-метки, а не только «стены».
Турниры/матчи: фиксируйте start/stop через single source of time (PTP-домен/NTP-сервера), TTL-кэш на фронтах, проверка офсета перед «свистком».
RNG/seed-инициализация: инициализируйте от криптоисточников, а время используйте только как компонент, проверяя offset в пределах SLO.
Отчетность/регуляторы: периодические отчеты SLO времени и журнал смен GM/источников.

Мини-плейбуки

1) Быстрый аудит времени в кластере

1. `chronyc tracking` на каждом узле → собрать offset/jitter.
2. `ptp4l -m`/`pmc` на PTP-нодах → проверить GM, delay, stepsRemoved.
3. Сверить leap-политику, убедиться в единообразии.

2) Потеря GNSS

1. Перейти в holdover (OCXO), алерт.
2. Подключить внешний NTP over VPN как временный референс.
3. Проверить антенну/кабель/приемник; план замены.

3) Смена Grandmaster

1. Проверка BMC приоритета; ручное повышение второго GM.
2. Контроль offset у BC/клиентов; при необходимости перезапуск phc2sys.
3. Отчет об инциденте с временными рядами offset.

Итог

Надежный контур времени — это устойчивый эталон (GNSS+PPS+OCXO), корректная сетевая архитектура PTP (BC/TC/QoS/изоляция), безопасный NTP с NTS, согласованная leap-политика, дисциплина slew-коррекций, и наблюдаемость SLO (offset/jitter/holdover). Зафиксируйте все в runbook-ах, регулярно проверяйте офсеты и учитесь на учениях — и ваше время останется точным даже тогда, когда все остальное «дрожит».