بهینه سازی سخت افزار و منابع

خلاصه ای کوتاه

بهینه سازی در مورد «تسریع یک چیز» نیست، بلکه تعادل عملکرد ↔ هزینه ↔ قابلیت اطمینان ↔ انرژی است. مراحل اساسی: SLI/SLO و پروفایل ها را اندازه گیری کنید، تنگناها، ظرفیت های «ابعاد مناسب»، مقیاس خودکار و بهبود لنگر در تصاویر/نمودارها/سیاست ها را پیدا کنید.

اهداف و اصول

از UX به سخت افزار: شروع از SLO (تاخیر p95، موفقیت عملیات) → به دنبال یک منبع محدود کننده.
Rightsizing: منابع و انواع نمونه برای ماهیت بار.
پول نقد و نزدیکی: کاهش سفرهای «گران» به ذخیره سازی و شبکه ها.
اتوماسیون: خودکار سازی، سیاست های چرخه عمر، IaC.
قابلیت مشاهده: معیارهای چهار سیگنال، پروفایل های CPU، ردیابی.
امنیت = عملکرد: mTLS/signatures/limits - سخت افزار شتاب در صورت امکان.

CPU و برنامه ریزی

وظایف: به حداقل رساندن محتوای و حافظه پنهان از دست رفته، به حساب NUMA و وقفه.

آگاهی NUMA: پین کردن توسط گره («numactl --cunodebind --membind»)، برای پایگاه های داده/کارگزاران - ثابت بر روی گره.
IRQ/softirq: توزیع توسط هسته (RSS/RPS)، صف های داغ امن برای CPU بدون رقابت با کارگران.
Hyperflow: برای «حساس به تاخیر» - کارگران را در هسته های فیزیکی ثابت کنید.
سوئیچ زمینه: کاهش از طریق صف های طولانی/قصابی/asynchron.
کامپایلرها/JIT: شامل PGO/LTO (C/C + +)، پروفایل های Graal/HotSpot (جاوا)، GOMAXPROCS و تخصیص کارگر (Go) است.

نمونه هایی از تنظیم لینوکس (قطعات):

bash
IRQ affinity: bind NIC queue to specific CPU echo 2 >/ proc/irq/XX/smp_affinity # kernel mask
Softirq balance on sysctl -w net network cores. core. netdev_budget=600 sysctl -w net. core. netdev_max_backlog=5000

مدیریت حافظه و تخصیص

THP/HugePages: برای JVM/DB - معمولا THP را غیرفعال می کند و از hugepages به صورت دستی استفاده می کند (TLB را از دست می دهد).
تعادل NUMA: برای stateful - متعهد حافظه به گره محلی.

GC/تخصیص دهنده:

JVM: G1/ZGC، '-Xms = -Xmx' برابر، معقول 'MaxGCPauseMillis'.
برو: 'GOGC' (با 100-200 شروع کنید)، از تخصیص های غیر ضروری، پروفایل های «pprof» اجتناب کنید.
پایتون: از 'uvloop'، 'asyncio'، C-extensions، استخر اتصال استفاده کنید.
Swap/zswap: در فروش، معمولا برای خدمات حیاتی مبادله می شود ؛ در گره های عمومی - zswap برای بارهای «نرم».

ذخیره سازی و I/O

انواع دیسک: NVMe برای مسیر داغ، استخرهای جداگانه برای سیاهههای مربوط/ایست بازرسی/سرعت.
FS: XFS برای پرونده های بزرگ/سیاهههای مربوط به DB ؛ ext4 برای کوچک/همه کاره.
RAID/EC: RAID10 برای تاخیر کم، RAID6/EC برای داده های سرد.
زمانبندی I/O: «none »/« mq-deadline» برای NVMe.
Async/Batch: سوابق گروه، از Write-Behind/Group-Commit استفاده کنید.

fio برای ارزیابی (مثال):

bash fio --name=randread --filename=/data/test --size=20G --bs=4k \
--iodepth=64 --rw=randread --ioengine=libaio --numjobs=4 --time_based --runtime=60

شبکه

MTU و offload: 9000 MTU در مرکز داده (اگر پایان به پایان)، GRO/LRO را در صورت مجاز فعال کنید.
RSS/RPS/RFS: صف های چند کاناله در NIC، توزیع توسط هسته ؛ irqbalance - تحت کنترل است.
SO_REUSEPORT: سوکت گوش دادن مقیاس پذیر توزیع شده در سراسر هسته.
زمان بندی و چرخش مشتری: کوتاه TCP keepalive، محدودیت اتصالات باز، فشار پشتی.
TLS: TLS 1. 3، دستورالعمل های سخت افزاری AES-NI، از سرگیری جلسه، مهر و موم OCSP.

تنظیم شبکه (قطعات):

bash sysctl -w net. core. rmem_max=268435456 sysctl -w net. core. wmem_max=268435456 sysctl -w net. ipv4. tcp_rmem="4096 87380 134217728"
sysctl -w net. ipv4. tcp_wmem="4096 65536 134217728"

GPU/FPGA/SmartNIC (در صورت لزوم)

GPU: استنتاج ضد تقلب، توصیه ها، CV ؛ مانیتور 'util'، 'mem'، 'sm _ efficiency'.
SmartNIC/eBPF/DPDK: L4/L7 offload، فیلتر کردن، تله متری بدون انتقال به هسته.
پروفیل های انرژی: فرکانس های ثابت برای تاخیر پایدار ؛ اجتناب از صرفه جویی در قدرت تهاجمی.

برنامه های کاربردی و RDBMS

استخر اتصال: محدود کردن 'max _ conns'، اعمال اتصال (PgBouncer/Hikari).
شاخص ها/برنامه ریزان: پروفایل های EXPLAIN/ANALYZE که شاخص ها، پارتیشن بندی را پوشش می دهند.
ذخیره سازی: Redis/in-process cache، CDN برای استاتیک، کش لبه برای API های داغ.
Idempotence و صف: اجتناب از آبشار عقب نشینی، به نوبه خود در dedup.

Gzip/Brotli: فشرده سازی پاسخ ها با در نظر گرفتن هزینه CPU ؛ تعادل را انتخاب کنید

ظروف و کوبرنتیز

درخواست/محدودیت и بسته بندی

درخواست ها = «ضمانت»، محدودیت ها = «سقف». محدودیت های نادرست توسط CPU → throttling و p99.
بارهای پشت سر هم (قله مسابقات/مسابقه) را در نظر بگیرید - حاشیه در p95.
بن بسته بندی: استخر میزبان جداگانه (تاخیر نقد، دسته ای، GPU، نقطه). استفاده از توپولوژی (ضد وابستگی، گسترش).

خودکار سازی

HPA با معیارهای سفارشی (RPS/p95، نه CPU).
VPA برای کارگران «طولانی مدت» و «خارج از اوج».
خوشه Autoscaler + گروه گره های فردی (بر روی تقاضا/نقطه).
KEDA برای بارهای رویداد (صف، کافکا، کرون).

برنامه ریز و مدیران

مدیر پردازنده: «استاتیک» برای پین کردن هسته های کامل به تغذیه های بحرانی تاخیر.
هم ترازی NUMA مدیر توپولوژی.
پلاگین های بزرگ/دستگاه: برای DB/Low Latency و GPU/FPGA.

مثالی از HPA (آگاه از تأخیر، از طریق آداپتور متریک):

yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: { name: api-gw }
spec:
scaleTargetRef:
apiVersion: apps/v1 kind: Deployment name: api-gw minReplicas: 6 maxReplicas: 60 metrics:
- type: Pods pods:
metric:
name: http_latency_p95_ms target:
type: AverageValue averageValue: 120

FinOps و هزینه

پروفایل های تعرفه: موارد را با CPU/RAM/دیسک/شبکه انتخاب کنید (بهینه سازی محاسبه، بهینه سازی حافظه، بهینه سازی ذخیره سازی).
نقطه/قابل پیش بینی: برای دسته/مرحله بندی/کش با افزونگی چند منطقه.
رزرو/پس انداز: ذخایر برای 1-3 سال برای بخش «دائمی».
داغ/سرد: ذخیره سازی لایه ای، شیء بایگانی، نگهداری ورود به سیستم.
منابع بیکار: توقف شب/آخر هفته از محیط های غیر بحرانی.

بهره وری انرژی (GreenOps)

پروفایل های قدرت: عملکرد در مقابل خدمات متعادل است.
Co-location: تراکم در ساعات سرد، خاموش کردن گره های استفاده نشده.
KPI: وات در هر درخواست، p95/وات، CO₂ - معیارهای ارائه دهنده.

قابلیت مشاهده و آزمایش

Метрики: CPU سرقت/دریچه گاز، «چرخه/دستورالعمل»، LLC خانم، RSS/مجموعه کار، گسل صفحه، LAT دیسک P95/99، قطره NIC، retransmits.
ردیابی: مسیرهای توزیع شده برای «مسیرهای طلایی».
پروفایل: eBPF/Perf/Flamegraphs، 'pprof '/YourKit/JFR.
تست بار: SLO گرا، با ترکیبی واقعی از عملیات، یک مرحله «گرم کردن»، تزریق خطا.

PROMql (ایده ها):

promql
CPU throttling доля sum(rate(container_cpu_cfs_throttled_seconds_total[5m])) by (pod)
/ sum(rate(container_cpu_usage_seconds_total[5m])) by (pod)

Network loss sum (rate (node_net_dropped_total[5m])) by (instance)

چک لیست بهینه سازی

SLO ها و مسیرهای طلایی (API ها/پرداخت ها/پرداخت ها) تعریف شده اند.
CPU/℃/IO/پروفایل های شبکه جمع آوری شده، تنگناهای بالا N یافت می شود.
NUMA/IRQ/RSS در گره های بحرانی تاخیر پیکربندی شده است.
THP خاموش (در صورت لزوم)، hugepages برای خدمات DB/جاوا.
NVMe برای داده های داغ، XFS/IO-sched پیکربندی شده، fio-bench تایید شده است.
پشته شبکه: MTU، RPS/RFS، SO_REUSEPORT ؛ زمان بندی/استخر.
Kubernetes: درخواست ها درست است، محدودیت ها خفه نمی شوند، HPA با معیارهای تجاری، VPA/CA گنجانده شده است.
ذخیره سازی و CDN در مسیرهای «گران» ؛ ذخیره سازی مجدد/لبه.
FinOps: حق/ذخایر/استخر نقطه ؛ متوقف کردن محیط های بیکار
خودکار عملکرد در CI، رگرسیون در p95/p99.

iGaming/fintech خاص

قله برنامه ریزی شده: مسابقات/مسابقات/تبلیغات → استخر «الاستیک» جبهه, قبل از گرم شدن انبارها/CDN, HPA توسط RPS/تاخیر.
پرداخت ها و پرداخت ها: IP/دامنه های فردی «طلا»، صف های اولویت، جداسازی منابع (tains/tolerations)، ذخیره پایه.
Antibot/antifraud: مدل های سنگین - در GPU-workers ؛ امتیاز دهی آنلاین ≤ 50 ms p95 ؛ کش از ویژگی های.
تنظیم: سیاهههای مربوط غیر قابل تغییر و رمزگذاری نباید SLO را بشکند - شتاب سخت افزاری و خطوط لوله ناهمزمان را روشن کنید.

کتاب های مینی

↑ تاخیر پس از انتشار:

1. SLO سوختگی را بررسی کنید ؛ 2) پروفایل های پردازنده/" ؛ 3) پرچم عقب/ویژگی ؛ 4) افزایش کپی رایت/API کش ؛ 5) RCA و تثبیت تست.

حداکثر بار (مسابقه/مسابقات):

1. گرم کردن CDN/کش ؛ 2) بلند کردن minReplicas ؛ 3) شامل محدودیت پشت سر هم; 4) ارسال صف ؛ 5) حالت خواندن فقط برای توابع ثانویه را فعال کنید.

اشتباهات رایج

محدودیت CPU «خفه» بارهای اوج → P99 بالا.
استخر گره نامعتبر: مخلوط تاخیر بحرانی و دسته ای.
عدم وجود تنظیمات NUMA/IRQ در پایگاه های داده/کارگزاران.
«درمان علائم» (اضافه کردن CPU) به جای رفع الگوریتم/caches/SQL.
HPA توسط CPU به جای RPS/تاخیر → مقیاس دیر.
بدون آزمون عملکرد در CI → رگرسیون در تولید.

مجموع

بهینه سازی یک کار سیستماتیک است: اندازه گیری SLI/SLO، مشخصات، الگوریتم های ثابت، سخت افزار (NUMA/IRQ/IO/شبکه)، «اندازه» منابع به درستی و مقیاس خودکار. بهبود در قالب ها (تصاویر، نمودارها، سیاست)، هزینه کنترل و انرژی را ضبط کنید - و پلت فرم شما حتی در قله های شدید سریع، اقتصادی و پایدار باقی خواهد ماند.