基于 Boost 的 HTTP 服务器:性能方法论

基于 Boost 的 HTTP 服务器:性能方法论

同一分支代码,中间仅仅进行了Bug修复,前后压测,一次 153k QPS,一次 45k QPS
是什么导致了这一“回归性”问题?
是构建配置的不同——Debug(-O0)与 Release,导致了该“回归性”问题

测量方法先于优化方法:本篇从压测设计开始


压测方案设计

平台的锁频问题

测试平台 i5-1235U(10 核 12 线程,2P+8E 混合核),Fedora 44。
CPU 默认处于 powersave 电源策略,频率被锁在 ~1.9GHz(上限 4.4GHz)。
(至今未得到解决)

锁频带来的直接后果:

  • 绝对 QPS 偏低(本机上限被频率压制)
  • 频率并非恒定:跨轮次测试时频率会漂移,绝对值跨轮次不可比

同平台同条件下测出的比率有效,但不同时间测出的绝对数字无法直接对比——
决定了我的这一整套压测方案的设计走向

wrk 参数设计

压测工具用 wrk,参数三个维度:

参数 取值 依据
-t wrk 线程 4 / 6 / 8 覆盖服务端线程配比矩阵
-c 连接数 100 / 400 / 500 / 600 / 800 / 1000 覆盖低并发到高并发
-d 时长 30s 10s 抖动大,30s 较为稳定

每组参数 3 轮循环取中位数,单轮波动用中位数而不是平均值消减

线程配比:摸索方法

wrk 与服务端同机运行,线程如何分配才公平?

同机测试存在客户端抢占问题:wrk 线程与服务端线程共享 CPU,
wrk 线程多于服务端时,客户端抢占服务端 CPU,系统性低估服务端能力。

摸索方法:固定连接数,避免超出物理线程,遍历 wrk 线程 / 服务端线程配比对照:

wrk / 服务线程 c100 c400
8 / 4 173k 137k
6 / 6 199k 166k
4 / 4 179k 163k

6 / 6 配比测得最高——本机 12 逻辑线程均分给客户端与服务端时
双方竞争最均衡,最接近服务端真实能力。此后所有对照测试固定 6/6

CPU MHz 采样

锁频平台的频率会漂移,为让跨轮次数据可比,测试期间并行采样频率:

  • 测试进行中,每秒读取 /proc/cpuinfo 取全部逻辑核的平均 MHz
  • 测试结束后,用平均频率将 QPS 归一化:qps / GHz

注意:我默认了每物理线程在进行压测时都平分了合适的计算任务(这是根据之前压测进行的频率变化统计得出的粗估计算)

归一化后的收益:

  • 跨轮次可比:频率漂移被消除,同一代码不同时间的测量结果稳定
  • 横向对比可靠:本机 nginx 对照、后续优化前后对照,均建立在同频率口径上
  • 实测归一化后 http_server 约为 54.9 qps/GHz,波动 <2%

使用qps/MHz归一化方法,是为了消除当前平台的客观问题,得到至少可以信服的结论

日志成本

访问日志(每请求一行 LOG_* 写盘)是压测中最大的隐性开销:

  • -L warning 关访问日志:c100 +38% / c400 +21%
  • 访问日志整体拖慢 25~38%

压测一律使用 -L warning,日志成本单独量化,不混入服务能力测量


优化链条

优化需要对每个改动先测量、后动手、再对照

优化集中在三条路线:系统调用、内存拷贝、堆分配

问题一:warm 路径的系统调用

静态服务 warm 状态下,文件内容已在缓存,但每次请求仍需
open / stat / 路径规范化等系统调用——路径解析是剩余的热点。

方法:路径解析缓存——解析结果(规范化路径 + 过期时间)缓存起来,
命中即零系统调用;shared_mutex 支持并发读(读多写少场景);
std::map 透明比较器实现 string_view 异构查找,免构造临时 key

数据:c100 +28% / c400 +38%——整个优化链中最大单项收益

问题二:缓存值的拷贝

缓存命中后,文件内容被复制进响应 body——大文件每次命中都整份拷贝。

方法:缓存条目持 shared_ptr<const std::string>,自定义 Beast Body 类型
shared_string_body——writer 直接指向缓存数据,响应写出与缓存共享一份内存,
零拷贝

问题三:每请求的临时分配

每次缓存查询构造临时 string key,每请求 2 次堆分配。

方法:get() 传引用 + 异构查找,消除临时 key 构造

关于回归对照的必要性

功能合入后,如何确认性能没有回归?

优化之外,功能特性(gzip 协商、POST 动态 API)合入后同样需要对照验证:

  • new vs old(Release):124k vs 128k
  • gzip / POST 功能开销 约为 3%——协议特性不拖性能

回归对照的意义:性能是每次改动后重新测定的,根据项目进程动态变化。
没有对照的”优化”与没有对照的”无回归”,都只是断言

优化链小结

优化 数据
路径解析缓存(免系统调用) c100 +28% / c400 +38%
shared_ptr 零拷贝 免字符串复制
缓存 key 免分配 每请求省 2 次堆分配
gzip/POST 回归对照 开销 约为 3%

最终成绩

当前平台的偏差声明

成绩单必须先声明测量环境的偏差

  • 平台锁频(~1.9GHz),绝对 QPS 被频率压制,跨轮次绝对值不可比
  • 2P+8E 混合核,调度影响服务端线程的执行均匀性
  • 同机压测存在客户端抢占,配比已按 6/6 校准,仍非完全隔离

上述偏差下,所有结论基于 qps/MHz 归一化口径,比率有效、绝对值参考

成绩单

平台:i5-1235U / Fedora 44(kernel 7.1.6)
目标文件 app/index.html(9KB);服务端 8 线程、-L warning,wrk 30s

配置 QPS
t6-c100 ~153k
t6-c400 ~138k
t6-c1000 ~110k


xychart-beta
    title "QPS 衰减曲线(t6)"
    x-axis "并发连接数" [100, 400, 500, 600, 800, 1000]
    y-axis "QPS" 0 --> 160000
    line "t6 QPS" [153241, 138316, 130733, 131204, 130530, 109942]

  • 峰值 ~153k QPS(t6-c100,延迟 0.62ms)
  • nginx 对比(qps/MHz 归一化):约为 nginx 的 67~73%
  • 定位:与 Go / Node cluster 同级
  • 高并发衰减:c100 → c1000 回落约 28%,延迟随连接数上升(t6-c1000 平均 11.4ms)

局限性讨论

67~73% 的差距来源,即 nginx 的壁垒所在:

  • sendfile 大文件零拷贝(本项目未实现,9KB 小文件场景收益也有限)
  • CPU 核心绑定(P 核独占)
  • tcp_nopush / 系统级文件句柄配置等内核侧优化

未做项均有明确评估(收益场景、实现成本),列入 TODO 按需推进——
但是性能工作到此为止,没有精力了


小结

  • 压测先于优化:测量方法决定结论可信度(锁频、抢占、日志、归一化)
  • 每步有对照:优化链条与回归验证,数据是唯一裁判

附录:压测方法论

本附录记录项目压测的完整设计,供复现与扩展

测试环境

1
2
3
4
Operating System: Fedora Linux 44 (KDE Plasma)
Kernel: 7.1.6-201.fc44.x86_64
Processors: 12th Gen Intel Core i5-1235U @ 1.3GHz (10 Cores / 12 Threads, 2P+8E, Turbo 4.4GHz)
Memory: 15 GiB

注意 CPU powersave 锁频 ~1.9GHz,绝对值跨轮次不可比

服务端参数

1
./http_server --threads 8 --doc_root ./app/ -L warning
  • 压测矩阵用 8 线程服务端
  • 对照测试(nginx 对比、优化前后)使用 6/6 配比:--threads 6 + wrk -t6

wrk 参数

1
2
wrk -t6 -c100 -d30s http://127.0.0.1:8080/index.html
wrk -t6 -c400 -d30s http://127.0.0.1:8080/index.html
参数 取值
-t 4 / 6 / 8
-c 100 / 400 / 500 / 600 / 800 / 1000
-d 30s

每组 3 轮取中位数

CPU 频率采样

测试期间每秒采样并记录全部逻辑核平均 MHz:

1
2
# 压测进行中,另一终端执行
while true; do grep -m1 MHz /proc/cpuinfo >> freq.log; sleep 1; done

归一化计算:qps / (平均 MHz / 1000)

流程规范

  1. 确认 Release 构建与 -L warning
  2. 预热(warm 缓存)后开始
  3. 每轮 30s,3 轮取中位数
  4. 记录频率日志,归一化后再跨轮次对比
  5. 输出存档:/docs/stress-test/stress-test-record/stress_test_yyyy_mm_dd.md

END