基于 Boost 的 HTTP 服务器:性能方法论
基于 Boost 的 HTTP 服务器:性能方法论
同一分支代码,中间仅仅进行了Bug修复,前后压测,一次 153k QPS,一次 45k QPS
是什么导致了这一“回归性”问题?
是构建配置的不同——Debug(-O0)与 Release,导致了该“回归性”问题测量方法先于优化方法:本篇从压测设计开始
压测方案设计
平台的锁频问题
测试平台 i5-1235U(10 核 12 线程,2P+8E 混合核),Fedora 44。
CPU 默认处于 powersave 电源策略,频率被锁在 ~1.9GHz(上限 4.4GHz)。
(至今未得到解决)
锁频带来的直接后果:
- 绝对 QPS 偏低(本机上限被频率压制)
- 频率并非恒定:跨轮次测试时频率会漂移,绝对值跨轮次不可比
同平台同条件下测出的比率有效,但不同时间测出的绝对数字无法直接对比——
决定了我的这一整套压测方案的设计走向
wrk 参数设计
压测工具用 wrk,参数三个维度:
| 参数 | 取值 | 依据 |
|---|---|---|
-t wrk 线程 |
4 / 6 / 8 | 覆盖服务端线程配比矩阵 |
-c 连接数 |
100 / 400 / 500 / 600 / 800 / 1000 | 覆盖低并发到高并发 |
-d 时长 |
30s | 10s 抖动大,30s 较为稳定 |
每组参数 3 轮循环取中位数,单轮波动用中位数而不是平均值消减
线程配比:摸索方法
wrk 与服务端同机运行,线程如何分配才公平?
同机测试存在客户端抢占问题:wrk 线程与服务端线程共享 CPU,
wrk 线程多于服务端时,客户端抢占服务端 CPU,系统性低估服务端能力。
摸索方法:固定连接数,避免超出物理线程,遍历 wrk 线程 / 服务端线程配比对照:
| wrk / 服务线程 | c100 | c400 |
|---|---|---|
| 8 / 4 | 173k | 137k |
| 6 / 6 | 199k | 166k |
| 4 / 4 | 179k | 163k |
6 / 6 配比测得最高——本机 12 逻辑线程均分给客户端与服务端时
双方竞争最均衡,最接近服务端真实能力。此后所有对照测试固定 6/6
CPU MHz 采样
锁频平台的频率会漂移,为让跨轮次数据可比,测试期间并行采样频率:
- 测试进行中,每秒读取
/proc/cpuinfo取全部逻辑核的平均 MHz - 测试结束后,用平均频率将 QPS 归一化:
qps / GHz
注意:我默认了每物理线程在进行压测时都平分了合适的计算任务(这是根据之前压测进行的频率变化统计得出的粗估计算)
归一化后的收益:
- 跨轮次可比:频率漂移被消除,同一代码不同时间的测量结果稳定
- 横向对比可靠:本机 nginx 对照、后续优化前后对照,均建立在同频率口径上
- 实测归一化后 http_server 约为 54.9 qps/GHz,波动 <2%
使用qps/MHz归一化方法,是为了消除当前平台的客观问题,得到至少可以信服的结论
日志成本
访问日志(每请求一行 LOG_* 写盘)是压测中最大的隐性开销:
-L warning关访问日志:c100 +38% / c400 +21%- 访问日志整体拖慢 25~38%
压测一律使用 -L warning,日志成本单独量化,不混入服务能力测量
优化链条
优化需要对每个改动先测量、后动手、再对照
优化集中在三条路线:系统调用、内存拷贝、堆分配
问题一:warm 路径的系统调用
静态服务 warm 状态下,文件内容已在缓存,但每次请求仍需
open / stat / 路径规范化等系统调用——路径解析是剩余的热点。
方法:路径解析缓存——解析结果(规范化路径 + 过期时间)缓存起来,
命中即零系统调用;shared_mutex 支持并发读(读多写少场景);std::map 透明比较器实现 string_view 异构查找,免构造临时 key
数据:c100 +28% / c400 +38%——整个优化链中最大单项收益
问题二:缓存值的拷贝
缓存命中后,文件内容被复制进响应 body——大文件每次命中都整份拷贝。
方法:缓存条目持 shared_ptr<const std::string>,自定义 Beast Body 类型shared_string_body——writer 直接指向缓存数据,响应写出与缓存共享一份内存,
零拷贝
问题三:每请求的临时分配
每次缓存查询构造临时 string key,每请求 2 次堆分配。
方法:get() 传引用 + 异构查找,消除临时 key 构造
关于回归对照的必要性
功能合入后,如何确认性能没有回归?
优化之外,功能特性(gzip 协商、POST 动态 API)合入后同样需要对照验证:
- new vs old(Release):124k vs 128k
- gzip / POST 功能开销 约为 3%——协议特性不拖性能
回归对照的意义:性能是每次改动后重新测定的,根据项目进程动态变化。
没有对照的”优化”与没有对照的”无回归”,都只是断言
优化链小结
| 优化 | 数据 |
|---|---|
| 路径解析缓存(免系统调用) | c100 +28% / c400 +38% |
| shared_ptr 零拷贝 | 免字符串复制 |
| 缓存 key 免分配 | 每请求省 2 次堆分配 |
| gzip/POST 回归对照 | 开销 约为 3% |
最终成绩
当前平台的偏差声明
成绩单必须先声明测量环境的偏差
- 平台锁频(~1.9GHz),绝对 QPS 被频率压制,跨轮次绝对值不可比
- 2P+8E 混合核,调度影响服务端线程的执行均匀性
- 同机压测存在客户端抢占,配比已按 6/6 校准,仍非完全隔离
上述偏差下,所有结论基于 qps/MHz 归一化口径,比率有效、绝对值参考
成绩单
平台:i5-1235U / Fedora 44(kernel 7.1.6)
目标文件app/index.html(9KB);服务端 8 线程、-L warning,wrk 30s
| 配置 | QPS |
|---|---|
| t6-c100 | ~153k |
| t6-c400 | ~138k |
| t6-c1000 | ~110k |
xychart-beta
title "QPS 衰减曲线(t6)"
x-axis "并发连接数" [100, 400, 500, 600, 800, 1000]
y-axis "QPS" 0 --> 160000
line "t6 QPS" [153241, 138316, 130733, 131204, 130530, 109942]
- 峰值 ~153k QPS(t6-c100,延迟 0.62ms)
- nginx 对比(qps/MHz 归一化):约为 nginx 的 67~73%
- 定位:与 Go / Node cluster 同级
- 高并发衰减:c100 → c1000 回落约 28%,延迟随连接数上升(t6-c1000 平均 11.4ms)
局限性讨论
67~73% 的差距来源,即 nginx 的壁垒所在:
- sendfile 大文件零拷贝(本项目未实现,9KB 小文件场景收益也有限)
- CPU 核心绑定(P 核独占)
- tcp_nopush / 系统级文件句柄配置等内核侧优化
未做项均有明确评估(收益场景、实现成本),列入 TODO 按需推进——
但是性能工作到此为止,没有精力了
小结
- 压测先于优化:测量方法决定结论可信度(锁频、抢占、日志、归一化)
- 每步有对照:优化链条与回归验证,数据是唯一裁判
附录:压测方法论
本附录记录项目压测的完整设计,供复现与扩展
测试环境
1 | Operating System: Fedora Linux 44 (KDE Plasma) |
注意 CPU powersave 锁频 ~1.9GHz,绝对值跨轮次不可比
服务端参数
1 | ./http_server --threads 8 --doc_root ./app/ -L warning |
- 压测矩阵用 8 线程服务端
- 对照测试(nginx 对比、优化前后)使用 6/6 配比:
--threads 6+wrk -t6
wrk 参数
1 | wrk -t6 -c100 -d30s http://127.0.0.1:8080/index.html |
| 参数 | 取值 |
|---|---|
-t |
4 / 6 / 8 |
-c |
100 / 400 / 500 / 600 / 800 / 1000 |
-d |
30s |
每组 3 轮取中位数
CPU 频率采样
测试期间每秒采样并记录全部逻辑核平均 MHz:
1 | # 压测进行中,另一终端执行 |
归一化计算:qps / (平均 MHz / 1000)
流程规范
- 确认 Release 构建与
-L warning - 预热(warm 缓存)后开始
- 每轮 30s,3 轮取中位数
- 记录频率日志,归一化后再跨轮次对比
- 输出存档:
/docs/stress-test/stress-test-record/stress_test_yyyy_mm_dd.md