直播 APP 后端性能测试思路
作者信息：HHP
一、概述
直播 APP 场景中通常包含主播（+辅麦主播）、粉丝 2个主要角色
- 主播主要的交互以推流为主，粉丝主要的交互以拉流为主
- 另外包括粉丝与主播之间的互动，文本消息、表情、送礼物
直播的中的用户核心性能体验为：主播与粉丝之间的交互延迟，而推流是直播第一步，如果推流不稳定，无论如何优化体验都会非常差。
二、性能需求
关键角色 | 性能体验 |
用户视角 | 第一个画面加载延迟（首次缓冲）、直播画面延迟、卡顿、弱网体验、流量消耗 |
运维视角 | CDN、带宽开销、核心业务的横向扩容能力、（政策原因）对流媒体进行存储产生的存储空间开销 |
开发视角 | 延迟和卡顿的平衡（客户端缓存） |
运营视角 | / |
三、测试实现
1）通讯协议
推、拉流的通讯
- 网络层：Socket 或 St 负责传输
- 协议层：RTMP 或 HLS 负责网络打包（主播连麦：WebRTC）
- 封装层：flv、ts 负责解码数据封装
- 编码层：h.264、acc 负责图像、音频压缩
非推、拉流的通讯
- HTTP、WebSocket
2）测试工具
工具 | 支持协议 | 说明 |
St-load | RTMP | （Linux）通过模拟并发的推拉流实现特定负载的测试 |
Locust | 自带 HTTP Client，其它协议需自行实现 Client | 采用（单进程）协程+IO复用实现并发负载 |
四、测试策略
说明：直播类压测的核心是验证并发下推、拉流的顺畅，是协议层的测试。用户体验的关键是和主播之间的交互延迟。
1）核心角色与业务
- 主播 - 直播 - 抓流/推流
- 主播 - 互动 - 查看/回应粉丝的互动
- 粉丝 - 直播 - 切换直播间
- 粉丝 - 直播 - 拉流
- 粉丝 - 互动 - 评论、打赏等互动行为
2）测试用例编写参考
- 参考上条，略
3）测试场景设计关注点
1、性能基准
建立性能基准
- 对 并发推流 进行测试
- 对 并发拉流 进行测试
- 对 粉丝 进入直播间 的首次缓冲延迟（包括：首包用时延迟、视频首帧延迟） 进行测试
- 对 特定的 码率、帧率 所对应带宽开销进行测试
- 对并发 进入直播间 时的内容交互加载延迟进行测试
- 直播间中的主播与粉丝交互延迟
- 对 弱网环境 进行不同程度的并发测试
2、负载测试
- 关注 日度 业务峰值负载（业务量、时间、时长）
- 关注 周/月 中业务峰值负载（业务量、时间、时长）
- 关注 运营推广 过程中所涉及的业务负载（业务量、时间、时长）
- 关注 意外负载 的出现时机、负载特点
3、容量测试
- 基于“性能基准”结果，参考：1000 - 2000 - 3000 - XXXX 的方式进行主播递增推流测试
- 关注 良好性能体验 条件下的最高支持在线主播数量
- 关注 可容忍上限 条件下的最高支持在线主播数量
- 关注 系统资源充裕 条件下的最高在线主播数量
- 关注 系统资源不足 条件下的最高在线主播数量
4、可用性测试
- 以施加峰值负载的方式达到考核时间周期的业务量
5、可靠性测试
- 关注 网络异常 / 弱网环境 对性能基准的影响
- 关注 服务异常 对性能基准的影响
- 关注 冗余节点 随机的上、下线对性能基准的影响
- 关注 冗余节点 随机的上、下线对：功能可用性、事务性、性能、持久化设计 的影响
6、资源规划 / 扩容配置
- 关注核心业务在性能上横向扩容过程中，节点增加与性能削减的关系
- 关注主播推流对服务产生的存储空间占用开销
- 关注主播推流对服务产生的带宽占用开销
4）测试场景设计
（参考产品设计 与“测试场景设计关注点”：略）
测试场景 | 场景描述 | 场景目标 | 执行策略 | 期望结果 |
性能基准测试 | ||||
负载测试（推、拉流） | ||||
负载测试（HTTP、WS流） | ||||
容量测试 | ||||
可用性测试 | ||||
可靠性测试 | ||||
…… |
五、备注
- 脚本需要实现粉丝端首次缓冲时间的延迟测试，即对首包、首帧画面的断言、延迟、丢帧判断测试。