实验平台：设计--分层
2017-07-03
实验平台，具体落地过程，涉及到一些通用问题，当前 blog 将进行详细的讨论：
分层实验模型（分层）
分层的作用？
- 不同分层之间：并发进行多个实验，不同实验之间流量正交。
- 同一分层：业务上相互关联的实验，分布到同一层进行。
朴素的疑问：
- 实验平台，如何同时进行多个实验？
- 如果同时进行的实验个数是 10 个、100 个，是否会导致实验平台不可用？
这就要求实验平台的可扩展性要好，不会因为并发实验个数的增长导致实验平台的复杂度指数增长，因此，采用「分层实验模型」
「分层实验模型」，典型场景：
- 流量独占：例如，针对某个城市，或某类特征用户，只进行一个实验，不让这些用户再参与其他实验
- 流量共享：多实验并行
- 相互干扰的实验：分在同一层
- 相互不干扰的实验：可以分在不同层，也可以分在同一层（一般建议分在不同层）
分层模型的主要思想为：不同实验层间，进行「独立流量划分」和「独立实验」，互不影响，具体策略参数有下面约束：
- 相关联的策略参数，位于同一层；
- 相互独立的策略参数，分属于不同层；
- 一个实验参数，只能在出现在一个实验层；
参考资料
- 阿里妈妈大规模在线分层实验实践
- 超越AB-Test，算法参数化与Google实验架构
- 大众点评并行 AB 测试框架 Gemini
- Experiments at Airbnb
- 微博广告分层实验平台(Faraday)架构实践
- Overlapping Experiment Infrastructure- More, Better, Faster Experimentation.pdf
原文地址：https://ningg.top/experiment-series-multi-experiments/