NingG +

实验平台：设计--其他落地细节

2017-07-06

实验平台，具体落地过程，涉及到一些通用问题，当前 blog 将进行详细的讨论：

落地：其他细节分析

几个方面：

  1. 流程固定、明确控制点：不同控制点，可以配置不同参数/比例，以此动态实验（广告系统为例）
  2. 固定分桶数量：
    1. 提前设定分桶数量，例如 100 个
    2. 实验管理页面，如何动态调整流量？
    3. 底层实现 & 操作的便利性
  3. hash 算法：
    1. md5 + mod
  4. 白名单：指定流量命中指定分组
  5. 默认分组问题：
    1. 分流路由标识缺失时，命中哪个分组？默认分组（对照组）
    2. 全量上线时，默认分组（对照组？实验组？）
  6. 实验效果：
    1. 观察多长时间内的实验效果？
    2. 如何避免其他因素影响？节假日、天气、运动会事件等

逻辑分流，实验接入方式：

if(对照组){
    // 对照组：不应用策略，跟默认组一致
    ...
}else if(实验组){
    // 实验组：可以有多个实验组，每个实验组，都应用不同的实验参数
    ...
}else{
    // 默认组：不进行实验的流量，都走这一分组
    ...
}

参考资料

原文地址：https://ningg.top/experiment-series-other-details/
微信公众号 ningg, 联系我

同类文章:

微信搜索: 公众号 ningg, 联系我, 交个朋友.

京ICP备19013747号-1
Top