NingG +

实验平台:设计--其他落地细节

实验平台,具体落地过程,涉及到一些通用问题,当前 blog 将进行详细的讨论:

落地:其他细节分析

几个方面:

  1. 流程固定、明确控制点:不同控制点,可以配置不同参数/比例,以此动态实验(广告系统为例)
  2. 固定分桶数量:
    1. 提前设定分桶数量,例如 100 个
    2. 实验管理页面,如何动态调整流量?
    3. 底层实现 & 操作的便利性
  3. hash 算法:
    1. md5 + mod
  4. 白名单:指定流量命中指定分组
  5. 默认分组问题:
    1. 分流路由标识缺失时,命中哪个分组?默认分组(对照组)
    2. 全量上线时,默认分组(对照组?实验组?)
  6. 实验效果:
    1. 观察多长时间内的实验效果?
    2. 如何避免其他因素影响?节假日、天气、运动会事件等

逻辑分流,实验接入方式:

if(对照组){
    // 对照组:不应用策略,跟默认组一致
    ...
}else if(实验组){
    // 实验组:可以有多个实验组,每个实验组,都应用不同的实验参数
    ...
}else{
    // 默认组:不进行实验的流量,都走这一分组
    ...
}

参考资料

Top