关于AB Test使用和实现的猜测

首先我没有任何AB Test使用和实现的经历,所以这里纯粹就是猜测一下:) 这个是昨天和wenjie讨论推荐系统时候想的,因为修改推荐系统算法一定要观察具体效果如何。

实现上可能是这样的,假设我们集成了google analytics sdk

  1. 在portal上告诉GA要做一次ab test. 并且告诉分类规则,比如按照流量90%为A, 10%为B.
  2. GA会在 合适 的时候告诉app(又或者是app会去poll), 你当前device的标签是A还是B.
  3. app在和后端服务交互的时候,会带上标签A or B. 如果是A那么用A算法,如果是B那么用B算法。
  4. app拿到结果后进行统计。在上传到GA时同样也会带上这个标签,这样GA就可以做设备划分进行分开统计了。
  5. 从portal上就可以对比A和B的指标,比如留存,有比如点击和订阅比例。