A/B 实验｜创建实验

创建实验前

1. 选择合适的实验对象: Subotiz 提供价格表实验与自定义实验两种类型，适用于不同业务场景。
   • 价格表实验: 适用于使用 Subotiz 价格表的商户，完成 SDK 接入后，系统自动为访客分配实验组并展示对应价格表版本，无需额外开发页面逻辑，适用于测试不同价格方案、免费试用、套餐组合或不同订阅方案。
   • 自定义实验: 适用于商户自有页面或业务流程，系统负责分组，各实验组要展示的内容需要开发人员根据分组结果自行实现，适用于商品页面、Landing Page、注册流程、结账流程、新功能测试等场景。
2. 完成 SDK 接入： 价格表实验与自定义实验均需要先完成 SDK 接入。完成一次接入后，后续实验可以继续复用。
   • 初始化 SDK： 为访客生成稳定的实验用户 ID、请求实验分组，并自动上报实验曝光。
   • 展示实验版本： 价格表实验由 SDK 展示对应价格表；自定义实验需由开发人员根据分组结果展示对应页面或功能。
   • 上报实验数据： 使用 SDK 上报用户关键行为，供系统按实验组统计结果。

创建实验

1. 进入实验页面： 登录 Subotiz 后台，前往 数据 > A/B 实验，点击 创建实验。

2. 填写实验名称： 输入方便识别的实验名称，例如：
   • 价格表免费试用方案测试
   • 新结账流程测试
   • 注册页面 CTA 按钮测试
   实验名称仅用于后台管理，不会展示给访客。

3. 选择实验对象： 根据实验内容选择 价格表实验 或 自定义实验。不同实验对象对应不同的实现方式，请确认开发方式符合实际业务需求。

4. 设置结束条件： 填写实验目标用户数，最少 500 人。商户也可以开启 最大运行时长，设置实验最长运行时间，支持 1–365 天。建议根据业务流量设置合理的实验规模。通常参与实验的用户越多，实验结果越具有参考价值。当实验达到目标用户数或最大运行时长时，系统会自动结束实验。

5. 选择实验用户范围： 默认情况下，所有符合实验接入条件的访客均可进入实验。如仅希望针对特定用户开展测试，可选择 定向范围。

6. 配置定向范围: 开启定向范围后，至少需要新增一条筛选规则。
   目前支持以下筛选条件：
   • 国家：根据用户 IP 所属国家或地区判断，支持按国家名称或代码搜索。
   • 来源渠道： 根据商户通过 SDK 传入的来源渠道值筛选用户。输入内容需要与实际传入的渠道值一致，例如 Facebook。
   • 设备：按 PC 或移动端分别开展实验。
   多条规则之间采用 且（AND） 关系，仅同时满足全部条件的用户才会进入实验。

7. 填写实验说明（可选）：商户可以填写本次实验的目标，以及各实验组之间的主要差异。建议尽量完整描述实验内容，有助于后续使用 AI 数据解读 时获得更准确的分析结果。

设置分组与流量分配

1. 配置实验组： 为每个实验组设置方便识别的名称，例如：
   • 对照组
   • 实验组 A
   • 实验组 B

2. 配置分组变量：不同实验对象的配置方式有所不同。
   • 价格表实验: 选择该实验组需要展示的价格表。
   • 自定义实验: 填写唯一的分组变量，供开发人员识别对应实验组。建议使用小写英文字母、数字及下划线。

3. 填写分组说明（可选）： 为各实验组补充说明，方便后续查看实验内容。
   例如：
   • 当前价格表
   • 新增 7 天免费试用
   • 调整 CTA 按钮文案

4. 设置流量比例： 为每个实验组分配访客比例。所有实验组流量之和必须等于 100%。
   例如：
   • 对照组：50%
   • 实验组 A：50%
   或：
   • 对照组：40%
   • 实验组 A：30%
   • 实验组 B：30%

5. 新增实验组： 如需测试更多版本，点击 添加实验组，继续新增实验组并设置对应流量。

添加自定义数据

配置直接数据

• 注册完成
• 按钮点击
• 表单提交
• 订单金额

1. 填写数据名称：输入后台展示的名称，例如 注册完成、订单金额。

2. 填写 数据 Key：输入与 SDK 上报事件一致的唯一标识，例如：
   • signup_completed
   • order_amount
   • cta_click
   数据 Key 必须与开发人员实际上报的名称完全一致，否则系统无法统计数据。

3. 选择聚合方式：根据数据类型选择对应统计方式。
   目前支持以下聚合方式：
   • 计数： 统计事件发生的总次数，例如按钮点击次数。
   • 去重用户数： 统计触发事件的独立用户数量，例如完成注册的用户数。
   • 求和： 汇总所有上报的数值，例如订单总金额。
   • 均值： 计算所有上报数值的平均值，例如平均订单金额。
    
4. 常见配置示例

配置派生数据

1. 添加派生数据前，请先完成至少一项直接数据配置。

2. 目前支持以下类型。
   • 比率: 分别选择分子及分母对应的直接数据。
     例如：注册完成 ÷ 浏览用户
     系统将自动计算两项数据之间的比值。
   • 转化率：选择需要统计的直接数据。系统会自动以该实验组的总用户数作为分母，计算对应事件的转化率。
     例如：
     • 注册完成率
     • 支付成功率
   • 留存率： 选择留存周期后，再选择对应的直接数据作为统计基准。留存率是指用户首次触发指定行为后，在所选留存周期后再次触发同一行为的用户占比。系统会根据所选留存周期及直接数据自动计算对应的留存率。
     支持以下留存周期：
     • 次日留存（1 天）
     • 7 日留存
     • 30 日留存
     • 自定义天数

3. 常见应用场景: 商户可以根据不同业务目标配置相应的数据指标。

4. 保存实验：点击 保存为草稿。
   草稿状态下：
   • 可以继续修改实验配置。
   • 不会开始分配实验流量。
   • 不会统计实验数据。
   确认配置无误后，并在适当时机正式启动实验。

附录：实验相关用户标识（开发参考）