Skip to content

Latest commit

 

History

History
132 lines (116 loc) · 4.05 KB

esmm.md

File metadata and controls

132 lines (116 loc) · 4.05 KB

ESMM

简介

CVR预估模型的本质,不是预测“item被点击,然后被转化”的概率(CTCVR),而是“假设item被点击,那么它被转化”的概率(CVR)。\它与CTR没有绝对的关系,很多人有一个先入为主的认知,即若user对某item的点击概率很低,则user对这个item的转化概率也肯定低,这是不成立的。 这就是不能直接使用全部样本训练CVR模型的原因,因为不知道那些unclicked的item,假设他们被点击了,是否会被转化。如果直接使用0作为它们的label,会很大程度上误导CVR模型的学习。

其中 z,y 分别表示conversion和click。注意到,在全部样本空间中,CTR对应的label为click,而CTCVR对应的label为click & conversion,这两个任务是可以使用全部样本的。因此,通过这学习两个任务,再根据上式隐式地学习CVR任务。

esmm.png

配置说明

model_config: {
  model_class: 'ESMM'
  feature_groups: {
    group_name: 'user'
    feature_names: 'user_id'
    feature_names: 'cms_segid'
    ...
    feature_names: 'new_user_class_level'
    wide_deep: DEEP
  }
  feature_groups: {
    group_name: 'item'
    feature_names: 'adgroup_id'
    feature_names: 'cate_id'
    ...
    feature_names: 'price'
    wide_deep: DEEP
  }
  feature_groups: {
    group_name: 'combo'
    feature_names: 'pid'
    feature_names: 'tag_category_list'
    feature_names: 'tag_brand_list'
    wide_deep: DEEP
  }
  esmm {
    groups {
      input: "user"
      dnn {
        hidden_units: [256, 128, 96, 64]
      }
    }
    groups {
      input: "item"
      dnn {
        hidden_units: [256, 128, 96, 64]
      }
    }
    groups {
      input: "combo"
      dnn {
        hidden_units: [128, 96, 64, 32]
      }
    }
    cvr_tower {
      tower_name: "cvr"
      label_name: "buy"
      dnn {
        hidden_units: [128, 96, 64, 32, 16]
      }
      num_class: 1
      weight: 1.0
      loss_type: CLASSIFICATION
      metrics_set: {
       auc {}
      }
    }
    ctr_tower {
      tower_name: "ctr"
      label_name: "clk"
      dnn {
        hidden_units: [128, 96, 64, 32, 16]
      }
      num_class: 1
      weight: 1.0
      loss_type: CLASSIFICATION
      metrics_set: {
       auc {}
      }
    }
    l2_regularization: 1e-6
  }
  embedding_regularization: 5e-5
}
  • model_class: 'ESMM', 不需要修改
  • feature_groups: 支持多组feature_group
  • esmm: esmm相关的参数
    • groups
      • input tower的input必须和feature_groups的group_name对应
      • dnn deep part的参数配置
        • hidden_units: dnn每一层的channel数目,即神经元的数目
    • cvr_tower
      • tower_name:'cvr',不需要修改
      • label_name: tower对应的label名,若不设置,label_fields需与task_towers一一对齐
      • dnn deep part的参数配置
        • hidden_units: dnn每一层的channel数目,即神经元的数目
      • 默认为二分类任务,即num_class默认为1,weight默认为1.0,loss_type默认为CLASSIFICATION,metrics_set为auc
    • ctr_tower
      • tower_name:'ctr',不需要修改
      • label_name: tower对应的label名,若不设置,label_fields需与task_towers一一对齐
      • dnn deep part的参数配置
        • hidden_units: dnn每一层的channel数目,即神经元的数目
      • 默认为二分类任务,即num_class默认为1,weight默认为1.0,loss_type默认为CLASSIFICATION,metrics_set为auc
  • embedding_regularization: 对embedding部分加regularization,防止overfit

ESMM模型输出的值有以下几项:

  • "logits_" / "probs_" + ctr_tower的tower_name
  • "logits_" / "probs_" / "y_" + cvr_tower的tower_name
  • "probs_ctcvr" / "y_ctcvr"

ESMM模型的指标有以下几项:

  • 指标名 + "_" + ctr_tower 的 tower_name
  • 指标名 + "_" + cvr_tower 的 tower_name + "_masked"
  • 指标名 + "_ctcvr"

示例Config

ESMM_demo.config

参考论文

论文地址