Uplift modeling for clinical trial data 论文阅读

原文地址：Uplift modeling for clinical trial data

这篇文章主要提出了一种用one-mode就可以计算出样本uplift值的方法，并在此基础上提出了一种用来提升one-model准确度的半监督方法。

论文中的符号标记

• $X_1,\dots ,X_m\in \mathbb{R}$ ：单个样本中m个特征
• Y ∈ { 0 , 1 } Y \in\{0,1\} Y∈{
  0,1} ： outcome 即 label的值，比如优惠券问题中是否购买行为
• G ∈ { T , C } G \in\{T, C\} G∈{
  T,C} ：样本所属group, treatment 和 control组，样本被分到T组合C组的概率简写为$P^T$ 和$P^C$
• $D^T$ and $D^C$ ： T组样本和C组样本
• ${\mathbf{d}}_i^T=\left({\mathbf{x}}_i^T,y_i^T\right)$ :T组中的第i个样本(C组类推）
• $M^T$ and $M^C$： 分别通过T组样本和C组样本训练出来分类模型(two-model)
• $M^U$: 用T组和C组样本训练出来的uplift-model(one-model)
• 论文中提到的one-model 一般指使用标签转化的uplift-model
• 论文中提到的two-model 一般指使用两个分类器的two-model

另外需要注意的是，对于模型的预测值Y

• two-model中的分类器，预测值为[0,1] ,两个分类器的diff为[-1,1]
• one-model的预测值为[-1,1]

two-model下uplift值计算

uplift的理论计算值如下：
$$\begin{array}{c}P\left(Y=1\mid X_1,\dots ,X_m,G=T\right)-P\left(Y=1\mid X_1,\dots ,X_m,G=C\right)\\ =P^T\left(Y=1\mid X_1,\dots ,X_m\right)-P^C\left(Y=1\mid X_1,\dots ,X_m\right)\end{array}（1）$$
但是在实际情况中，一个样本只可能命中一种行为，所以在two-model的方法中，分别基于特征$X_1,\dots ,X_m$在T组和C组上训练分类器$M^T$ and $M^C$， 对于某个样本，分别用两个分类器去预测该样本分到被T和被C时label的值，二者diff作为其lift值，数学表达式如下：

$$\begin{array}{rl}{M}^U\left(X_1,\dots ,X_m\right)& =M^T\left(X_1,\dots ,X_m\right)-M^C\left(X_1,\dots ,X_m\right)（2）\end{array}$$
虽然two-model的方法适合于各种分类器模型，但是这种方法更关注与预测T组和C组各自的分类准确度，而不是lift值。

class variable transformation method （标签转化法）

为了解决这two-model不能直接预测lift值的问题，论文提出了一种基于类别转化的one-model的方法。
这一部分主要介绍one-model方法的理论依据
首先定义了新的类别 Z ∈ { 0 , 1 } Z \in\{0,1\} Z∈{
0,1}：
$$Z=\{\begin{array}{ll}1& \text{ if }G=T\text{ and }Y=1\\ 1& \text{ if }G=C\text{ and }Y=0\\ 0& \text{ otherwise. }\end{array}(3)$$
即在T组并且Y=1或者在C组Y=0的样本，$Z=1$,其他情况Y=0，如果用$Z$当做新的label，那么基于T组合C组组合成的数据，可以训练一个用于预测$Z$模型，则$Z$的条件概率如下
$$\begin{array}{l}P\left(Z=1\mid X_1,\dots ,X_m\right)\\ =P\left(Z=1\mid X_1,\dots ,X_m,G=T\right)P\left(G=T\mid X_1,\dots ,X_m\right)+P\left(Z=1\mid X_1,\dots ,X_m,G=C\right)P\left(G=C\mid X_1,\dots ,X_m\right)\\ =P\left(Y=1\mid X_1,\dots ,X_m,G=T\right)P\left(G=T\mid X_1,\dots ,X_m\right)+P\left(Y=0\mid X_1,\dots ,X_m,G=C\right)P\left(G=C\mid X_1,\dots ,X_m\right)(4)\end{array}$$
因为 G ∈ { T , C } G \in\{T, C\} G∈{
T,C} 是独立于特征变量 $X_1,\dots ,X_m\in \mathbb{R}$ 的，所以
$$P\left(G\mid X_1,\dots ,X_m\right)=P(G)$$
所以可将（4）式改写为
$$\begin{array}{rl}P(Z=& 1\mid X_1,\dots ,X_m)\\ & =P^T\left(Y=1\mid X_1,\dots ,X_m\right)P(G=T)+P^C\left(Y=0\mid X_1,\dots ,X_m\right)P(G=C)(5)\end{array}$$
假设样本分到T和C组的概率是相等的，即$P(G=T)=P(G=C)=\frac{1}{2}$， 可以将（5）式改写为
$$\begin{array}{l}2P\left(Z=1\mid X_1,\dots ,X_m\right)\\ =P^T\left(Y=1\mid X_1,\dots ,X_m\right)+P^C\left(Y=0\mid X_1,\dots ,X_m\right)\\ =P^T\left(Y=1\mid X_1,\dots ,X_m\right)+1-P^C\left(Y=1\mid X_1,\dots ,X_m\right)\end{array}$$
即
$$\begin{array}{c}{P}^T\left(Y=1\mid X_1,\dots ,X_m\right)-P^C\left(Y=1\mid X_1,\dots ,X_m\right)\\ =2P\left(Z=1\mid X_1,\dots ,X_m\right)-1（6）\end{array}$$
可以看到（6）式左边即为（1）式（uplift的理论计算值），优化模型去预测$Z$即优化模型去预测样本的lift值。
到此，论文用很完美的理论解决了two-model没法直接预测lift值的问题。

注意这里有个很强的假设，数据集中T组和C组数量占比为1:1，在实际情况中可通过采样实现。

半监督的模型优化迭代

虽然one-model可以直接预测lift值，但是two-model在一些任务上的表现也非常好。这一部分主要提出了一种半监督的方法，通过two-model和one-model互相为彼此的数据集添加新的样本，使得各自的模型训练的更好。

算法输入：T组数据$D^T$ 和 C组数据$D^C$
算法输出: uplift model $M^U$
step1~2: 对数据进行复制和标记，原始数据只有两类$D^T$ 和 $D^C$。 $D_c^T$ 和$D_c^C$表示用于two-model（即classifier)的T组数据和C组数据，$D_u^T$ 和 $D_u^C$表示用于one-model(即uplift model)的T组合C组数据。
$D_c^T$ 和$D_c^C$ 分别用于two-model的两个分类器训练使用，而$D_u^T$ 和 $D_u^C$一起用于uplift-model训练使用。
repeat:
step4:用$D_u^T$ 和 $D_u^C$训练uplift-model，基于标签转换法
setp5:用$D_c^T$训练two-model中的一个分类器，$M^T$
step6:用$D_c^C$训练two-model中的另外一个分类器，$M^C$
step7:将${\mathbf{x}}_c^C\in D_c^C$中的数据添加treatment标记，转化为对应的uplift-model中的样本，并用uplift-model去预测该样本，得到label $y_{\mathrm{c}}^T$
step8: 与step7相似，用uplift-model预测的是$D_c^T$中添加control标记的样本
step11~12: 将通过$M^U$预测$D_c^C$得到的新样本加入到 $D_c^T$中，反之亦然。（哪些样本应该加入见下文补充1）
step9: 用$M^T$对uplift-model中的C组数据${\mathbf{x}}_u^C$进行预测得到label $y_u^T$，step10也一样
step13~14：样本融合，与step11-12类似（哪些样本应该加入见下文补充1）
重复step 4~14直到收敛

通过step7、9、11、12 完成了uplift-model干预下的two-model各自classifier的样本重构
通过step9、10、13、14完成了two-model干预下的uplift-model的样本重构。

补充1

在step11、12中需要决定$M^U$预测的样本，哪些需要被选出来加入到two-model的T和C组的数据中，这里选择模型比较确信的样本，对于$M^U$而言就是预测值接近1和-1的样本，即有如下筛选法：
$$\begin{array}{l}{\mathbf{x}}_c^C=\underset{{\mathbf{x}}_c^C\in D^C}{\mathrm{argmax}}\left|M^U\left({\mathbf{x}}_c^C\right)\right|(选择样本)\\ y_c^T=\{\begin{array}{ll}1& \text{ if }{M}^U\left({\mathbf{x}}_c^C\right)>0\\ 0& \text{ otherwise. }\end{array}(打标)\end{array}$$

而对于two-model 的classifier $M^T、M^C$而言，就是模型预测接近0和1的样本，即有如下筛选法
$$\begin{array}{l}{\mathbf{x}}_u^C=\underset{{\mathbf{x}}_u^C\in D^C}{\mathrm{argmax}}\max \left\{M^T\left({\mathbf{x}}_u^C\right),1-M^T\left({\mathbf{x}}_u^C\right)\right\}(选择样本)\\ y_u^T=\{\begin{array}{ll}1& \text{ if }{M}^T\left({\mathbf{x}}_u^C\right)>\frac{1}{2}\\ 0& \text{ otherwise }\end{array}(打标)\end{array}$$
在该算法中，模型与数据相互相互干预情况如下图所示,不同颜色的线表示模型预测的数据的情况和数据转移的情况。two-model和one-model都会从对方的T和C组数据中取一些加入对方的T和C组，利用对立的模型调整自身的数据，即从不同的视角进行优化。
这样，通过该算法，让two-model和one-model的T组和C组数据不断丰富，同时也让$M^U、M^T、M^C$三个模型也训练的更好。

今天的文章Uplift modeling for clinical trial data 论文阅读分享到此就结束了，感谢您的阅读，如果确实帮到您，您可以动动手指转发给其他人。