孤立森林模型_孤立森林和随机森林的区别

1.基本原理篇

• 直觉上：我们递归构建随机划分树，所有实例均被划分即构建完毕；异常值，比较早的被划分，在树中路径长度比较短。论文中，提到了一个测试，如下图

    从高斯分布中随机生成135个点，上图中正常点xi需要12次随机的划分，而异常的点x0只需要4次划分。

    树的数量与xi,x0两个点平均划分长度的关系，可以看到随着树的增加，正常点和异常点的划分路径长度更加稳定

• isolation tree：T 是一个外节点(没有child) 或者是一个内部节点，包含测试和两个子节点；测试包含两个属性q和p，其中q表示具体某个维度的值，p表示对该维度切分的阈值，min(q) < p < max(q)

• 二叉树：内部节点有n-1个，那么外部节点就有n个，总节点数有2n-1个

红色表示内部节点，蓝色表示外部节点，满足 外部节点数-内部节点数=1

线性增长

• path length：记为h(x) , x从树的根节点走到外节点的路径；下图中黄色节点ABCD均为外节点，h(D)=1,h(A)=3

• anomaly score:

c(n) 主要作用是对h(x)做归一化，否则随着n越大，树的深度一般越深; 因为itrees的结构跟binary search tree的结构是一样的，所以h(x) 平均路径的估计采用n次不成功的搜索的平均路径，具体值为

      H(i) 是调和级数，可以用ln(i)+0.577来估计

• 根据s(x,n)公式:
• 若E(h(x))->c(n); 那么 s(x,n)->0.5；说明数据集不一定有异常值
• 若E(h(x))->n-1,那么s(x,n)->0；说明x是正常的
• 若E(h(x))->0,那么s(x,n)->1；说明x的平均路径很短，那么x为异常的可能性非常高

2.特点

• 不需要大量正常的样本，值需要小样本就可以建模； 相反，大样本会减弱识别异常值的能力；paper中举了一个例子，基于Mulcross数据集，当用全量的数据4096个进行建模的时候，auc只为0.67；从中抽样128个，auc可以达到0.91，为什么呢？看下图，异常点的也非常聚集，密度高啊！

3.与其他经典算法的比较

• 从上表中发现，iforest在大部分的数据集中，auc表现比较好;
• 从上表中发现，iforest的运行速度更加高效；

4.效率分析

• 基于Http 和 ForestCover两份数据集，发现auc在小样本的时候就收敛了；在http这个集中，采样数为128 ，在forestcover数据集中，采样数为512的时候，auc就收敛了。后续随着样本数的增加，auc提升不明显了；

具体结果见下图

5.是否只用正常样本来做训练？

• paper中也做了一个试验，基于Http和ForestCover两份数据集，当训练样本中包含异常值的时候，测试集上的auc比 训练样本中不包含异常值的时候更高一些；

6.高维检测能力

• 高维的挑战在于，点在高维空间是非常稀疏的，距离度量通常是无效的
• paper中又做了一个测试，用Mammography和Annthyroid数据集，最多增加506个随机的服从01均匀分布的特征，作为模拟的噪声，整个数据集总共为512维（原始数据集是6维）；首先通过峰度系数来计算每个特征的值，进行排序。我们按照这个排序，不断增加特征，主要是观察增加1~506个特征情况下，iforest的异常检测能力；当增加的维度（增加了6维）接近原始数据集维度的时候，auc表现比较好；具体见下图

   点实线为auc，点虚线为运行时间，最上面的横虚线为iforest在原始数据集上（6维）的auc，效果比12维要好；

7.实现工具

reference：https://scikit-learn.org/dev/modules/generated/sklearn.ensemble.IsolationForest.html

8.实现demo

>>> from sklearn.ensemble import IsolationForest
>>> X = [[-1.1], [0.3], [0.5], [100]]
>>> clf = IsolationForest(random_state=0).fit(X)
>>> clf.predict([[0.1], [0], [90]])
array([ 1,  1, -1])

今天的文章孤立森林模型_孤立森林和随机森林的区别分享到此就结束了，感谢您的阅读。