🌠 『精品学习专栏导航帖』
- 🐳最适合入门的100个深度学习实战项目🐳
- 🐙【PyTorch深度学习项目实战100例目录】项目详解 + 数据集 + 完整源码🐙
- 🐶【机器学习入门项目10例目录】项目详解 + 数据集 + 完整源码🐶
- 🦜【机器学习项目实战10例目录】项目详解 + 数据集 + 完整源码🦜
- 🐌Java经典编程100例🐌
- 🦋Python经典编程100例🦋
- 🦄蓝桥杯历届真题题目+解析+代码+答案🦄
- 🐯【2023王道数据结构目录】课后算法设计题C、C++代码实现完整版大全🐯
文章目录
✌ 查看数据异常值
1、✌ 箱线图
✌ 下四分位数Q1：
数据的1/4位置，Qi所在位置=i（n+1）/4，其中i=1，2，3。n表示序列中包含的项数。
例如100个数据，Q1所在位置=（100+1）/ 4
Q1=0.25×Q1位置+0.75×（Q1位置+1）
✌ 中位数Q2：
Q2所在位置=2 *（100+1）/ 4
位于数据的中间位置
Q1=0.5×Q2位置+0.5×（Q2位置+1）
✌ 上四分位数Q3：
Q3所在位置=3 *（100+1）/ 4
Q3=0.75×Q3位置+0.25×（Q3位置+1）
位于数据的3/4位置
✌ 四分位距IQR：
IQR=Q3-Q1
✌ 下限：
下限是非异常范围内的最小值。
下限=Q1-1.5IQR
✌ 上限
上限是非异常范围内的最大值。
上限=Q3+1.5IQR
2、✌ 3σ原则
在正态分布中
σ代表标准差,μ代表均值，x=μ即为图像的对称轴
3σ原则为
数值分布在（μ-σ,μ+σ)中的概率为0.6826
数值分布在（μ-2σ,μ+2σ)中的概率为0.9544
数值分布在（μ-3σ,μ+3σ)中的概率为0.9974
可以认为，Y 的取值几乎全部集中在（μ-3σ,μ+3σ)]区间内，超出这个范围的可能性仅占不到0.3%。
所以可以利用该性质剔除异常值
3、✌ 代码测试
3.1 ✌ 导库
import pandas as pd
import numpy as np
3.2 ✌ 创建数据
x=np.random.randint(10,100,(100000,10))
x=pd.DataFrame(x)
rows=np.random.randint(1,100000,100)
cols=np.random.randint(0,10,100)
x.iloc[rows,cols]=1000
(x==99999999).sum()
3.3 ✌ 箱线图
x.boxplot()
3.4 ✌ 3σ原则
a=pd.DataFrame()
for i in x.columns:
z=(x[i]-x[i].mean())/x[i].std()
a[i]=abs(z)>3
a.sum()
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/bian-cheng-ji-chu/108293.html