自定义的两个函数
定义一个对每一个特征（每一列）进行进行处理的函数，返回数值落在在（μ-3σ,μ+3σ)之外的行索引。只要有一个特征落在范围之外，则这一条样本被删除。
def three_sigma(Ser1):
'''
Ser1：表示传入DataFrame的某一列。
'''
rule = (Ser1.mean()-3*Ser1.std()>Ser1) | (Ser1.mean()+3*Ser1.std()< Ser1)
index = np.arange(Ser1.shape[0])[rule]
return index #返回落在3sigma之外的行索引值
对DataFrame的每一列分别调用three_sigma函数，删除有特征值落在（μ-3σ,μ+3σ)之外的所有样本。
def delete_out3sigma(data):
'''
data：待检测的DataFrame
'''
out_index = [] #保存要删除的行索引
for i in range(data.shape[1]): # 对每一列分别用3sigma原则处理
index = three_sigma(data.iloc[:,i])
out_index += index.tolist()
delete_ = list(set(out_index))
print('所删除的行索引为：',delete_)
data.drop(delete_,inplace=True)
return data
异常值清洗
把超出3σ之外的值替换为空值，然后再填补
def three_sigma_to_nan(data):
'''
把每一列中超出 3 sigma 的值,赋值为 np.nan
:param data: dataframe
:return:
'''
for i in range(data.shape[1]): # 对每一列分别用3sigma原则处理
Ser1 = data.iloc[:,i]
rule = (Ser1.mean()-3*Ser1.std()>Ser1) | (Ser1.mean()+3*Ser1.std()< Ser1)
rule = np.array(rule)
data.iloc[rule,i] = np.nan
return data
def my_fillna(df):
'''
针对每一列，用插值的方法进行缺失值填补
:param df: 含有缺失值的df
:return:
'''
for col in df.columns:
raw_series = df[col]
if raw_series.isnull().sum()>0: #含有缺失值
filled_series = raw_series.interpolate(limit_direction='both',kind='quadratic')
df[col] = filled_series
return df
测试
df = pd.DataFrame({
'a':[1,np.nan,3,np.nan,np.nan,6],
'b':[4,5,np.nan,np.nan,8,9],
'c':[np.nan,2,4,np.nan,8,np.nan]})
print(df)
filled_df = my_fillna(df)
print(filled_df)
# 结果
''' a b c 0 1.0 4.0 NaN 1 NaN 5.0 2.0 2 3.0 NaN 4.0 3 NaN NaN NaN 4 NaN 8.0 8.0 5 6.0 9.0 NaN a b c 0 1.0 4.0 2.0 1 2.0 5.0 2.0 2 3.0 6.0 4.0 3 4.0 7.0 6.0 4 5.0 8.0 8.0 5 6.0 9.0 8.0 '''
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/bian-cheng-ji-chu/106398.html