数据预处理与特征工程

发表于 更新于 分类于

​ 前些天我把python的处理图像的库——opencv总结了一下，但这终究是传统方法处理图像。现在都是用深度学习网络处理图像。所以，在学深度学习之前，我看了些机器学习的知识。但在看机器学习的算法前，我们先来看看特征工程。

sklearn中的数据堪称完美，各大教材的数据也是一样。但是到我们现实应用中时，发现模型调用效果差，这是因为现实中的数据离完美的数据集差十万八千里。所以数据预处理和特征工程是必要的。

sklearn中六大板块有两大板块是关于数据预处理和特征工程的：也就是黄色标识的两个模块

特征抽取

在机器学习中，大多数算法都只能处理数值型数据，不能处理文字。在sklearn当中，除了专用来处理文字的算法，其它的算法在fit的时候全部要求输入数组和矩阵，也不能导入文字型数据。然而在现实生活中，许多标签和特征在数据收集完毕后，都不是以数字来表现的。为了让数据适应算法，我们必须将数据进行编码，即将文字型数据转换为数值型。

preprocessing.LabelEncoder：标签专用，能够将分类转换为分类数值。这个没运行成功，好像是我的数据集有问题。我自己设了个数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from pandas import DataFrame,Series
from sklearn.preprocessing import LabelEncoder
import pandas as pd
data=DataFrame(data=[[-1,2],[-0.5,6],[0,18],[1,18]])
print(data)
y=data.iloc[:,-1]#要输入的是标签，所以容许一维数组
print(y)
le=LabelEncoder()
le.fit(y)       #导入数据，调取结果
label=le.transform(y)
#print(le.fit_transform(y))
print("调取结果是：",label)
print(le.classes_)     #查看标签中有多少类型
data.iloc[:,-1]=label
print(data)

preprocessing.OrdinalEncoder：特征专用，能够将分类特征转换为分类数值

字典特征抽取，把数据中的以字符串标记的数据转化为one-hot编码。

由上面代码可得下面的稀疏（sparse）矩阵：

将稀疏矩阵转为矩阵：

将矩阵转化为字典：

文本特征抽取：

和字典特征抽取不一样的是CountVectorizer没有sparse参数，只能通过矩阵的toarray转化为数组

可得：

注意：单个字母不统计。因为单个英文字母没有依据

如果文本是中文，根据需要的词频给文本添加空格。同样，单个字无法统计

利用jieba分词对数据进行one-hot编码：

TF-IDF特征抽取：用以评估一个词对于一个文件集或一个语料库中的其中一份文件的重要程度

数据预处理

数据归一化处理

通过对原始数据进行交换把数据映射到（默认为[0,1]）之间

归一化缺点：注意在特定场景最大值最小值是变化的。另外，最大值与最小值非常容易受异常点的影响，所以这种方法的鲁棒性差，只适合传统精确小数据场景。

数据标准化处理

通过对原始数据进行变换把数据变换到均值为0，方差为1的范围。

标准化总结：在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景。

除了StandardScaler和MinMaxScaler之外，sklearn也提供了各种其他的缩放处理：

缺失值处理方法

老版本用Imputer，新版本用SimpleImputer

删除：如果每列或者行数据缺失值达到一定比例时，建议放弃整行或者整列

插补：可以通过缺失值每行或者每列的平均值、中位数来填充

Imputer：

SimpleImputer：

1
2
3
4
5
6
7
8
9
10
11
import pandas as pd
from sklearn.preprocessing import LabelEncoder
from sklearn.impute import SimpleImputer
data=pd.read_csv("train.csv",index_col=0)
#打印行数，列数，列索引，列非空值个数，列类型，内存占用
print(data.info())
Age = data.loc[:,"Age"].values.reshape(-1,1)         #sklearn当中特征矩阵必须是二维
imp_mean = SimpleImputer()                          #实例化，默认均值填补
imp_mean = imp_mean.fit_transform(Age)             #fit_transform一步完成调取结果
data.loc[:,"Age"]=imp_mean                             #使用中位数填补Age
print(data["Age"])

处理连续型特征

二值化和分段

sklearn.preprocessing.Binarizer

根据阈值将数据二值化(将特征值设置为0或1)，用于处理连续型变量。大于阈值的值映射为1，而小于或等于阈值的值映射为0。默认阈值为0时，特征中所有的正值都映射为1。

1
2
3
4
from sklearn.preprocessing import Binarizer
Age=data.loc[:,"Age"].values.reshape(-1,1)
Bin=Binarizer(threshold=30).fit_transform(Age)
print(Bin)

sklearn.preprocessing.KBinsDiscretizer

这是将连续变量划分为分类变量的类，能够将连续型变量排序后按顺序分箱后编码。三个重要参数：

1
2
3
4
5
6
7
8
from sklearn.preprocessing import KBinsDiscretizer
x=data.loc[:,"Age"].values.reshape(-1,1)
est = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='uniform')
est.fit_transform(x)
#查看转换后分的箱:变成了一列中的三箱 set(est.fit_transform(X).ravel())    ravel降维
est = KBinsDiscretizer(n_bins=3, encode='onehot', strategy='uniform') #查看转换后分的箱变成了哑变量
result=est.fit_transform(x).toarray()
print(result)

特征工程

当数据预处理完成后，我们就要开始进行特征工程了

我们有四种方法可以用来选择特征：过滤法，嵌入法，包装法，和降维算法。

过滤法

方差过滤

这是通过特征本身的方差来筛选特征的类。比如一个特征本身的方差很小，就表示样本在这个特征上基本没有差异，可能特征中的大多数值都一样，甚至整个特征的取值都相同，那这个特征对于样本区分没有什么作用。所以无论接下来的特征工程要做什么，都要优先消除方差为0的特征。VarianceThreshold有重要参数threshold，表示方差的阈值，表示舍弃所有方差小于threshold的特征，不填默认为0，即删除所有的记录都相同的特征。 

1
2
3
4
5
6
7
8
9
10
from sklearn.feature_selection import VarianceThreshold
import pandas as pd
data = pd.read_csv("digit recognizor.csv")
X = data.iloc[:,1:]
y = data.iloc[:,0]
print(X.shape)
selector = VarianceThreshold() #实例化，不填参数默认方差为0
X_var0 = selector.fit_transform(X) #获取删除不合格特征之后的新特征矩阵
#也可以直接写成 X = VairanceThreshold().fit_transform(X)
print(X_var0.shape)

可以看见，我们已经删除了方差为0的特征，但是依然剩下了708多个特征，明显还需要进一步的特征选择。然而，如果我们知道我们需要多少个特征，方差也可以帮助我们将特征选择一步到位。比如说，我们希望留下一半的特征，那可以设定一个让特征总数减半的方差阈值，只要找到特征方差的中位数，再将这个中位数作为参数threshold的值输入就好了： 

1
2
3
4
5
6
7
8
9
from sklearn.feature_selection import VarianceThreshold
import pandas as pd
data = pd.read_csv("digit recognizor.csv")
X = data.iloc[:,1:]
y = data.iloc[:,0]
import numpy as np
X_fsvar = VarianceThreshold(np.median(X.var().values)).fit_transform(X)
np.median(X.var().values)
print(X_fsvar.shape)

当特征是二分类时，特征的取值就是伯努利随机变量，这些变量的方差可以计算为：

其中X是特征矩阵，p是二分类特征中的一类在这个特征中所占的概率。 

1
2
3
4
5
6
7
8
from sklearn.feature_selection import VarianceThreshold
import pandas as pd
data = pd.read_csv("digit recognizor.csv")
X = data.iloc[:,1:]
y = data.iloc[:,0]
#若特征是伯努利随机变量，假设p=0.8，即二分类特征中某种分类占到80%以上的时候删除特征
X_bvar = VarianceThreshold(.8 * (1 - .8)).fit_transform(X)
print(X_bvar.shape)

如果你用knn和随机森林对没过滤的数据和过滤后的数据进行交叉验证，会发现，随机森林的准确率略低于knn，但随机森林运行的速度比knn快很多。为什么随机森林运行如此之快？为什么方差过滤对随机森林没很大的有影响？这是由于两种算法的原理中涉及到的计算量不同。最近邻算法KNN，单棵决策树，支持向量机SVM，神经网络，回归算法，都需要遍历特征或升维来进行运算，所以他们本身的运算量就很大，需要的时间就很长，因此方差过滤这样的特征选择对他们来说就尤为重要。但对于不需要遍历特征的算法，比如随机森林，它随机选取特征进行分枝，本身运算就非常快速，因此特征选
择对它来说效果平平。这其实很容易理解，无论过滤法如何降低特征的数量，随机森林也只会选取固定数量的特征来建模；而最近邻算法就不同了，特征越少，距离计算的维度就越少，模型明显会随着特征的减少变得轻量。因此，过滤法的主要对象是：需要遍历特征或升维的算法们，而过滤法的主要目的是：在维持算法表现的前提下，帮助算法们降低计算成本。

对受影响的算法来说，我们可以将方差过滤的影响总结如下：

我们怎样知道，方差过滤掉的到底时噪音还是有效特征呢？过滤后模型到底会变好还是会变坏呢？答案是：每个数
据集不一样，只能自己去尝试。这里的方差阈值，其实相当于是一个超参数，要选定最优的超参数，我们可以画学
习曲线，找模型效果最好的点。

相关性过滤

方差挑选完毕之后，我们就要考虑下一个问题：相关性了。我们希望选出与标签相关且有意义的特征，因为这样的特征能够为我们提供大量信息。如果特征与标签无关，那只会白白浪费我们的计算内存，可能还会给模型带来噪音。在sklearn当中，我们有三种常用的方法来评判特征与标签之间的相关性：卡方，F检验，互信息。

卡方过滤

卡方过滤是专门针对离散型标签（即分类问题）的相关性过滤。卡方检验类feature_selection.chi2计算每个非负特征和标签之间的卡方统计量，并依照卡方统计量由高到低为特征排名。再结合feature_selection.SelectKBest这个可以输入”评分标准“来选出前K个分数最高的特征的类，我们可以借此除去最可能独立于标签，与我们分类目的无关的特征。 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.model_selection import cross_val_score
from sklearn.feature_selection import VarianceThreshold
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
import pandas as pd
data=pd.read_csv("digit recognizor.csv")
X = data.iloc[:,1:]
y = data.iloc[:,0]
import numpy as np
X_fsvar = VarianceThreshold(np.median(X.var().values)).fit_transform(X)
#假设在这里我一直我需要300个特征
X_fschi = SelectKBest(chi2, k=300).fit_transform(X_fsvar, y)
print(X_fschi.shape)
print(cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,y,cv=5).mean())

可以看出，模型的效果降低了，这说明我们在设定k=300的时候删除了与模型相关且有效的特征，我们的K值设置得太小，要么我们需要调整K值，要么我们必须放弃相关性过滤。当然，如果模型的表现提升，则说明我们的相关性过滤是有效的，是过滤掉了模型的噪音的，这时候我们就保留相关性过滤的结果。

1
2
3
4
5
6
7
8
9
#接上面的代码
import matplotlib.pyplot as plt
score = []
for i in range(200,390,10):
    X_fschi = SelectKBest(chi2, k=i).fit_transform(X_fsvar, y)
    once = cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,y,cv=5).mean()
    score.append(once)
plt.plot(range(200,390,10),score)
plt.show()

通过这条曲线，我们可以观察到，随着K值的不断增加，模型的表现不断上升，这说明，K越大越好，数据中所有的特征都是与标签相关的。但是运行这条曲线的时间同样也是非常地长。还有一种更好的k的方法：看p值选择k

卡方检验的本质是推测两组数据之间的差异，其检验的原假设是”两组数据是相互独立的”。卡方检验返回卡方值和P值两个统计量，其中卡方值很难界定有效的范围，而p值，我们一般使用0.01或0.05作为显著性水平，即p值判断的边界，具体我们可以这样来看：

调用SelectKBest之前，我们可以直接从chi2实例化后的模型中获得各个特征所对应的卡方值和P值。 

1
2
3
4
5
6
7
8
9
#接上面的代码
chivalue, pvalues_chi = chi2(X_fsvar,y)
#k取多少？我们想要消除所有p值大于设定值，比如0.05或0.01的特征
#pvalues_chi就是p值
print(pvalues_chi)#从此看出所有特征的p值为0
k = chivalue.shape[0] - (pvalues_chi > 0.05).sum()
print(k)
X_fschi = SelectKBest(chi2, k=k).fit_transform(X_fsvar, y)
print((cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,y,cv=5).mean()))

可以观察到，所有特征的p值都是0，这说明对于digit recognizor这个数据集来说，方差验证已经把所有和标签无关的特征都剔除了，或者这个数据集本身就不含与标签无关的特征。在这种情况下，舍弃任何一个特征，都会舍弃对模型有用的信息，而使模型表现下降，因此在我们对计算速度感到满意时，我们不需要使用相关性过滤来过滤我们的数据。

F检验

F检验，又称ANOVA，方差齐性检验，是用来捕捉每个特征与标签之间的线性关系的过滤方法。它即可以做回归也可以做分类，因此包含feature_selection.f_classif（F检验分类）和feature_selection.f_regression（F检验回归）两个类。其中F检验分类用于标签是离散型变量的数据，而F检验回归用于标签是连续型变量的数据。和卡方检验一样，这两个类需要和类SelectKBest连用，并且我们也可以直接通过输出的统计量来判断我们到底要设置一个什么样的K。需要注意的是，F检验在数据服从正态分布时效果会非常稳定，因此如果使用F检验过滤，我们会先将数据转换成服从正态分布的方式。

F检验的本质是寻找两组数据之间的线性关系，其原假设是”数据不存在显著的线性关系“。它返回F值和p值两个统计量。和卡方过滤一样，我们希望选取p值小于0.05或0.01的特征，这些特征与标签时显著线性相关的，而p值大于0.05或0.01的特征则被我们认为是和标签没有显著线性关系的特征，应该被删除。

1
2
3
4
5
6
7
#接上面的代码
from sklearn.feature_selection import f_classif
F, pvalues_f = f_classif(X_fsvar,y)
k = F.shape[0] - (pvalues_f > 0.05).sum()
print(k)
X_fsF = SelectKBest(f_classif, k=k).fit_transform(X_fsvar, y)
print(cross_val_score(RFC(n_estimators=10,random_state=0),X_fsF,y,cv=5).mean())

得到的结论和我们用卡方过滤得到的结论一模一样：没有任何特征的p值大于0.01，所有的特征都是和标签相关的，因此我们不需要相关性过滤。

互信息法

互信息法是用来捕捉每个特征与标签之间的任意关系（包括线性和非线性关系）的过滤方法。和F检验相似，它既可以做回归也可以做分类，并且包含两个类feature_selection.mutual_info_classif（互信息分类）和
feature_selection.mutual_info_regression（互信息回归）。这两个类的用法和参数都和F检验一模一样，不过互信息法比F检验更加强大，F检验只能够找出线性关系，而互信息法可以找出任意关系。互信息法不返回p值或F值类似的统计量，它返回“每个特征与目标之间的互信息量的估计”，这个估计量在[0,1]之间取值，为0则表示两个变量独立，为1则表示两个变量完全相关。

所有特征的互信息量估计都大于0，因此所有特征都与标签相关。

Embedder嵌入法

嵌入法是一种让算法自己决定使用哪些特征的方法，即特征选择和算法训练同时进行。在使用嵌入法时，我们先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据权值系数从大到小选择特征。这些权值系数往往代表了特征对于模型的某种贡献或某种重要性。我们就可以基于这种贡献的评估，找出对模型建立最有用的特征。。因此相比于过滤法，嵌入法的结果会更加精确到模型的效用本身，对于提高模型效力有更好的效果。并且，由于考虑特征对模型的贡献，因此无关的特征（需要相关性过滤的特征）和无区分度的特征（需要方差过滤的特征）都会因为缺乏对模型的贡献而被删除掉，可谓是过滤法的进化版。

SelectFromModel是一个元变换器，可以与任何在拟合后具有coef_，feature_importances_属性或参数中可选惩罚项的评估器一起使用（比如随机森林和树模型就具有属性feature_importances_，逻辑回归就带有l1和l2惩罚项，线性支持向量机也支持l2惩罚项） 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
from sklearn.model_selection import cross_val_score
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
data=pd.read_csv("digit recognizor.csv")
X = data.iloc[:,1:]
y = data.iloc[:,0]
from sklearn.feature_selection import SelectFromModel
from sklearn.ensemble import RandomForestClassifier as RFC
RFC_ = RFC(n_estimators =10,random_state=0)
X_embedded = SelectFromModel(RFC_,threshold=0.005).fit_transform(X,y)
threshold = np.linspace(0,(RFC_.fit(X,y).feature_importances_).max(),20)
score = []
for i in threshold:
    X_embedded = SelectFromModel(RFC_,threshold=i).fit_transform(X,y)
    once = cross_val_score(RFC_,X_embedded,y,cv=5).mean()
    score.append(once)
plt.plot(threshold,score)
plt.show()

从图像上来看，随着阈值越来越高，模型的效果逐渐变差，被删除的特征越来越多，信息损失也逐渐变大。

1
2
3
4
5
6
7
8
9
10
#细化学习曲线
score2 = []
for i in np.linspace(0,0.002,20):
    X_embedded = SelectFromModel(RFC_,threshold=i).fit_transform(X,y)
    once = cross_val_score(RFC_,X_embedded,y,cv=5).mean()
    score2.append(once)
plt.figure(figsize=[20,5])
plt.plot(np.linspace(0,0.002,20),score2)
plt.xticks(np.linspace(0,0.002,20))
plt.show()

wrapper包装法

包装法也是一个特征选择和算法训练同时进行的方法，与嵌入法十分相似，它也是依赖于算法自身的选择，比如coef_属性或feature_importances_属性来完成特征选择。但不同的是，我们往往使用一个目标函数作为黑盒来帮助我们选取特征，而不是自己输入某个评估指标或统计量的阈值。包装法在初始特征集上训练评估器，并且通过coef_属性或通过feature_importances_属性获得每个特征的重要性。 区别于过滤法和嵌入法的一次是过滤法和嵌入法训练解决所有问题，包装法要使用特征子集进行多次训练，因此它所需要的计算成本是最高的。

参数estimator是需要填写的实例化后的评估器，n_features_to_select是想要选择的特征个数，step表示每次迭代中希望移除的特征个数。除此之外，RFE类有两个很重要的属性，.support_：返回所有的特征的是否最后被选中的布尔矩阵，以及.ranking_返回特征的按数次迭代中综合重要性的排名。类feature_selection.RFECV会在交叉验证循环中执行RFE以找到最佳数量的特征，增加参数cv，其他用法都和RFE一模一样。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
from sklearn.model_selection import cross_val_score
import pandas as pd
import matplotlib.pyplot as plt
data=pd.read_csv("digit recognizor.csv")
X = data.iloc[:,1:]
y = data.iloc[:,0]
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.feature_selection import RFE
RFC_ = RFC(n_estimators =10,random_state=0)
selector = RFE(RFC_, n_features_to_select=340, step=50).fit(X, y)
print("返回所有的特征的最后被选中的布尔矩阵个数：",selector.support_.sum())
print("返回特征的按数次迭代中综合重要性的排名：",selector.ranking_)
X_wrapper = selector.transform(X)
print(cross_val_score(RFC_,X_wrapper,y,cv=5).mean())
score = []
for i in range(1,751,50):
    X_wrapper = RFE(RFC_,n_features_to_select=i, step=50).fit_transform(X,y)
    once = cross_val_score(RFC_,X_wrapper,y,cv=5).mean()
    score.append(once)
plt.figure(figsize=[20,5])
plt.plot(range(1,751,50),score)
plt.xticks(range(1,751,50))
plt.show()

特征选择总结

至此，我们讲完了降维之外的所有特征选择的方法。这些方法的代码都不难，但是每种方法的原理都不同，并且都涉及到不同调整方法的超参数。经验来说，过滤法更快速，但更粗糙。包装法和嵌入法更精确，比较适合具体到算法去调整，但计算量比较大，运行时间长。当数据量很大的时候，优先使用方差过滤和互信息法调整，再上其他特征选择方法。使用逻辑回归时，优先使用嵌入法。使用支持向量机时，优先使用包装法。迷茫的时候，从过滤法走起，看具体数据具体分析。

----本文结束，感谢您的阅读。如有错，请指正。----
大哥大嫂过年好！支持我一下呗
0%