导航
  • 报考
  • 备考
  • 政策

报考

备考

复习资料

政策

行业动态

数据分析师课|新公布的4个数据预处理标准化方法,这些内容你真的很清楚吗

环球网校·2020-04-13 10:23:46浏览186 收藏55

请输入下面的图形验证码

提交验证

预约成功

我知道了
摘要 在茫茫的数据发展长河中,人们慢慢掌握了数据处理的方法,其中重要的处理方法之一就是对数据的分析,所以出现了数据分析师这一处理数据的职业,有很多刚入职成为数据分析师的新人都会有数据分析的问题,今天就来讲讲数据预处理标准化方法。

在数据预处理阶段,特征的标准化有哪些方法?

特征标准化(Feature Standardization)的作用是将样本数据中的每一列特征缩放到一个统一的尺度。方法有很多种,我列几个最常用的。

1、数据预处理标准化方法——最大值最小值标准化

xx是原始数值,x′x′是标准化之后的数值。标准化之后,该列所有的数都将会在[0,1][0,1]之间。当然我们可以稍作调整,把数据缩放到[−1,1][−1,1]的尺度上。

其中,注意以上提到的最大值、最小值,都是指该列的最大值、最小值。

2、数据预处理标准化方法——正态标准化

其中μμ和σσ分别是这列数据的均值和标准差。这个过程就和把一个正态分布标准化的过程是一样的,所以也称作正态标准化(Normalization)。根据正态分布的3σ3σ-原则,我们可以预计,在正态标准化之后,比较接近正态分布的数据在标准化后基本上都会在[−3,3][−3,3]之间。

3、数据预处理标准化方法——分位数标准化

其中IQRIQR是四分位距,也就是第三四分位(3rd quartile)和第一四分位(1st quartile)的差,Median是这一列的中位数。分位数标准化后的数据尺度和数据本身的分散程度相关,但是通常也是在[−3,3][−3,3]的范围内。

4、数据预处理标准化方法——范数标准化

XX是这一列所有的数,∥X∥∥X∥是这一列的范数,可以取1-范数,也可以取2-范数。对特征进行范数标准化之后,这列所有的数值都会是在[0,1][0,1]之间。

以上就是有关于数据预处理标准化方法的相关内容,以及相应的解析,不论你是已经入职数据分析师岗位的新人,还是打算进入数据分析岗位的小白,以上的内容都或多或少会对大家有所帮助,环球网校的小编在这里祝大家的数据分析师职业道路顺利。

资料下载
历年真题
精选课程
老师直播

注册电脑版

版权所有©环球网校All Rights Reserved