预约成功
在检查数据集是否正确时,很容易发现需要处理的是空值和异常值。当数据集中出现空值时,可以一目了然地识别出来;当出现异常值时,需要根据经验判断,例如,数据类型的值过大、文本过长和不匹配。在接下来的数据认知步骤中,对指标进行统计汇总和分布观察,也有助于识别异常值。
一、数据分析的数值处理是什么——空值处理
空值。如果在常规摘要统计中可以忽略它,则可以忽略它。如果不能忽略,可以使用以下方法:
替换:使用平均值或模式替换它,或使用最接近的数据替换它。您需要仔细比较并找出此行中数据的其他值是否相似;
推断:利用模型与非空变量相结合,对空值进行推断、预测和计算,如:时间序列、回归模型等;
删除:为空值,不可处理,已确定影响后续计算分析,可考虑删除该行记录。如果你不确定它是否会影响你,你可以考虑暂时不处理它。
二、数据分析的数值处理是什么——异常值的处理
初步观察发现异常值:
在Excel中,可以通过过滤函数或删除重复值来观察数据列;
在SQL中,可以使用distinct来消除重复观测;
在Python中,您可以熊猫.drop复制()和其他方法。
垃圾数据或异常值可以用较少的方法处理。当数据记录占很大比重时,首先要找出数据异常的原因,并从源头上加以解决。当数据记录所占比例很小时,可以直接删除。
以上就是《数据分析的数值处理是什么?这些处理方法才是数据分析师的基础》的全部内容,从文字中我们可以看到,在检查数据集是否正确时,很容易发现需要处理的是空值和异常值。当数据集中出现空值时,可以一目了然地识别出来。如果你想学习更多数据分析知识,可以点击下方资料下载链接。