预约成功
一、数据的质量检查方法——关注不同数据源在统计质量上的差异
不同的数据来源，因统计、管控、可共享程度等原因在数据粒度和数据质量的保障上都有天壤之别。根据数据来源的渠道主要可将它划分为：内部数据和外部数据，下面逐个介绍它们之间的特点和差异。
1. 内部数据源
业务数据：主要指后端研发主动存储的业务数据，一般是对公司运营非常核心的数据，如订单数据、用户信息等。这类数据的准确性一般是最高的，因为它往往关系到公司产品能否正常运转，统计的正确性也就至关重要;
埋点数据：通过埋点技术采集的用户访问数据，不论是自建埋点还是采用第三方埋点工具，因为埋点实施、统计上传机制等，都会造成埋点数据的准确性远不如业务数据;
数据仓库的数据：数据仓库数据它是由生产库数据经过一轮或者多轮次的数据转换，中间可能发生的异常情况比生产库的数据更多。诸如：无人维护、转换逻辑与理解不一致等。
对于业务数据、埋点数据、数据仓库数据三种类型的数据源我们检查的侧重点有所不同：
业务数据：业务数据的复杂度主要在于字段含义、表之间关联关系以及字段与业务的实际对应关系，主要检查的也是这三点;
埋点数据：埋点数据主要需要检查埋点是否与你所期望的业务事件匹配，包括埋点采集的是页面访问还是按钮点击、埋点采集时机等;
数据仓库数据：主要了解其中业务指标统计逻辑、计算转换逻辑、脚本更新机制等。
2. 外部数据源
用户调研数据：通过市场调研得到用户反馈数据，存在的风险主要在于市场调研人员的敷衍执行自行捏造数据以及被调研对象自身对自身判断的错误;
行业发展数据：通过百度指数、微信指数、阿里指数或者其它行业观察机构统计的数据来观察行业发展情况的数据;
合作方数据：合作方提供的数据，不同公司之间在指标定义和统计规范上都可能有明显差异，需要重点关注。此外，两家公司之间的用户匹配也是一大难点，需要被重点关注。
外部数据源的数据粒度一般较粗糙，数据质量上也比较难以保证，需要做更多的观察和验证。我们可实施的检查措施也相对较少，只能在使用保持更高的警惕性，慎之又慎才能更多地规避错误。
二、数据的质量检查方法——关注取数过程，检查取数代码
我们通过各种方法获取数据，SQL 查询是数据类工作人员最常见的取数方式。SQL 语句的出错将导致得到的数据集出错，以下是进行 SQL 检查时需要被重点关注的点：
关注 join 处理的逻辑关系，包括采用的 SQL 连接方式 inner、left 还是 outer、两张表之间数据对应关系是 1:1、1:n 还是n:m 等;
关注 SQL 细节，包括是否采用 distinct 去重、采用 case 语句划分类别时的分类区间边界、group by 进行数据聚合的指标粒度是否正确;
多版本代码检查时关注选择条件，对于 SQL 复用的场景，我们要重点关注数据选择条件的更新替换是否完全;
聚合处理时，最好结合 if 条件排除极端值、异常值。
三、数据的质量检查方法——关注处理数据集的空值和异常值
在对数据集是否正确的检查中，最容易发现需要被处理的情况就是 空值和异常值 。空值出现在数据集中往往一眼便能识别;异常值则需要一定经验性地判断，例如：数值特别夸张、文本特别长、不匹配的数据类型。在后续步骤的数据认知中，对指标进行统计汇总、分布观察等也能帮助识别异常值。
1. 空值处理
空值，如果在平时的汇总统计中可忽略则忽略，如果不可忽略则可采用以下方法来处理：
替换：使用平均值、众数进行替换或者使用最接近的数据替换它，需要仔细对比寻找该行数据的其它值是否相近;
推断：运用模型结合使用非空变量进行推断、预测计算得到这个空值，如：时间序列、回归模型等;
删除：实在无法处理的空值，而且你已经确定它会影响到后续的计算、分析，那么你可以考虑将该行记录删除。如果不确定是否会影响，可考虑暂不处理。
2. 异常值处理
初步观察寻找异常值：
在 Excel 中可以通过筛选功能或去除重复值对数据列进行观察;
在 SQL 中可以通过 distinct 进行去重观察;
在 Python 中，可以通过 pandas.drop_duplicates() 等方式进行去重观察。
垃圾数据或者异常值能采取的处理手段较少，当数据记录占比较大，我们首先应去寻找造成数据异常的原因，尝试从源头解决它;当数据记录占比不多时，我们可以采取直接删除的方式。
以上就是有关于数据的质量检查方法的相关内容，以及相应的解析，不论你是已经入职数据分析师岗位的新人，还是打算进入数据分析岗位的小白，以上的内容都或多或少会对大家有所帮助，环球网校的小编在这里祝大家的数据分析师职业道路顺利。
