导航
  • 报考
  • 备考
  • 政策

报考

备考

复习资料

政策

行业动态

数据分析师课|什么是数据源的数据同步?看完这篇你就懂了

环球网校·2019-12-12 11:05:54浏览80 收藏40

请输入下面的图形验证码

提交验证

预约成功

我知道了
摘要 在茫茫的数据发展长河中,人们慢慢掌握了数据处理的方法,其中重要的处理方法之一就是对数据的分析,所以出现了数据分析师这一处理数据的职业,有很多刚入职成为数据分析师的新人都会有数据分析的问题,今天就来讲讲数据源的数据同步的问题。

1、数据源的数据同步——直接数据源同步:

是指直接的连接业务数据库,通过规范的接口(如JDBC)去读取目标数据库的数据。这种方式比较容易实现,但是如果业务量比较大的数据源,可能会对性能有所影响。

2、数据源的数据同步——生成数据文件同步:

是指从数据源系统现生成数据文件,然后通过文件系统同步到目标数据库里。

这种方式适合数据源比较分散的场景,在数据文件传输前后必须做校验,同时还需要适当进行文件的压缩和加密,以提高效率、保障安全。

3、数据源的数据同步——数据库日志同步:

是指基于源数据库的日志文件进行同步。现在大多数数据库都支持生成数据日志文件,并且支持用数据日志文件来恢复数据。因此可以使用这个数据日志文件来进行增量同步。

这种方式对系统性能影响较小,同步效率也较高。

数据采集本身不是目的,只有采集到的数据是可用、能用,且能服务于最终应用分析的数据采集才是根本。

以上就是有关于数据源的数据同步的相关内容,以及相应的解析,不论你是已经入职数据分析师岗位的新人,还是打算进入数据分析岗位的小白,以上的内容都或多或少会对大家有所帮助,环球网校的小编在这里祝大家的数据分析师职业道路顺利。

资料下载
历年真题
精选课程
老师直播

注册电脑版

版权所有©环球网校All Rights Reserved