数据分析师如何成为数据科学家？这个职业的未来超乎想象

1、数据分析师如何成为数据科学家——问题定义

根据我的经验，超过80%的数据科学项目在问题定义上失败。我经常看到客户的问题是，“我怎么能使用这么多数据?”“这个业务问题数据模型能工作吗，还是依靠人来解决更有效?”真正需要回答这些问题的数据科学家需要具备抽象能力，将那些看似分散的业务问题抽象为一般的数据科学问题。回答这些问题的数据科学家还需要具备出色的沟通技巧，能够将复杂而晦涩的机器逻辑转化为简单而清晰的流行逻辑。

以银行风险控制业务为例，不同的业务场景往往对风险控制模型有不同的要求。该数据模型对关键客户的授信审批没有实际效果，因为关键客户的审批工作量完全可以由业务人员承担，大规模的审批必须由人来决定。即使一个有钱人雇了10个保姆来照料花园和厨房，他还是会让妻子管理房产证。然而，在中小商户信贷业务的贷后管理中，数据模型可以发挥重要作用。银行没有大量的人力资源，每月都会派出业务人员对大量企业进行贷后风险管理。

在公安大数据应用中，数据模型的可解释性远远大于预测的准确性。你不能射杀奥萨马·本·拉登，因为安全模型给他99分。它总是需要一些客观的基础(数据)。公安数据模型最大的价值在于从大量原始数据中缩小范围，提供可以解释的关键数据。这些关键数据是公安部门的证据。

2、数据分析师如何成为数据科学家——数据准备

没有稻草做不成砖。数据科学家需要非常关注数据源，而不是其他人处理的数据。只有通过对原始数据的复杂处理，数据科学家才能获得真正有价值的信息。

在电子商务网站中，交易量最大的关键词产品往往没有特殊的价值。但是，如果一个关键字产品在最近几天内有大量的浏览量，那么它很少被购买，这是这里不能满足市场需求的关键信息。贷款客户上半年交易流数据的汇总信息往往意义不大，但变化趋势和支出收入比具有较大的信息价值。一部电影是否适合你的口味不仅取决于你的长期兴趣，还取决于你最近的经历。

经验丰富的数据科学家可以凭借业务经验、直觉和逻辑推理，提取出大量具有预测意义的“数据特征”。同时，将数据特征提取的方法总结成一套算法系统，使计算机系统能够自动提取特征。数据科学家负责特征提取机制的设计。通过经验和算法的结合，丰富了从原始数据到关键数据的提取机制。

3、数据分析师如何成为数据科学家——算法优化

在机器学习领域，每天都有很多算法被发明出来，但大多数算法在实际应用中都是无用的。学者们坐在自己的办公室里，保持有限的开放数据，不断调试算法，直到那些可爱的开放数据交给炼金术士。有一种说法是“在数据得到确认之前，要有意识地保存数据”，并继续惩罚数据，直到它屈服。许多算法无法应用，主要是因为它们没有在真实数据中训练。真实的数据通常非常复杂，需要简单而健壮的算法来克服它们。

所谓好的算法就是不浪费数据。最大化数据价值的算法是基于不同的数据结构。换句话说，不同的数据结构和不同的算法确实有匹配关系。没有最好的算法，只有最合适的算法。例如，决策树算法效率高，易于解释，但不适合在高维数据中建模。然而，即使是预测能力强的gbdt算法也很难在文本挖掘中显示出它的威力。

4、数据分析师如何成为数据科学家——知识发现

知识发现是数据科学中最关键、最容易被忽视的步骤之一。所谓知识发现，是以最简单的方式呈现给数据老师以外的普通人。数据中的哪些规则或细节会影响我的决策。

《大数据时代》的作者告诉我们，大数据的最大价值在于预测。然而，未来真的可以预测吗?

许多人认为香港著名的风水大师是可以预言的。如果你问他们预测风水的秘诀是什么?如果他们愿意向你敞开心扉，他们会说，而且只会说，“我有很多房地产经纪人的朋友”。

美国著名手机价格预测公司decise.com网站最后，它被eBay高价收购。如果你问他们，价格预测的秘诀是什么?他们会告诉你预测错了，我们为消费者提供独家销售服务。decise.com网站五月的数据科学家告诉你，有时候他们需要刻意调整算法，让自己有点傻，因为预测错了，消费者会买得更多。很多团购网站的营销领导者都会这么做decise.com网站我递交了简历。

在我看来，大数据的价值不在于预测，而在于发现——发现这些宏观规律可以让人们获得新的见解，发现这些微观细节有助于快速决策。在最关心的问题上，人们很难放弃机器来做决定，人们更喜欢机器来辅助重大决策。

5、数据分析师如何成为数据科学家——效果分析

很多时候，评估一个模型的效果比开发一个模型更困难。模型的质量不是直接取决于结果吗?不一定。从数据模型的结果到实际决策有许多步骤。每一步都会影响最终决定的结果。

两种不同算法的量化交易策略，哪一种更好，而决定因素可能是谁的网络信号更强，而不是算法本身，因为算法具有更好的实际效果可能不会因为网络信号问题而被高频应用。

大数据时代告诉我们，大数据最重要的是关系，而不是因果关系。根据这一逻辑，一位数据科学家通过关联分析发现，历史数据显示，两人同时在一架飞机上携带炸弹的概率为0。为了避免恐怖袭击，他带着炸弹上了飞机，睡到目的地。

在许多数据科学项目的实践中，通过详细的模型效应分析得到因果关系是非常重要的。为了保证业务目标的实现，业务人员和数据科学家经常需要灵活地应用该模型。

我经常看到很多机型在没有离线测试的情况下进行ab测试上线，把用户当成老鼠，这会直接对企业产生负面影响。此外，许多数据科学家声称，他们开发的模型为企业带来了商业价值，但由于没有模型比较分析，他们不明白可能有许多更好的模型可以为企业带来更大的价值，因此比较分析是模型上线前的必要环节。

完整的模型效果分析往往是模型优化中最重要的部分。数据科学家在效果分析中经常需要回答几个问题：

(1) 评估模型解决特定业务问题的有效性的最合适的度量标准是什么?

(2) 在模型在线测试之前，模型的离线测试效果是否理想?

(3) 这种模式有多有效?它能在海量数据中运行吗?

(4) 模型的业务逻辑是什么?

(5) 在不同的数据样本之间，模型的效果是否有显著差异，这意味着什么?

只有基于效果分析的结果，数据科学家才能更客观地选择最适合当前问题的模型来解决，并评估模型的效果是否能够满足业务需求，以及模型何时能够发挥最大作用，而其他问题则直接指向业务核心。

6、数据分析师如何成为数据科学家——联机部署

数据科学家需要把算法和系统结合起来。对于数据科学家来说，最大的悲剧不是模型不易使用，而是易于使用的模型无法在线部署。许多完善的模型，只有在开发完成后，才发现模型计算效率太低，无法适应大规模使用。这是数据科学家最大的悲剧。

一个实用的机器学习算法通常没有太多的参数。面对海量数据，许多参数过多的算法需要耗费大量的机器。对于那些想推广云服务的企业来说，最好的营销计划可能不是做广告，而是发布一个包含众多参数的算法。你也可以理解，任何有足够参数的算法都是“深度学习”。

在模型在线部署之前，数据科学家需要严格定义模型的输入和输出，并使模型的上下游系统与模型无缝连接。机器学习的结果往往需要连接到多个系统，而它们之间的完美协作是算法有效性的重要前提。

谁是数据科学产品的直接用户?它们是机器。数据科学家所建立的模型可以作为计算机系统的能量块，在与人的交互中不断产生智慧和更新。

7、数据分析师如何成为数据科学家——模型更新

当数据发生变化时，是否需要不断地培养数据科学家?对于数据科学家来说，最尴尬的是，当模型开发时，模型需要应用的业务场景发生了变化。传统的记分卡模型是由数据科学家根据经验开发的，每一次模型更新都需要数据老师团队重新开发和部署。

最好的数据科学家可以从数据中提取价值，但他们会使数据价值挖掘的过程并不总是依赖于自己的不断培养。数据科学家是机器的老师。真正优秀的老师必须是“教机器捕鱼，而不是教机器捕鱼”。数据科学家应该只负责设计机器学习算法并在线部署，这样机器就应该有能力直接从数据中学习，并根据数据的变化动态调整模型。

数据科学家需要设计“监控算法”，不断监控模型效果、模型逻辑和数据本身的变化，使模型能够自动更新。此外，数据科学家设计的模型在不同的应用场景中学习后，机器将获得普遍的智慧，这将使算法在新问题中发挥良好的作用。

“问题定义数据准备算法优化效果分析模型部署模型更新”是数据科学家工作的七个基本步骤。数据科学七剑的有机配合，可以使数据价值最大化。此外，数据科学的闭环系统意味着，当模型需要更新时，往往需要重新定义问题，而这种重复的过程往往导致超越当前问题的更多知识发现。

最近发展起来的深度学习算法并不是万能的钥匙。深度学习技术可以自动化特征工程，因此数据科学家不再需要花费大量时间来提取特征。然而，深度学习算法通常有很多参数。所以，深度学习算法说，哈哈，我们只是利用你用来提取特征的时间来调整参数。你知道，这只是个玩笑。)

以上就是《数据分析师如何成为数据科学家？这个职业的未来超乎想象》的全部内容，从文字中我们可以看到，不同的业务场景往往对风险控制模型有不同的要求。该数据模型对关键客户的授信审批没有实际效果。如果你想学习更多数据分析知识，可以点击下方资料下载链接。