大数据分析师LEVEL ll 复习大纲篇 | 第五章 大数据分析之 Spark 工具及实战（三）

第五节、Spark 机器学习算法库 Spark MLlib 基本使用方法

【领会】

SparkMLlib 的基本框架与原理

SparkMLlib 中 ML 库与 MLlib 库区别

【熟知】

SparkMLlib 中矩阵向量运算方法

SparkMLlib 中常用统计计算方法

【应用】

能够利用 ML Pipelines 构建机器学习流

能够利用 TF-IDF、Word2Vec、CountVectorizer 等进行特征抽取、转化和选择

能够利用 ML 进行机器学习模型建模，至少掌握以下常用模型建模方法，包括决策树、

逻辑回归、KMeans 聚类、GMM 高斯混合模型聚类、协同过滤、随机森林、SVM 等模

型

能够利用 CrossValidator(交叉验证)和 TrainValidationSplit(训练验证分割)进行模型

评估与参数调优

第六节、Spark 图计算框架 GrapX

【领会】

SparkGraphX 简介

SparkGraphX、GraphLab、Pregel 的联系与区别

SparkGraphX 中表视图与图视图的两种数据的转换

图论基本概念

【熟知】

SparkGraphX 中数据的主要表示形式

图的存储模型

SparkGraphX 提供的切分策略

图的构建操作

图的属性操作

图的结构操作

【应用】

SparkGraphX 源码分析与调试

基于 Pregel 的 API 实现图的 PageRank 和最短路径算法

这就是大纲第五章的内容，希望对大家能有所帮助。