课时安排：5天培训方式：企业内训课程类别：项目管理

Python实现大数据挖掘技术培训课程特色与背景

【课程目标】

Python已经成为数据分析和数据挖掘的首选语言，作为除了Java、C/C++/C#外最受欢迎的语言。

    本课程基于Python工具来实现大数据的数据分析和数据挖掘项目。基于业务问题，在数据挖掘标准过程指导下，采用Python分析工具，实现数据挖掘项目的每一步操作，从数据预处理、数据建模、数据可视化，到最终数据挖掘结束，帮助学员掌握Python用于数据挖掘，提升学员的数据化运营及数据挖掘的能力。

通过本课程的学习，达到如下目的：

1、 全面掌握Python语言以及其编程思想。

2、 掌握常用扩展库的使用，特别是数据挖掘相关库的使用。

3、 学会使用Python完成数据挖掘项目整个过程。

4、 掌握利用Python实现可视化呈现。

5、 掌握数据挖掘常见算法在Python中的实现。

课程大纲

【课程大纲】

第一部分：Python语言基础

1、 Python简介

2、 开发环境搭建

? Python的安装

? 扩展库的安装

3、 掌握Python的简单数据类型

? 字符串的使用及操作

? 整数、浮点数

4、 掌握基本语句：

? if、while、for、print等

? 基本运算：

? 函数定义、参数传递、返回值

5、 掌握复杂的数据类型：列表/元组

? 列表操作：访问、添加、修改、删除、排序

? 列表切片、复制等

? 列表相关的函数、方法

? 元组的应用

6、 复杂数据类型：字典

? 创建、访问、修改、删除、遍历

? 字典函数和方法

7、 复杂数据类型：集合

8、 掌握面向对象编程思想

? 创建类、继承类

? 模块

9、 函数定义、参数传递、返回值

10、 标准库与扩展库的导入

11、 异常处理:try-except块

12、 文件操作：读取、写入

? 读取文本文件

? 读取CSV文件

? 读取Excel文件

13、 重点介绍Pandas的数据结构

? DataFrame对象及处理方法

? Series对象及处理方法

案例：演练基本的Python编程语句

第二部分：数据可视化处理

1、 常用的Python作图库

? Matplotlib库

? Pygal库

2、 实现分类汇总

案例：按性别统计用户人数

案例：按产品+日期统计各产品销售金额

3、 各种图形的画法

? 直方图

? 饼图

? 折线图

? 散点图

4、 绘图的美化技巧

案例：用Python库作图来实现产品销量分析

第三部分：数据挖掘基础

1、 数据挖掘概述

2、 数据挖掘的标准流程（CRISP-DM）

? 商业理解

? 数据准备

? 数据理解

? 模型建立

? 模型评估

? 模型应用

3、 数据挖掘常用任务与算法

第四部分：数据理解和数据准备

1、 数据挖掘常用扩展库介绍

? Numpy数组处理支持

? Scipy矩阵计算模块

? Matplotlib数据可视化工具库

? Pandas数据分析和探索工具

? StatsModels统计建模库

? Scikit-Learn机器学习库

? Keras深度学习（神经网络）库

? Gensim文本挖掘库

2、 文件操作处理

? 读取文本文件

? 读取Excel文件

? 读取数据库数据

3、 数据预处理

? 异常值处理：3σ准则，IQR准则

? 缺失值插补：均值、拉格朗日插补

? 数据筛选/抽样

? 数据的离散化处理

? 变量变换、变量派生

4、 数据的基本分析

? 相关分析：原理、公式、应用

? 方差分析：原理、公式、应用

? 卡方分析：：原理、公式、应用

? 主成分分析：降维

第五部分：分类预测模型实战

1、 常见分类预测的模型与算法

2、 如何评估分类预测模型的质量

? 查准率

? 查全率

? ROC曲线

3、 逻辑回归分析模型

? 逻辑回归的原理

? 逻辑回归建模的步骤

? 逻辑回归结果解读

案例：用sklearn库实现银行贷款违约预测

4、 决策树模型

? 决策树分类的原理

? 决策树的三个关键问题

? 决策树算法与实现

案例：电力窃漏用户自动识别

5、 人工神经网络模型（ANN）

? 神经网络概述

? 神经元工作原理

? 常见神经网络算法（BP、LM、RBF、FNN等）

案例：神经网络预测产品销量

6、 支持向量机（SVM）

? SVM基本原理

? 维灾难与核心函数

案例：基于水质图像的水质评价

7、 贝叶斯分析

? 条件概率

? 常见贝叶斯网络

第六部分：数值预测模型实战

1、 常用数值预测的模型

? 通用预测模型：回归模型

? 季节性预测模型：相加、相乘模型

? 新产品预测模型：珀尔曲线与龚铂兹曲线

2、 回归分析概念

3、 常见回归分析类别

第七部分：聚类分析（客户细分）实战

1、 客户细分常用方法

2、 聚类分析（Clustering）

? 聚类方法原理介绍及适用场景

? 常用聚类分析算法

? 聚类算法的评价

案例：使用SKLearn实现K均值聚类

案例：使用TSNE实现聚类可视化

3、 RFM模型分析

? RFM模型，更深入了解你的客户价值

? RFM模型与市场策略

案例：航空公司客户价值分析

第八部分：关联规则分析实战

1、 关联规则概述

2、 常用关联规则算法

3、 时间序列分析

案例：使用apriori库实现关联分析

案例：中医证型关联规则挖掘

第九部分：案例实战（学员主导，老师现场指导）

1、 电商用户行为分析及服务推荐

2、 基于基站定位数据的商圈分析

结束：课程总结与问题答疑。