课时安排：5天培训方式：企业内训课程类别：项目管理

大数据分析与数据挖掘能力提升实战课程特色与背景

    【课程目标】

    本课程为综合课程，包含基本的数据分析，到高级的数据挖掘，数据建模，以及大数据在市场营销方面的应用，帮助企业的相关人员提升数据分析的综合能力，解决业务问题和企业决策问题。

    本课程从实际的业务需求出发（特别是市场营销领域的业务），结合行业的典型应用特点，围绕实际的商业问题，对数据分析及数据挖掘技术进行了全面的介绍（从数据收集与处理，到数据分析与挖掘，再到数据可视化和报告撰写），通过大量的操作演练，帮助学员掌握数据分析和数据挖掘的思路、方法、表达、工具，从大量的企业经营数据中进行分析，挖掘客户行为特点，帮助运营团队深入理解业务运作，以达到提升学员的数据综合分析能力，支撑运营决策的目的。

通过本课程的学习，达到如下目的：

1、 了解大数据的核心理念，以及大数据思维。

2、 掌握数据分析的基础知识，掌握数据分析的基本过程。

3、 学会数据分析的框架和思路，掌握常用数据分析方法来分析问题。

4、 掌握数据挖掘，数据建模，以及模型优化，能够解决商业问题。

5、 掌握常用分析和挖掘工具，学习使用Excel、SPSS、Modeler工具来做数据分析、数据挖掘，以及数据预处理和建模。

课程大纲

【课程大纲】

第一部分：解构大数据

1、 大数据时代已经来临

2、 大数据的三层理解

? 理论层：以数据为基础

? 技术层：以平台为手段

? 应用层：以应用为导向

3、 大数据的4V特征

4、 大数据的核心价值

? 发现业务运行规律

? 预测事物未来

5、 大数据在各行业是如何应用的

? 医疗卫生

? 政治军事

? 行政执法

? 金融银行

? ……

6、 数据分析的核心理念

? 数据变化意味着业务变化

? 数据间关系意味着因素间的关系

7、 大数据战略

? 大数据成为企业的核心资产

? 大数据成为业务创新的核心引擎

? 从数据化运营到运营数据

8、 大数据的思维变革

? 定量思维

? 相关思维

? 实验思维

? ……

9、 大数据的商业模式分析

10、 大数据的人才培养

第二部分：数据分析篇

问题：数据分析是神马?数据分析基本过程？

1、 数据分析面临的常见问题

2、 认识数据分析

? 什么是数据分析

? 数据分析的三大作用

? 数据分析的三大类别

案例：喜欢赚“差价”的营业员

3、 数据分析的六步曲

? 明确目的

? 收集数据

? 处理数据（预处理）

? 分析数据

? 呈现数据（可视化）

? 撰写报告

案例：终端精准营销项目过程讨论

4、 数据分析师需要什么样的能力

? 懂业务、懂管理、懂分析、懂工具、懂呈现

5、 大数据应用系统的四层结构

? 数据基础层、数据模型层、业务模型层、业务应用层

6、 数据分析方法的层次

? 基本分析法（对比/分组/结构/趋势/…）

? 综合分析法（交叉/综合评价/杜邦/漏斗/…）

? 高级分析法（相关/方差/验证/回归/时序/…）

? 数据挖掘法（聚类/分类/关联/RFM模型/…）

7、 基本分析方法及其适用场景

? 对比分析（查看数据差距）

演练：按性别、省份、产品进行分类统计

? 分组分析（查看数据分布）

演练：银行信用卡月消费分析（银行）

演练：呼叫中心接听电话效率分析（呼叫中心）

演练：客服中心科学排班人数需求分析（客服中心）

演练：客户年龄分布分析

案例：排班后面隐藏的猫腻

? 结构分析（评估事物构成）

案例：用户市场占比结构分析

案例：物流费用占比结构分析（物流）

? 趋势分析（发现变化规律）

案例：破解零售店销售规律

8、 综合分析方法及其适用场景

? 交叉分析（两维分析）

演练：用户性别+地域分布分析

? 综合评价法（多维指标归一）

演练：人才选拔评价分析（HR）

案例：南京丈母娘选女婿分析表格

? 杜邦分析法（关键因素分析-财务数据分析）

案例：电信市场占有率分析

演练：服务水平提升分析（呼叫中心）

案例：销售额的影响因素分析（零售店/电商）

? 漏斗分析法（关键流程环节分析-流失率与转化率分析）

演练：终端销售流程分析（电信营业厅）

案例：业务办理流程优化分析（银行营业厅）

案例：物流配送效率分析（物流）

? 矩阵分析法（产品策略分析-象限图分析法）

案例：工作安排评估

案例：HR人员考核与管理

案例：波士顿产品策略分析

9、 最合适的分析方法才是硬道理。

10、 数据分析思路（如何细化业务问题）

案例：利用5W2H来分析产品销售情况

第三部分：概率与数理统计篇

1、 数据统计指标

? 集中程度：平均数/中位数/众数

? 离散程度：全距/四分位距/标准差/四分位

? 分布形态：偏度/峰度

? 正确理解各指标的含义

案例：如何用Excel计算统计指标

案例：如何用Excel画直方图

2、 概率论基本知识

? 随机事件与概率

? 古典概率与条件概率

? 全概率公式与贝叶斯公司

? 概率分布函数

? 数学期望与方差

? 大数定律与中心极限定理

3、 参数检验分析

? 假设检验概述

? 假设检验步骤

? 样本T检验（单样本、两独立样本、两配对样本）及适用场景

案例：电信运营商ARPU值评估分析（单样本）

案例：营销活动前后分析（两配对样本）

案例：吸烟与胆固醇升高的分析（两独立样本）

4、 非参数检验分析

? 非参数检验概述

? 样本检验（单样本、两独立样本、两相关样本）

案例：产品合格率检验（单样本-二项分布）

案例：训练新方法有效性检验（两配对样本-符号/秩检验）

案例：促销方式效果检验(多相关样本-Friedman检验)

案例：客户满意度差异检验(多相关样本-Cochran Q检验)

第四部分：高级数据分析

本篇包含三大内容：影响因素分析，数值预测模型。

1、 相关分析（衡量变量间的的相关性）

问题：营销费用会影响销售额吗？影响程度大吗？

? 什么是相关关系

? 相关系数：衡量相关程度的指标

? 相关分析的步骤与计算公式

? 相关分析应用场景

演练：体重与腰围的关系

演练：营销费用与销售额的关系

2、 方差分析

问题：哪些才是影响销量的关键因素？

? 方差分析解决什么问题

? 方差分析种类：单因素/双因素可重复/双因素无重复

? 方差分析的应用场景

? 如何解决方差分析结果

演练：产品摆放位置与销量有关吗？（单因素方差分析）

案例：2015年大学生工资与父母职业的关系

3、 回归分析（预测）

问题：如何预测未来的销售量（定量分析）？

? 回归分析的基本原理和应用场景

? 回归分析的种类（一元/多元、线性/曲线）

? 回归分析的几种常用方法

? 回归分析的五个步骤与结果解读

? 回归预测结果评估（如何评估预测质量，如何选择最佳回归模型）

演练：散点图找推广费用与销售额的关系（一元线性回归）

演练：推广费用、办公费用与销售额的关系（多元线性回归）

演练：最佳选择的预测销售额的回归模型（一元曲线回归）

? 回归分析（带分类变量）

案例：汽车销量的季度预测

演练：工龄、性别与终端销量的关系

讨论：终端销售预测分析（营业厅）

4、 时序分析（预测）

问题：随着时间变化，未来的销量变化趋势如何？

? 时序分析的应用场景（基于时间的变化规律）

? 移动平均的预测原理

? 指数平滑的预测原理

案例：销售额的时序预测及评估

演练：产品销量预测及评估

第五部分：建立预测模型与模型优化（Excel工具）

本篇包含内容：数值预测建模、模型优化，季节性预测模型、S曲线预测模型。

1、 常见预测模型类别

? 数值预测

? 分类预测

2、 回归分析建模

? 寻找最佳回归拟合线来判断和预测

? 模型优化七步法（因素、异常值、相互作用、非线性关系…）

案例：汽车销量预测分析

案例：工龄、性别与销量的回归分析

3、 季节性预测模型

? 季节性预测模型的参数

? 常用季节性预测模型（相加模型、相乘模型）

案例：美国航空旅客里程的季节性趋势分析

案例：产品销售季节性趋势预测分析

4、 新产品销量预测与S曲线

? 如何评估销量增长的拐点

? 常用模型（珀尔曲线、龚铂兹曲线）

案例：预测IPad产品的销售增长拐点，以及销量上限

5、 规划求解与自定义模型

案例：大数据下的产品定价方法

案例：如何对客流量进行建模及模型优化

第五部分：数据挖掘篇（SPSS工具使用）

1、 数据挖掘概述

2、 数据挖掘的标准流程

? 商业理解

? 数据准备

? 数据理解

? 模型建立

? 模型评估

? 模型应用

案例：通信客户流失分析及预警模型

3、 聚类分析（市场细分与客户细分）

问题：如何实现客户细分，开发符合细分市场的新产品？

? 聚类分析及其作用

? 聚类分析的种类

? 层次聚类：发现多个类别

? R型聚类与Q型聚类的区别

演练：中国省市经济发展情况分析（Q型聚类）

演练：裁判评分的标准衡量（R型聚类）

? K均值聚类

演练：宝洁公司如何选择新产品试销区域？

演练：如何评选优秀员工？

4、 分类分析

案例：美国零售商（Target）如何预测少女怀孕

问题：如何提取客户流失者、拖欠货款者的特征？如何预测其流失的概率？

? 分类与聚类

? 决策树分类的原理

? 如何评估分类性能

演练：识别银行欠货风险，提取欠货者的特征

5、 关联分析

案例：啤酒与尿布、飓风与蛋挞

问题：购买面包的人是否也会购买牛奶？他们同时购买哪些产品？

? 关联分析解决什么样的问题

? 如何提取关联规则

? 关联规则的应用场景

案例：超市商品交叉销售与布局优化（关联分析）

6、 RFM模型

问题：如何评估客户的价值？如何针对不同客户采取不同的营销策略？

? RFM模型介绍

? RFM的客户细分框架理解

演练：淘宝客户选择促销客户的方式

演练：结合响应模型，宜家IKE实现最大化营销利润

第六部分：数据挖掘实战篇（Modeler工具实操）

1、 数据挖掘处理的一般过程

? 数据源?数据理解?数据准备?探索分析?数据建模?模型评估

2、 数据读入

3、 数据集成

? 变量合并（增加变量）

? 数据追加（添加记录）

4、 数据理解

? 取值范围限定

? 重复数据处理

? 缺失值处理

? 无效值处理

? 离群点和极端值的修正

? 数据质量评估

5、 数据准备：数据处理

? 数据筛选：数据抽样/选择（减少样本数量）

? 数据精简：数据分段/离散化（减少变量的取值）

? 数据平衡：正反样本比例均衡

? 其它：排序、分类汇总

6、 数据准备：变量处理

? 变量变换：原变量值更新

? 变量派生：生成新的变量

? 变量精简：降维，减少变量个数

7、 基本分析

? 单变量：数据基本描述分析

? 双变量：相关分析、方差分析、卡方检验（列联检验）

? 变量精简：特征选择、因子分析

案例：通信基本费用与开通月数的相关分析

案例：开通月数对客户流失的影响分析

案例：套餐类型对对客户流失的影响分析

8、 特征选择

? 特征选择方法：选择重要变量，剔除不重要的变量

? 从变量本身考虑

? 从输入变量与目标变量的相关性考虑

9、 因子分析（主成分分析）

? 因子分析的原理

? 因子个数如何选择

? 如何解读因子含义

案例：提取影响电信客户流失的主成分分析

10、 常见分类预测模型

? 分类预测基本过程

? 如何评估分类模型的性能（查准率、查全率）

11、 决策树分类

? 决策树分类原理

? 决策树构建的三个关键问题

? 决策树算法

案例：识别银行欠货风险，提取欠货者的特征

案例：客户流失预警与客户挽留模型

12、 神经网络

? 神经网络概述

? 神经元工作原理

? BP反向传播网络（MLP）

? 径向基函数网络（RBF）

13、 支持向量机

14、 贝叶斯分类

实战：电信客户流失分析与预警模型

结束：课程总结与问题答疑。