大數據挖掘工具:SPSS Modeler入門與提高

【課程目標】

本課程面向數據分析部等專門負責數據分析與挖掘的人士，專注大數據挖掘工具SPSS Statistics的培訓。

本課程培訓覆蓋以下內容：

1、 數據挖掘標準流程。

2、 數據挖掘模型原理。

3、 數據挖掘方法及應用。

本課程從實際的業務需求出發，對數據分析及數據挖掘技術進行了全面的介紹，通過大量的操作演練，幫助學員掌握數據分析和數據挖掘的思路、方法、工具，從大量的企業經營數據中進行分析，發現業務運作規律，進行客戶洞察，挖掘客戶行為特點，消費行為，實現精準營銷，幫助運營團隊深入理解業務運作，以達到提升學員的數據綜合分析能力，支撐運營決策的目的。

通過本課程的學習，達到如下目的：

1、 了解大數據基礎知識，理解大數據思維方式。

2、 了解數據分析與數據挖掘的基本知識（統計、分布、概率等）。

3、 掌握數據挖掘的基本過程和步驟，掌握數據挖掘的方法。

4、 理解數據挖掘的常見模型，原理及適用場景。

5、 熟練掌握Modeler基本操作，能利用Modeler進行數據挖掘。

【授課時間】

2~4天時間，或根據客戶需求選擇

【授課對象】

業務支撐、網絡中心、IT系統部、數據分析部等對業務數據分析有較高要求的相關專業人員。

【學員要求】

1、 每個學員自備一臺便攜機(必須)。

2、 便攜機中事先安裝好SPSS modeler v14.1版本以上軟件。

注：講師可以提供試用版本軟件及分析數據源。

【授課方式】

基礎知識精講 + 案例演練 + 實際業務問題分析 + 工具實際操作

本課程突出數據挖掘的實際應用，結合行業的典型應用特點，從實際問題入手，引出相關知識，進行大數據的收集與處理；探索數據之間的規律及關聯性，幫助學員掌握系統的數據預處理方法；介紹常用的模型，訓練模型，并優化模型，以達到最優分析結果。

【課程大綱】

IBM SPPS Modeler是一個數據流處理工具，適用于數據探索與數據挖掘，包括數據預處理、數據探索、數據可視化、數據建模、數據模型優化。

第一部分： 大數據的核心理念

問題：大數據的核心價值是什么？大數據是怎樣用于業務決策？

1、 大數據時代：你缺的不是一堆方法，而是大數據思維

2、 大數據是探索事物發展和變化規律的工具

3、 一切不以解決業務問題為導向的大數據都是耍流氓

4、 大數據的核心能力

? 發現業務運行規律及問題

? 探索業務未來發展趨勢

5、 從案例看大數據的核心本質

? 用趨勢圖來探索產品銷量規律

? 從谷歌的GFT產品探索用戶需求變化

? 從美國總統競選看大數據對選民行為進行分析

? 從大數據炒股看大數據如何探索因素的相關性

6、 認識大數據分析

? 什么是數據分析

? 數據分析的三大作用

? 常用分析的三大類別

案例：喜歡賺“差價”的營業員（用數據管理來識別）

7、 數據分析需要什么樣的能力

? 懂業務、懂管理、懂分析、懂工具、懂呈現

8、 大數據應用系統的四層結構

? 數據基礎層、數據模型層、業務模型層、業務應用層

9、 大數據分析的兩大核心理念

10、 大數據分析面臨的常見問題

? 不知道分析什么（分析目的不明確）

? 不知道怎樣分析（缺少分析方法）

? 不知道收集什么樣的數據（業務理解不足）

? 不知道下一步怎么做（不了解分析過程）

? 看不懂數據表達的意思（數據解讀能力差）

? 擔心分析不夠全面（分析思路不系統）

第二部分： 數據挖掘標準流程

1、 數據挖掘概述

2、 數據挖掘的標準流程（CRISP-DM）

? 商業理解

? 數據準備

? 數據理解

? 模型建立

? 模型評估

? 模型應用

案例：客戶匹配度建模—找到你的準客戶

案例：客戶流失預測及客戶挽留

3、 數據集概述

4、 數據集的類型

5、 數據集屬性的類型

? 標稱

? 序數

? 度量

6、 數據質量三要素

? 準確性

? 完整性

? 一致性

第三部分： 數據預處理過程

1、 SPSS工具簡介

2、 數據預處理的主要任務

? 數據集成：多個數據集的合并

? 數據清理：異常值的處理

? 數據處理：數據篩選、數據精簡、數據平衡

? 變量處理：變量變換、變量派生、變量精簡

? 數據歸約：實現降維，避免維災難

3、 數據集成

? 外部數據讀入：Txt/Excel/SPSS/Database

? 數據追加（添加數據）

? 變量合并（添加變量）

4、 數據理解（異常數據處理）

? 取值范圍限定

? 重復值處理

? 無效值/錯誤值處理

? 缺失值處理

? 離群值/極端值處理

? 數據質量評估

5、 數據準備：數據處理

? 數據篩選：數據抽樣/選擇（減少樣本數量）

? 數據精簡：數據分段/離散化（減少變量的取值個數）

? 數據平衡：正反樣本比例均衡

6、 數據準備：變量處理

? 變量變換：原變量取值更新，比如標準化

? 變量派生：根據舊變量生成新的變量

? 變量精簡：降維，減少變量個數

7、 數據降維

? 常用降維的方法

? 如何確定變量個數

? 特征選擇：選擇重要變量，剔除不重要的變量

2 從變量本身考慮

2 從輸入變量與目標變量的相關性考慮

2 對輸入變量進行合并

? 因子分析（主成分分析）

2 因子分析的原理

2 因子個數如何選擇

2 如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

8、 數據探索性分析

? 常用統計指標分析

? 單變量：數值變量/分類變量

? 雙變量：交叉分析/相關性分析

? 多變量：特征選擇、因子分析

演練：描述性分析（頻數、描述、探索、分類匯總）

第四部分： 數據可視化篇

1、 數據可視化的原則

2、 常用可視化工具

3、 常用可視化圖形

? 柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等

4、 圖形的表達及適用場景

演練：各種圖形繪制

第五部分： 影響因素分析篇

問題：如何判斷一個因素對另一個因素有影響？比如營銷費用是否會影響銷售額？產品價格是否會影響銷量？產品的陳列位置是否會影響銷量？

風險控制的關鍵因素有哪些？如何判斷？

1、 影響因素分析的常見方法

2、 相關分析（衡量變量間的的相關性）

問題：這兩個屬性是否會相互影響？影響程度大嗎？營銷費用會影響銷售額嗎？ 

? 什么是相關關系

? 相關系數：衡量相關程度的指標

? 相關系數的三個計算公式

? 相關分析的假設檢驗

? 相關分析的基本步驟

? 相關分析應用場景

演練：體重與腰圍的關系

演練：營銷費用會影響銷售額嗎

演練：哪些因素與汽車銷量有相關性

演練：通信費用與開通月數的相關分析

案例：酒樓生意好壞與報紙銷量的相關分析

? 偏相關分析

? 距離相關分析

3、 方差分析

問題：哪些才是影響銷量的關鍵因素？

? 方差分析解決什么問題

? 方差分析種類：單因素/雙因素可重復/雙因素無重復

? 方差分析的應用場景

? 方差分析的原理與步驟

? 如何解決方差分析結果

演練：終端擺放位置與終端銷量有關嗎？

演練：開通月數驛客戶流失的影響分析

演練：客戶學歷對消費水平的影響分析

演練：廣告和價格是影響終端銷量的關鍵因素嗎

演練：營業員的性別、技能級別產品銷量有影響嗎？

案例：2015年大學生工資與父母職業的關系

案例：醫生洗手與嬰兒存活率的關系

演練：尋找影響產品銷量的關鍵因素

? 多因素方差分析原理

? 多因素方差結果的解讀

演練：廣告形式、地區對銷量的影響因素分析（多因素）

? 協方差分析原理

演練：飼料對生豬體重的影響分析（協方差分析）

4、 列聯分析（兩類別變量的相關性分析）

? 交叉表與列聯表

? 卡方檢驗的原理

? 卡方檢驗的幾個計算公式

? 列聯表分析的適用場景

案例：套餐類型對客戶流失的影響分析

案例：學歷對業務套餐偏好的影響分析

案例：行業/規模對風控的影響分析

第六部分： 數值預測模型篇

問題：如何預測產品的銷量/銷售金額？如果產品跟隨季節性變動，該如何預測？新產品上市，如果評估銷量上限及銷售增速？

1、 銷量預測與市場預測——讓你看得更遠

2、 回歸預測/回歸分析

問題：如何預測未來的銷售量（定量分析）？

? 回歸分析的基本原理和應用場景

? 回歸分析的種類（一元/多元、線性/曲線）

? 得到回歸方程的幾種常用方法

? 回歸分析的五個步驟與結果解讀

? 回歸預測結果評估（如何評估預測質量，如何選擇最佳回歸模型）

演練：散點圖找推廣費用與銷售額的關系（一元線性回歸）

演練：推廣費用、辦公費用與銷售額的關系（多元線性回歸）

演練：讓你的營銷費用預算更準確

演練：如何選擇最佳的回歸預測模型（曲線回歸）

? 帶分類變量的回歸預測

演練：汽車季度銷量預測

演練：工齡、性別與終端銷量的關系

演練：如何評估銷售目標與資源配置（營業廳）

3、 時序預測

問題：隨著時間變化，未來的銷量變化趨勢如何？

? 時序分析的應用場景（基于時間的變化規律）

? 移動平均MA的預測原理

? 指數平滑ES的預測原理

? 自回歸移動平均ARIMA模型

? 如何評估預測值的準確性？

案例：銷售額的時序預測及評估

演練：汽車銷量預測及評估

演練：電視機銷量預測分析

演練：上海證券交易所綜合指數收益率序列分析

演練：服裝銷售數據季節性趨勢預測分析

第七部分： 回歸模型優化篇

1、 回歸模型的基本原理

? 三個基本概念：總變差、回歸變差、剩余變差

? 方程的顯著性檢驗：是否可以做回歸分析？

? 擬合優度檢驗：回歸模型的質量評估？

? 因素的顯著性檢驗：自變量是否可用？

? 理解標準誤差的含義：預測的準確性？

2、 模型優化思路：尋找最佳回歸擬合線

? 如何處理異常數據（殘差與異常值排除）

? 如何剔除非顯著因素（因素顯著性檢驗）

? 如何進行非線性關系檢驗

? 如何進行相互作用檢驗

? 如何進行多重共線性檢驗

? 如何檢驗誤差項

? 如何判斷模型過擬合

案例：模型優化案例

第八部分： 分類預測模型篇

問題：如何評估客戶購買產品的可能性？如何預測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準推薦產品或業務？

1、 分類模型概述

2、 常見分類預測模型

3、 邏輯回歸模型

? 邏輯回歸模型原理及適用場景

? 邏輯回歸種類：二元/多元邏輯回歸

? 如何解讀邏輯回歸方程

案例：如何評估用戶是否會購買某產品（二元邏輯）

? 消費者品牌選擇模型分析

案例：品牌選擇模型分析，你的品牌適合哪些人群？（多元邏輯）

4、 分類決策樹

問題：如何預測客戶行為？如何識別潛在客戶？

風控：如何識別欠貸者的特征，以及預測欠貸概率？

客戶保有：如何識別流失客戶特征，以及預測客戶流失概率？

? 決策樹分類簡介

? 如何評估分類性能？

案例：美國零售商（Target）如何預測少女懷孕

演練：識別銀行欠貨風險，提取欠貸者的特征

? 構建決策樹的三個關鍵問題

2 如何選擇最佳屬性來構建節點

2 如何分裂變量

2 修剪決策樹

? 選擇最優屬性

2 熵、基尼索引、分類錯誤

2 屬性劃分增益

? 如何分裂變量

2 多元劃分與二元劃分

2 連續變量離散化（最優劃分點）

? 修剪決策樹

2 剪枝原則

2 預剪枝與后剪枝

? 構建決策樹的四個算法

2 C5.0、CHAID、CART、QUEST

2 各種算法的比較

? 如何選擇最優分類模型？

? 案例：商場酸奶購買用戶特征提取

? 案例：電信運營商客戶流失預警與客戶挽留

? 案例：識別拖欠銀行貨款者的特征，避免不良貨款

? 案例：識別電信詐騙者嘴臉，讓通信更安全

5、 人工神經網絡（ANN）

? 神經網絡概述

? 神經網絡基本原理

? 神經網絡的結構

? 神經網絡的建立步驟

? 神經網絡的關鍵問題

? BP反向傳播網絡（MLP）

? 徑向基網絡（RBF）

案例：評估銀行用戶拖欠貨款的概率

6、 支持向量機（SVM）

? SVM基本原理

? 線性可分問題：最大邊界超平面

? 線性不可分問題：特征空間的轉換

? 維空難與核函數

7、 判別分析

? 判別分析原理

? 距離判別法

? 典型判別法

? 貝葉斯判別法

案例：MBA學生錄取判別分析

案例：上市公司類別評估

第九部分： 市場細分模型篇

問題：我們的客戶有幾類？各類特征是什么？如何實現客戶細分，開發符合細分市場的新產品？如何提取客戶特征，從而對產品進行市場定位？

1、 市場細分的常用方法

? 有指導細分

? 無指導細分

2、 聚類分析

? 如何更好的了解客戶群體和市場細分？

? 如何識別客戶群體特征？

? 如何確定客戶要分成多少適當的類別？

? 聚類方法原理介紹

? 聚類方法作用及其適用場景

? 聚類分析的種類

? K均值聚類（快速聚類）

案例：移動三大品牌細分市場合適嗎？

演練：寶潔公司如何選擇新產品試銷區域？

演練：如何評選優秀員工？

演練：中國各省份發達程度分析，讓數據自動聚類

? 層次聚類（系統聚類）：發現多個類別

? R型聚類與Q型聚類的區別

案例：中移動如何實現客戶細分及營銷策略

演練：中國省市經濟發展情況分析（Q型聚類）

演練：裁判評分的標準衡量，避免“黑哨”（R型聚類）

? 兩步聚類

3、 主成分分析PCA分析

? 主成分分析原理

? 主成分分析基本步驟

? 主成分分析結果解讀

演練：PCA探索汽車購買者的細分市場

4、 RFM模型客戶細分框架

第十部分： 客戶價值評估

1、 客戶價值評估與RFM模型

問題：如何評估客戶的價值？如何針對不同客戶采取不同的營銷策略？

? RFM模型，更深入了解你的客戶價值

? RFM的客戶細分框架理解

? RFM模型與市場策略

? RFM模型與活躍度

演練：“雙11”淘寶商家如何選擇客戶進行促銷

演練：結合響應模型，宜家IKE實現最大化營銷利潤

演練：重購用戶特征分析

第十一部分： 產品推薦模型

問題：購買A產品的顧客還常常要購買其他什么產品？應該給客戶推薦什么產品最有可能被接受？

1、 常用產品推薦模型

2、 關聯分析

? 如何制定套餐，實現交叉/捆綁銷售

案例：啤酒與尿布、颶風與蛋撻

? 關聯分析模型原理（Association）

? 關聯規則的兩個關鍵參數

2 支持度

2 置信度

? 關聯分析的適用場景

案例：購物籃分析與產品捆綁銷售/布局優化

案例：理財產品的交叉銷售與產品推薦

? 如何提取關聯規則（關聯分析的算法）

2 Apriori算法

2 FP-Growth算法

3、 協同過濾

4、 分類預測模型

結束：課程總結與問題答疑。