大數據分析與挖掘綜合能力提升實戰

【課程目標】

本課程為高階課程，面向所有業務支撐部門及數據分析部門。

本課程的主要目的是，幫助學員掌握一些業務專題挖掘模型，幫助學員建立對復雜業務問題的數據挖掘綜合能力。

本課程具體內容包括：

1、 數據挖掘流程，數據預處理

2、 用戶專題分析：用戶群劃分/客戶價值評估/客戶偏好分析/用戶行為預測

3、 產品專題分析：產品設計優化、產品功能評估、產品最優定價策略

4、 精準推薦算法：協同過濾、關聯分析、基于內容/用戶的推薦(CBR/UBR)

5、 金融風險評估：信用評分卡模型、風險預測模型

本系列課程從實際的業務需求出發，結合行業的典型應用特點，圍繞實際的商業問題，對數據預測建模的過程進行了全面的介紹（從模型選擇，到特征選擇，再到訓練模型，評估模型，以及優化模型和模型解讀），通過大量的操作演練，幫助學員掌握數據建模的思路、方法、技巧，以提升學員的數據建模的能力，支撐運營決策的目的。

通過本課程的學習，達到如下目的：

1、 熟悉數據挖掘的標準過程，熟悉每個步驟的具體操作。

2、 掌握數據預處理的任務，熟練使用SPSS工具完成預處理。

3、 熟練掌握常用的業務專題分析模型：

a) 學會做市場客戶細分，劃分客戶群

b) 學會實現客戶價值評估

c) 學會產品功能設計與新產品銷量預測

d) 熟悉產品定價策略，尋找產品最優定價

e) 熟悉精準推薦策略，學會精準推薦產品

f) 掌握信用評分卡的模型構建

【授課時間】

2-3天時間（每天6個小時）

【授課對象】

業務支撐部、運營分析部、數據分析部、大數據系統開發部等對業務數據分析有較高要求的相關人員。

【學員要求】

1、 每個學員自備一臺便攜機(必須)。

2、 便攜機中事先安裝好Microsoft Office Excel 2013版本及以上。

3、 便攜機中事先安裝好IBM SPSS Statistics v24版本及以上。

注：講師可以提供試用版本軟件及分析數據源。

【授課方式】

數據分析基礎 + 方法講解 + 實際業務問題分析 + 工具實踐操作

采用互動式教學，圍繞業務問題，展開數據分析過程，全過程演練操作，讓學員在分析、分享、講授、總結、自我實踐過程中獲得能力提升。

【課程大綱】

第一部分： 數據挖掘流程—挖掘步驟篇

1、 數據挖掘概述

2、 數據挖掘的標準流程（CRISP-DM）

? 商業理解

? 數據準備

? 數據理解

? 模型建立

? 模型評估

? 模型應用

案例：客戶流失預測及客戶挽留

3、 數據集概述

4、 SPSS工具介紹

5、 數據挖掘常用模型

第二部分： 數據挖掘流程—數據預處理

如何整理數據，了解數據，對數據進行預處理？

1、 數據預處理的四大任務

? 數據集成：多個數據集合并

? 數據清洗：異常值的處理

? 樣本處理：樣本篩選、樣本抽樣、樣本平衡

? 變量處理：變量變換、變量派生、變量精簡

2、 數據集成（數據集合并）

? 樣本追加（添加數據行）：橫向合并

? 變量合并（添加變量列）：縱向合并

3、 數據清洗（異常數據處理）

? 取值范圍限定

? 重復值處理

? 無效值/錯誤值處理

? 缺失值處理

? 離群值/極端值處理

? 數據質量評估

4、 樣本處理：行處理

? 樣本篩選：指定條件篩選指定樣本集（減少樣本數量）

? 樣本抽樣：隨機抽取部分樣本集（減少樣本數量）

? 樣本平衡：正反樣本比例均衡

5、 變量處理：列處理

? 變量變換：原變量取值更新，比如標準化

? 變量派生：根據舊變量生成新的變量

? 變量精簡：變量刪除/降維，減少變量個數

? 類型轉換：數據類型的相互轉換

6、 變量精簡/變量降維常用方法

? 常用降維方法

? 如何確定降維后變量個數

? 特征選擇：選擇重要變量，剔除不重要變量

2 基于變量本身特征來選擇屬性

2 基于數據間的相關性來選擇屬性

2 利用IV值篩選

2 基于信息增益來選擇屬性

? 因子合并：將多個變量進行合并

2 PCA主成分分析

2 判別分析

7、 類型轉換

8、 因子合并/主成分分析

? 因子分析的原因

? 因子個數選擇原則

? 如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

9、 數據探索性分析

演練：描述性分析（頻數、描述、探索、分類匯總）

10、 數據可視化

演練：各種圖形繪制

第三部分： 市場細分模型—聚類模型篇

問題：我們的客戶有幾類？各類特征是什么？如何實現客戶細分，開發符合細分市場的新產品？如何提取客戶特征，從而對產品進行市場定位？

1、 市場細分的常用方法

? 有指導細分

? 無指導細分

2、 聚類分析

? 如何更好的了解客戶群體和市場細分？

? 如何識別客戶群體特征？

? 如何確定客戶要分成多少適當的類別？

? 聚類方法原理介紹

? 聚類方法作用及其適用場景

? 聚類分析的種類

2 K均值聚類

2 層次聚類

2 兩步聚類

? K均值聚類（快速聚類）

案例：移動三大品牌細分市場合適嗎？

演練：寶潔公司如何選擇新產品試銷區域？

演練：如何自動評選優秀員工？

演練：中國各省份發達程度分析，讓數據自動聚類

? 層次聚類（系統聚類）：發現多個類別

? R型聚類與Q型聚類的區別

案例：中移動如何實現客戶細分及營銷策略

演練：中國省市經濟發展情況分析（Q型聚類）

演練：裁判評分的標準衡量，避免“黑哨”（R型聚類）

? 兩步聚類

3、 客戶細分與PCA分析法

? PCA主成分分析的原理

? PCA分析法的適用場景

演練：利用PCA對汽車客戶群進行細分

演練：如何針對汽車客戶群設計汽車

第四部分： 客戶價值評估—RFM模型篇

營銷問題：如何評估客戶的價值？不同的價值客戶有何區別對待？

1、 如何評價客戶生命周期的價值

? 貼現率與留存率

? 評估客戶的真實價值

? 使用雙向表衡量屬性敏感度

? 變化的邊際利潤

案例：評估營銷行為的合理性

2、 RFM模型（客戶價值評估）

? RFM模型，更深入了解你的客戶價值

? RFM模型與市場策略

? RFM模型與活躍度分析

演練：“雙11”淘寶商家如何選擇價值客戶進行促銷

演練：結合響應模型，宜家IKE實現最大化營銷利潤

案例：重購用戶特征分析

第五部分： 產品設計優化—隨機效用理論

1、 產品專題分析主要任務

? 產品設計分析

? 市場占有分析

? 累計銷量分析

? 定價策略分析

2、 產品設計優化（聯合分析法）

問題：如何設計最優的功能特征？

? 評估功能特征的重要性

? 評估功能特征的價值

案例：產品開發與設計分析

3、 產品評估模型（隨機效用理論）

? 屬性重要性評估

? 市場占有率評估

? 產品價格彈性評估

? 評估產品的品牌價值

? 動態調價（納會均衡價格）

案例：品牌價值與價格敏感度分析

案例：納什均衡價格

第六部分： 產品定價策略—最優定價篇

營銷問題：產品如何實現最優定價？套餐價格如何確定？采用哪種定價策略可達到利潤最大化？

1、 常見的定價方法

2、 產品定價的理論依據

? 需求曲線與利潤最大化

? 如何求解最優定價

案例：產品最優定價求解

3、 如何評估需求曲線

? 價格彈性

? 曲線方程（線性、乘冪）

4、 如何做產品組合定價

5、 如何做產品捆綁/套餐定價

? 最大收益定價（演進規劃求解）

? 避免價格反轉的套餐定價

案例：電信公司的寬帶、IPTV、移動電話套餐定價

6、 非線性定價原理

? 要理解支付意愿曲線

? 支付意愿曲線與需求曲線的異同

案例：雙重收費如何定價（如會費+按次計費）

7、 階梯定價策略

案例：電力公司如何做階梯定價

8、 數量折扣定價策略

案例：如何通過折扣來實現薄利多銷

9、 定價策略的評估與選擇

案例：零售公司如何選擇最優定價策略

10、 航空公司的收益管理

? 收益管理介紹

? 如何確定機票預訂限制

? 如何確定機票超售數量

? 如何評估模型的收益

案例：FBN航空公司如何實現收益管理（預訂/超售）

第七部分： 產品推薦算法—推薦模型篇

問題：購買A產品的顧客還常常要購買其他什么產品？應該給客戶推薦什么產品最有可能被接受？

1、 從搜索引擎到推薦引擎

2、 常用產品推薦模型及算法

3、 基于流行度的推薦

? 基于排行榜的推薦，適用于剛注冊的用戶

? 優化思路：分群推薦

4、 基于內容的推薦CBR

? 關鍵問題：如何計算物品的相似度

? 優缺點

? 優化：Rocchio算法、基于標簽的推薦、基于興趣度的推薦

5、 基于用戶的推薦

? 關鍵問題：如何對用戶分類/計算用戶的相似度

? 算法：按屬性分類、RFM模型、PCA、聚類、按偏好分類、按地理位置

6、 協同過濾的推薦

? 基于用戶的協同過濾

? 基于物品的協同過濾

? 冷啟動的問題

案例：計算用戶相似度、計算物品相似度

7、 基于關聯分析的推薦

? 如何制定套餐，實現交叉/捆綁銷售

案例：啤酒與尿布、颶風與蛋撻

? 關聯分析模型原理（Association）

? 關聯規則的兩個關鍵參數

2 支持度

2 置信度

? 關聯分析的適用場景

案例：購物籃分析與產品捆綁銷售/布局優化

案例：通信產品的交叉銷售與產品推薦

8、 基于分類模型的推薦

9、 其它推薦算法

? LFM基于隱語義模型

? 按社交關系

? 基于時間上下文

10、 多推薦引擎的協同工作

第八部分： 銀行信用評估—信用評分卡模型

信用評分卡模型簡介

評分卡的關鍵問題

信用評分卡建立過程

? 篩選重要屬性

? 數據集轉化

? 建立分類模型

? 計算屬性分值

? 確定審批閾值

篩選重要屬性

? 屬性分段

? 基本概念：WOE、IV

? 屬性重要性評估

數據集轉化

? 連續屬性最優分段

? 計算屬性取值的WOE

建立分類模型

? 訓練邏輯回歸模型

? 評估模型

? 得到字段系數

計算屬性分值

? 計算補償與刻度值

? 計算各字段得分

? 生成評分卡

確定審批閾值

? 畫K-S曲線

? 計算K-S值

? 獲取最優閾值

案例：構建銀行小額貸款的用戶信用模型

結束：課程總結與問題答疑。