大數據分析與挖掘綜合能力提升實戰

【課程目標】

本課程為針對金融行業的大數據分析實戰課程。

圍繞金融行業常見的業務問題，利用大數據的思維方式，重塑解決業務問題的新思維和新方法。內容由淺入深，從數據統計到數據分析，再到數據挖掘；從描述性分析，到相關性分析，再到預測分析，實現對業務的過去、現在和未來的全面系統地分析與挖掘。

本課程覆蓋了如下內容：

1、 數據分析的核心理念，數據分析的基礎。

2、 數據分析過程，數據分析方法，數據分析思路。

3、 高級數據分析與挖掘模型（影響因素分析、數值預測、分類預測、市場細分、客戶價值評估、精準推薦、產品設計、產品定價等）。

本課程從實際的業務需求出發，結合行業的典型應用特點，圍繞實際的商業問題，對數據分析及數據挖掘技術進行了全面的介紹（從數據收集與處理，到數據分析與挖掘，再到數據可視化和報告撰寫），通過大量的操作演練，幫助學員掌握數據分析和數據挖掘的思路、方法、表達、工具，從大量的企業經營數據中進行分析，挖掘客戶行為特點，幫助運營團隊深入理解業務運作，以達到提升學員的數據綜合分析能力，支撐運營決策的目的。

通過本課程的學習，達到如下目的：

1、 了解數據分析基礎知識，掌握數據分析的基本過程。

2、 學會數據分析的框架和思路，掌握常用數據分析方法來分析問題。

3、 熟悉數據分析的基本過程，掌握高級數據分析工具庫操作。

4、 熟練掌握常用的數據挖掘方法，用來解決常見的業務問題（如市場細分、客戶行為預測，交叉銷售等等）

【授課時間】

2~6天時間，或根據客戶需求選擇。

【授課對象】

銷售部門、營業廳、業務支撐、經營分析部、網管/網優中心、運營分析部、呼叫中心等對業務數據分析有要求的相關人員。

【學員要求】

1、 每個學員自備一臺便攜機(必須)。

2、 便攜機中事先安裝好Excel 2010版本及以上。

3、 便攜機中事先安裝好IBM SPSS Statistics v19版本及以上。

4、 便攜機中事先安裝好IBM SPSS Modeler v14版本及以上。

注：講師可以提供試用版本軟件及分析數據源。

【授課方式】

數據分析基礎 + 方法講解 + 實際業務問題分析 + 工具實踐操作

采用互動式教學，圍繞業務問題，展開數據分析過程，全過程演練操作，讓學員在分析、分享、講授、總結、自我實踐過程中獲得能力提升。

【課程大綱】

第一部分： 金融行業的大數據

1、 數據驅動成為銀行發展的新動力

2、 大數據在銀行業的應用

? 營銷支持

? 風險管控

? 精細化管理

? 決策支持

3、 銀行大數據應用案例

? 信貸風險控制

? 差異化產品營銷

? 客戶興趣與客戶細分

? 個人信用評估

4、 大數據在各銀行的應用

? 中信銀行，以客戶為上帝

? 民生銀行大數據戰略

? 青島銀行提升運營能力

5、 大數據應用系統的四層結構

? 數據基礎層

? 數據模型層

? 業務模型層

? 業務應用層

第二部分： 大數據的核心理念

問題：大數據的核心價值是什么？大數據是怎樣用于業務決策？

1、 大數據時代：你缺的不是一堆方法，而是大數據思維

2、 大數據是探索事物發展和變化規律的工具

3、 一切不以解決業務問題為導向的大數據都是耍流氓

4、 大數據的核心能力

? 發現業務運行規律及問題

? 探索業務未來發展趨勢

5、 從案例看大數據的核心本質

? 用趨勢圖來探索產品銷量規律

? 從谷歌的GFT產品探索用戶需求變化

? 從美國總統競選看大數據對選民行為進行分析

? 從大數據炒股看大數據如何探索因素的相關性

6、 認識大數據分析

? 什么是數據分析

? 數據分析的三大作用

? 常用分析的三大類別

案例：喜歡賺“差價”的營業員（用數據管理來識別）

7、 數據分析需要什么樣的能力

? 懂業務、懂管理、懂分析、懂工具、懂呈現

8、 大數據應用系統的四層結構

? 數據基礎層、數據模型層、業務模型層、業務應用層

9、 大數據分析的兩大核心理念

10、 大數據分析面臨的常見問題

? 不知道分析什么（分析目的不明確）

? 不知道怎樣分析（缺少分析方法）

? 不知道收集什么樣的數據（業務理解不足）

? 不知道下一步怎么做（不了解分析過程）

? 看不懂數據表達的意思（數據解讀能力差）

? 擔心分析不夠全面（分析思路不系統）

第三部分： 數據分析基本過程

1、 數據分析的六步曲

2、 步驟1：明確目的--理清思路

? 確定分析目的：要解決什么樣的業務問題

? 確定分析思路：分解業務問題，構建分析框架

3、 步驟2：數據收集—理清思路

? 明確收集數據范圍

? 確定收集來源

? 確定收集方法

4、 步驟3：數據預處理—尋找答案

? 數據質量評估

? 數據清洗、數據處理和變量處理

? 探索性分析

5、 步驟4：數據分析--尋找答案

? 選擇合適的分析方法

? 構建合適的分析模型

? 選擇合適的分析工具

6、 步驟5：數據展示--觀點表達

? 選擇恰當的圖表

? 選擇合適的可視化工具

7、 步驟6：報表撰寫--觀點表達

? 選擇報告種類

? 完整的報告結構

8、 數據分析的三大誤區

演練：如何用大數據來支撐產品精準營銷項目

第四部分： 統計分析方法篇

問題：數據分析有什么方法可依?不同的方法適用解決什么樣的問題？

1、 數據分析方法的層次

? 基本分析法（對比/分組/結構/趨勢/…）

? 綜合分析法（交叉/綜合評價/杜邦/漏斗/…）

? 高級分析法（相關/方差/驗證/回歸/時序/…）

? 數據挖掘法（聚類/分類/關聯/RFM模型/…）

2、 統計分析常用指標

? 計數、求和、百分比（增跌幅）

? 集中程度：均值、中位數、眾數

? 離散程度：極差、方差/標準差

? 分布形態：偏度、峰度

3、 基本分析方法及其適用場景

? 對比分析（查看數據差距）

演練：評估不同類型客戶的存款偏好

演練：如何找到消費能力強的用戶

? 分組分析（查看數據分布）

演練：銀行用戶消費層次分析（銀行）

演練：呼叫中心接聽電話效率分析（呼叫中心）

演練：客服中心科學排班人數需求分析（客服中心）

? 結構分析（評估事物構成）

案例：銀行用戶市場占比結構分析

案例：用戶構成分析、用戶收入結構分析

案例：動態結構分析

? 趨勢分析（發現變化規律）

案例：銀行ATM柜員機現金管理分析（銀行）

案例：理財產品銷量的淡旺季分析

演練：發現產品銷售的時間規律

? 交叉分析（多維數據分析）

演練：用戶分布多維分析

演練：不同區域的理財產品偏好分析

演練：不同教育水平的理財產品偏好分析

4、 最合適的分析方法才是硬道理。

第五部分： 數據分析思路篇

問題：數據分析思路是怎樣的？如何才能全面/系統地分析而不遺漏？

1、 數據分析的思路

? 從KPI指標開始

? 從營銷/管理模型開始

2、 常用分析思路模型

3、 企業外部環境分析（PEST分析法）

案例：行業外部環境分析

4、 用戶消費行為分析（5W2H分析法）

案例：用戶購買行為分析（5W2H）

5、 公司整體經營情況分析（4P營銷理論）

6、 業務問題專題分析（邏輯樹分析法）

案例：用戶增長緩慢分析

7、 用戶使用行為研究（用戶使用行為分析法）

案例：產品銷售流程優化分析

第六部分： 影響因素分析篇

問題：如何判斷一個因素對另一個因素有影響？

風險控制的關鍵因素有哪些？營銷費用是否會影響銷售額？產品價格是否會影響銷量？產品的陳列位置/營銷渠道方式是否會影響產品銷量？

1、 影響因素分析的常見方法

2、 相關分析（衡量變量間的的相關性）

? 什么是相關關系

? 相關系數：衡量相關程度的指標

? 相關系數的三個計算公式

? 相關分析的假設檢驗

? 相關分析的基本步驟

? 相關分析應用場景

演練：營銷費用會影響銷售額嗎？

演練：哪些因素與理財產品銷量有相關性？

? 偏相關分析

2 偏相關系數的計算公式

2 偏相關分析的適用場景

? 距離相關分析

3、 方差分析

問題：哪些才是影響銷量的關鍵因素？

? 方差分析解決什么問題

? 方差分析種類：單因素/雙因素/協方差分析

? 方差分析的應用場景

? 方差分析的原理與步驟

? 如何解決方差分析結果

演練：營銷渠道與產品銷量有關嗎？

演練：客戶學歷對消費水平的影響分析

演練：廣告形式和價格是影響產品銷量的關鍵因素嗎

演練：營業員的性別、技能級別對產品銷量有影響嗎？

演練：尋找導致產品銷售額下降的關鍵因素

? 多因素方差分析原理

? 多因素方差結果的解讀

演練：廣告形式、渠道對銷量的影響因素分析（多因素）

演練：如何判斷是否還有因素在影響銷量？

? 協方差分析原理

4、 列聯分析（兩類別變量的相關性分析）

? 交叉表與列聯表

? 卡方檢驗的原理

? 卡方檢驗的幾個計算公式

? 列聯表分析的適用場景

案例：業務類型對客戶流失的影響分析

案例：學歷對理財產品偏好的影響分析

案例：行業/規模對風控的影響分析

第七部分： 數值預測模型篇

問題：如何預測產品的銷量/銷售金額？

1、 銷量預測與市場預測——讓你看得更遠

2、 回歸預測/回歸分析

問題：如何預測未來的銷售量（定量分析）？

? 回歸分析的基本原理和應用場景

? 回歸分析的種類（一元/多元、線性/曲線）

? 得到回歸方程的幾種常用方法

? 回歸分析的五個步驟與結果解讀

? 回歸預測結果評估（如何評估預測質量，如何選擇最佳回歸模型）

演練：散點圖找到推廣費用與銷售額的關系（一元線性回歸）

演練：推廣費用、辦公費用與銷售額的關系（多元線性回歸）

演練：讓你的營銷費用預算更準確

演練：如何選擇最佳的回歸預測模型（曲線回歸）

? 帶分類變量的回歸預測

演練：產品季度銷量預測

演練：工齡、性別與產品銷量的關系

演練：如何評估銷售目標與資源配置

3、 時序預測

問題：隨著時間變化，未來的銷量變化趨勢如何？

? 時序分析的應用場景（基于時間的變化規律）

? 移動平均MA的預測原理

? 指數平滑ES的預測原理

? 自回歸移動平均ARIMA模型

? 如何評估預測值的準確性？

案例：銷售額的時序預測及評估

演練：產品銷量預測及評估

演練：上海證券交易所綜合指數收益率序列分析

4、 季節性預測模型

? 季節性回歸模型的參數

? 常用季節性預測模型（相加、相乘）

? 怎樣解讀模型的含義

案例：美國航空旅客里程的季節性趨勢分析

案例：產品銷售季節性趨勢預測分析

5、 新產品預測模型與S曲線

? 如何評估銷量增長的拐點

? 珀爾曲線與龔鉑茲曲線

案例：如何預測產品的銷售增長拐點，以及銷量上限

演練：預測IPad產品的銷量

第八部分： 回歸模型優化篇

1、 回歸模型的基本原理

? 三個基本概念：總變差、回歸變差、剩余變差

? 方程的顯著性檢驗：是否可以做回歸分析？

? 擬合優度檢驗：回歸模型的質量評估？

? 因素的顯著性檢驗：自變量是否可用？

? 理解標準誤差的含義：預測的準確性？

2、 模型優化思路：尋找最佳回歸擬合線

? 如何處理異常數據（殘差與異常值排除）

? 如何剔除非顯著因素（因素顯著性檢驗）

? 如何進行非線性關系檢驗

? 如何進行相互作用檢驗

? 如何進行多重共線性檢驗

? 如何檢驗誤差項

? 如何判斷模型過擬合

案例：模型優化案例

6、 自定義模型（如何利用規劃求解進行自定義模型）

案例：如何對營業廳客流量進行建模及模型優化

第九部分： 分類預測模型篇

問題：如何評估客戶購買產品的可能性？或者說，影響客戶購買意向的產品關鍵特性是什么？

1、 分類模型概述

2、 常見分類預測模型

3、 邏輯回歸模型

? 邏輯回歸模型原理及適用場景

? 邏輯回歸種類：二元/多元邏輯回歸

? 如何解讀邏輯回歸方程

案例：如何評估用戶是否會購買某產品（二元邏輯）

? 消費者品牌選擇模型分析

案例：品牌選擇模型分析，你的品牌適合哪些人群？（多元邏輯）

4、 分類決策樹

問題：如何預測客戶行為？如何識別潛在客戶？

風控：如何識別欠貸者的特征，以及預測欠貸概率？

客戶保有：如何識別流失客戶特征，以及預測客戶流失概率？

? 決策樹分類簡介

? 如何評估分類性能？

案例：美國零售商（Target）如何預測少女懷孕

演練：識別銀行欠貨風險，提取欠貸者的特征

? 構建決策樹的三個關鍵問題

2 如何選擇最佳屬性來構建節點

2 如何分裂變量

2 修剪決策樹

? 選擇最優屬性

2 熵、基尼索引、分類錯誤

2 屬性劃分增益

? 如何分裂變量

2 多元劃分與二元劃分

2 連續變量離散化（最優劃分點）

? 修剪決策樹

2 剪枝原則

2 預剪枝與后剪枝

? 構建決策樹的四個算法

2 C5.0、CHAID、CART、QUEST

2 各種算法的比較

? 如何選擇最優分類模型？

? 案例：客戶流失預警與客戶挽留模型

? 案例：識別拖欠銀行貨款者的特征，避免不良貨款

5、 基于規則的分類

? 基于規則分類原理介紹

? 評估規則的質量

? 構建分類規則：順序覆蓋法

? 規則增長策略

6、 最近鄰分類（KNN）

7、 貝葉斯分類（NBN）

? 貝葉斯分類原理

? 計算類別屬性的條件概率

? 估計連續屬性的條件概率

? 貝葉斯網絡種類：TAN/馬爾科夫毯

? 預測分類概率（計算概率）

案例：評估銀行用戶拖欠貨款的概率

8、 人工神經網絡（ANN）

? 神經網絡概述

? 神經網絡基本原理

? 神經網絡的結構

? 神經網絡的建立步驟

? 神經網絡的關鍵問題

? BP反向傳播網絡（MLP）

? 徑向基網絡（RBF）

案例：評估銀行用戶拖欠貨款的概率

9、 支持向量機（SVM）

? SVM基本原理

? 線性可分問題：最大邊界超平面

? 線性不可分問題：特征空間的轉換

? 維空難與核函數

10、 判別分析

? 判別分析原理

? 距離判別法

? 典型判別法

? 貝葉斯判別法

第十部分： 分類模型優化（集成方法）

1、 集成方法的基本原理：利用弱分類器構建強分類模型

? 選取多個數據集，構建多個弱分類器

? 多個弱分類器投票決定

2、 集成方法/元算法的種類

? Bagging算法

? Boosting算法

3、 Bagging原理

? 如何選擇數據集

? 如何進行投票

? 隨機森林

4、 Boosting的原理

? AdaBoost算法流程

? 樣本選擇權重計算公式

? 分類器投票權重計算公式

第十一部分： 市場細分模型篇

問題：我們的客戶有幾類？各類特征是什么？如何實現客戶細分，開發符合細分市場的新產品？如何提取客戶特征，從而對產品進行市場定位？

1、 市場細分的常用方法

? 有指導細分

? 無指導細分

2、 聚類分析

? 如何更好的了解客戶群體和市場細分？

? 如何識別客戶群體特征？

? 如何確定客戶要分成多少適當的類別？

? 聚類方法原理介紹

? 聚類方法作用及其適用場景

? 聚類分析的種類

? K均值聚類（快速聚類）

案例：移動三大品牌細分市場合適嗎？

演練：寶潔公司如何選擇新產品試銷區域？

演練：如何評選優秀員工？

演練：中國各省份發達程度分析，讓數據自動聚類

? 層次聚類（系統聚類）：發現多個類別

? R型聚類與Q型聚類的區別

案例：中移動如何實現客戶細分及營銷策略

演練：中國省市經濟發展情況分析（Q型聚類）

演練：裁判評分的標準衡量，避免“黑哨”（R型聚類）

? 兩步聚類

3、 RFM客戶細分模型（詳見客戶價值評估部分）

4、 主成分分析

? 主成分分析方法介紹

? 主成分分析基本思想

? 主成分分析步驟

案例：如何評估產品購買者的客戶細分市場

第十二部分： 數據預處理過程

1、 數據預處理的主要任務

? 數據集成：多個數據集的合并

? 數據清理：異常值的處理

? 數據處理：數據篩選、數據精簡、數據平衡

? 變量處理：變量變換、變量派生、變量精簡

? 數據歸約：實現降維，避免維災難

2、 數據集成

? 外部數據讀入：Txt/Excel/SPSS/Database

? 數據追加（添加數據）

? 變量合并（添加變量）

3、 數據理解（異常數據處理）

? 取值范圍限定

? 重復值處理

? 無效值/錯誤值處理

? 缺失值處理

? 離群值/極端值處理

? 數據質量評估

4、 數據準備：數據處理

? 數據篩選：數據抽樣/選擇（減少樣本數量）

? 數據精簡：數據分段/離散化（減少變量的取值個數）

? 數據平衡：正反樣本比例均衡

5、 數據準備：變量處理

? 變量變換：原變量取值更新，比如標準化

? 變量派生：根據舊變量生成新的變量

? 變量精簡：降維，減少變量個數

6、 數據降維

? 常用降維的方法

? 如何確定變量個數

? 特征選擇：選擇重要變量，剔除不重要的變量

2 從變量本身考慮

2 從輸入變量與目標變量的相關性考慮

2 對輸入變量進行合并

? 因子分析（主成分分析）

2 因子分析的原理

2 因子個數如何選擇

2 如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

7、 數據探索性分析

? 常用統計指標分析

? 單變量：數值變量/分類變量

? 雙變量：交叉分析/相關性分析

? 多變量：特征選擇、因子分析

演練：描述性分析（頻數、描述、探索、分類匯總）

8、 數據可視化

? 數據可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等

? 圖形的表達及適用場景

演練：各種圖形繪制

第十三部分： 產品推薦模型篇

問題：購買A產品的顧客還常常要購買其他什么產品？應該給客戶推薦什么產品最有可能被接受？

1、 常用產品推薦模型

2、 關聯分析

? 如何制定套餐，實現交叉/捆綁銷售

案例：啤酒與尿布、颶風與蛋撻

? 關聯分析模型原理（Association）

? 關聯規則的兩個關鍵參數

2 支持度

2 置信度

? 關聯分析的適用場景

案例：購物籃分析與產品捆綁銷售/布局優化

案例：理財產品的交叉銷售與產品推薦

? 如何提取關聯規則（關聯分析的算法）

2 Apriori算法

2 FP-Growth算法

3、 協同過濾

第十四部分： 客戶價值分析

營銷問題：如何評估客戶的價值？不同的價值客戶有何區別對待？

1、 如何評價客戶生命周期的價值

? 貼現率與留存率

? 評估客戶的真實價值

? 使用雙向表衡量屬性敏感度

? 變化的邊際利潤

案例：評估營銷行為的合理性

2、 RFM模型（客戶價值評估）

? RFM模型，更深入了解你的客戶價值

? RFM模型與市場策略

? RFM模型與活躍度分析

案例：客戶價值評估與促銷名單

案例：重購用戶特征分析

第十五部分： 產品設計與優化

1、 聯合分析法

? 如何指導產品開發？

? 如何確定產品的重要特性

2、 離散選擇模型

? 如何評估客戶購買產品的概率

? 競爭下的產品動態調價

? 如何評估產品的價格彈性

案例：產品開發應該重視哪些功能特性？

案例：品牌價值與價格敏感度分析

案例：納什均衡價格

3、 品牌價值評估

4、 新產品市場占有率評估

第十六部分： 定價策略分析

營銷問題：產品如何實現最優定價？套餐價格如何確定？采用哪些定價策略可達到利潤最大化？

1、 常見的定價方法

2、 產品定價的理論依據

? 需求曲線與利潤最大化

? 如何求解最優定價

案例：產品最優定價求解

3、 如何評估需求曲線

? 價格彈性

? 曲線方程（線性、乘冪）

4、 如何做產品組合定價

5、 如何做產品捆綁/套餐定價

? 最大收益定價（演進規劃求解）

? 避免價格反轉的套餐定價

案例：電信公司的寬帶、IPTV、移動電話套餐定價

6、 非線性定價原理

? 要理解支付意愿曲線

? 支付意愿曲線與需求曲線的異同

案例：雙重收費如何定價（如會費+按次計費）

7、 階梯定價策略

案例：如何做階梯定價

8、 數量折扣定價策略

案例：如何通過折扣來實現薄利多銷

9、 定價策略的評估與選擇

案例：公司如何選擇最優定價策略

結束：課程總結與問題答疑。