大數據分析與挖掘綜合能力提升實戰

【課程目標】

本課程為進階課程，面向所有業務支撐部門及數據分析部門。

本課程的主要目的是，幫助學員掌握大數據建?；A知識，幫助學員構建系統全面的預測建模思維，提升學員的數據建模綜合能力。

本課程具體內容包括：

1、 數據建模流程，特征工程處理

2、 線性回歸模型，模型基本原理

3、 模型質量評估，模型優化措施

4、 回歸方程解讀，自定義回歸模型

本系列課程從實際的業務需求出發，結合行業的典型應用特點，圍繞實際的商業問題，對數據預測建模的過程進行了全面的介紹（從模型選擇，到特征選擇，再到訓練模型，評估模型，以及優化模型和模型解讀），通過大量的操作演練，幫助學員掌握數據建模的思路、方法、技巧，以提升學員的數據建模的能力，支撐運營決策的目的。

通過本課程的學習，達到如下目的：

1、 掌握數據建模的標準過程和步驟

2、 掌握建模前的特征選擇常用方法，學會尋找影響業務的關鍵要素

3、 掌握回歸預測模型基本原理，學會解讀回歸方程的含義

4、 理解并掌握定量預測模型的評估指標的含義

5、 學會利用規劃求解實現自定義回歸模型（非線性回歸模型）

6、 掌握常用的回歸模型優化措施

7、 熟練掌握數據預處理的基本任務，并根據業務實際情況進行處理

【授課時間】

2天時間（每天6個小時）

【授課對象】

產品銷量部、業務支撐部、運營分析部、數據分析部、大數據系統開發部等對業務數據分析有較高要求的相關人員。

【學員要求】

1、 每個學員自備一臺便攜機(必須)。

2、 便攜機中事先安裝好Microsoft Office Excel 2013版本及以上。

3、 便攜機中事先安裝好IBM SPSS Statistics v19版本及以上。

注：講師可以提供試用版本軟件及分析數據源。

【授課方式】

理論精講 + 模型原理 + 實際業務問題分析 + 工具實踐操作

采用互動式教學，圍繞業務問題，展開數據分析過程，全過程演練操作，讓學員在分析、分享、講授、總結、自我實踐過程中獲得能力提升。

【課程大綱】

第一部分： 數據建模過程—建模步驟篇

1、 預測建模六步法

? 選擇模型：基于業務選擇恰當的數據模型

? 特征工程：選擇對目標變量有顯著影響的屬性來建模

? 訓練模型：采用合適的算法對模型進行訓練，尋找到最優參數

? 評估模型：進行評估模型的質量，判斷模型是否可用

? 優化模型：如果評估結果不理想，則需要對模型進行優化

? 應用模型：如果評估結果滿足要求，則可應用模型于業務場景

2、 數據挖掘常用的模型

? 定量預測模型：回歸預測、時序預測等

? 定性預測模型：邏輯回歸、決策樹、神經網絡、支持向量機等

? 市場細分：聚類、RFM、PCA等

? 產品推薦：關聯分析、協同過濾等

? 產品優化：回歸、隨機效用等

? 產品定價：定價策略/最優定價等

3、 特征工程/特征選擇/變量降維

? 基于變量本身特征

? 基于相關性判斷

? 因子合并（PCA等）

? IV值篩選（評分卡使用）

? 基于信息增益判斷（決策樹使用）

4、 模型評估

? 模型質量評估指標：R^2、正確率/查全率/查準率/特異性等

? 預測值評估指標：MAD、MSE/RMSE、MAPE、概率等

? 模型評估方法：留出法、K拆交叉驗證、自助法等

? 其它評估：過擬合評估、殘差檢驗

5、 模型優化

? 優化模型：選擇新模型/修改模型

? 優化數據：新增顯著自變量

? 優化公式：采用新的計算公式

? 集成思想：Bagging/Boosting/Stacking

6、 常用預測模型介紹

? 時序預測模型

? 回歸預測模型

? 分類預測模型

第二部分： 數據建模過程—特征工程篇

問題：如何選擇合適的屬性/特征來建模呢？選擇的依據是什么？比如價格是否可用于產品銷量預測？

1、 數據預處理vs特征工程

2、 特征工程處理內容

? 變量變換

? 變量派生

? 變量精簡（特征選擇、因子合并）

? 類型轉換

3、 特征選擇常用方法

? 相關分析、方差分析、卡方檢驗

4、 相關分析（衡量兩數據型變量的線性相關性）

? 相關分析簡介

? 相關分析的應用場景

? 相關分析的種類

2 簡單相關分析

2 偏相關分析

2 距離相關分析

? 相關系數的三種計算公式

2 Pearson相關系數

2 Spearman相關系數

2 Kendall相關系數

? 相關分析的假設檢驗

? 相關分析的四個基本步驟

演練：營銷費用會影響銷售額嗎？影響程度如何量化？

演練：哪些因素與汽車銷量有相關性

演練：影響用戶消費水平的因素會有哪些

? 偏相關分析

2 偏相關原理：排除不可控因素后的兩變量的相關性

2 偏相關系數的計算公式

2 偏相關分析的適用場景

? 距離相關分析

5、 方差分析（衡量類別變量與數值變量間的相關性）

? 方差分析的應用場景

? 方差分析的三個種類

2 單因素方差分析

2 多因素方差分析

2 協方差分析

? 單因素方差分析的原理

? 方差分析的四個步驟

? 解讀方差分析結果的兩個要點

演練：擺放位置與銷量有關嗎

演練：客戶學歷對消費水平的影響分析

演練：廣告和價格是影響終端銷量的關鍵因素嗎

演練：營業員的性別、技能級別對產品銷量有影響嗎

演練：尋找影響產品銷量的關鍵因素

? 多因素方差分析原理

? 多因素方差分析的作用

? 多因素方差結果的解讀

演練：廣告形式、地區對銷量的影響因素分析

? 協方差分析原理

? 協方差分析的適用場景

演練：排除產品價格，收入對銷量有影響嗎？

6、 列聯分析/卡方檢驗（兩類別變量的相關性分析）

? 交叉表與列聯表：計數值與期望值

? 卡方檢驗的原理

? 卡方檢驗的幾個計算公式

? 列聯表分析的適用場景

案例：套餐類型對客戶流失的影響分析

案例：學歷對業務套餐偏好的影響分析

案例：行業/規模對風控的影響分析

第三部分： 定量預測模型—回歸模型篇

營銷問題：如何預測未來的產品銷量/銷售額？如果產品跟隨季節性變動，該如何預測？

1、 回歸分析簡介和原理

2、 回歸分析的種類

? 一元回歸/多元回歸

? 線性回歸/非線性回歸

3、 常用回歸分析方法

? 散點圖+趨勢線（一元）

? 線性回歸工具（多元線性）

? 規劃求解工具（非線性回歸）

演練：散點圖找營銷費用與銷售額的關系

4、 線性回歸分析的五個步驟

演練：營銷費用、辦公費用與銷售額的關系（線性回歸）

5、 線性回歸方程的解讀技巧

? 定性描述：正相關/負相關

? 定量描述：自變量變化導致因變量的變化程度

6、 回歸預測模型評估

? 質量評估指標：判定系數R^2

? 如何選擇最佳回歸模型

演練：如何選擇最佳的回歸預測模型（一元曲線回歸）

7、 帶分類自變量的回歸預測

演練：汽車季度銷量預測

演練：工齡、性別與終端銷量的關系

演練：如何評估銷售目標與資源最佳配置

8、 自動篩選不顯著因素（自變量）

第四部分： 定量預測模型—回歸優化篇

1、 回歸分析的基本原理

? 三個基本概念：總變差、回歸變差、剩余變差

? 方程的顯著性檢驗：方程可用性

? 因素的顯著性檢驗：因素可用性

? 方程擬合優度檢驗：質量好壞程度

? 理解標準誤差含義：預測準確性？

2、 回歸模型優化措施：尋找最佳回歸擬合線

? 如何處理預測離群值（剔除離群值）

? 如何剔除不顯著因素（剔除不顯著因素）

? 如何進行非線性關系檢驗（增加非線性自變量）

? 如何進行相互作用檢驗（增加相互作用自變量）

? 如何進行多重共線性檢驗（剔除共線性自變量）

演練：模型優化演示

3、 好模型都是優化出來的

第五部分： 定量預測模型—自定義回歸篇

1、 回歸建模的本質

2、 規劃求解工具簡介

3、 自定義回歸模型

案例：如何對客流量進行建模預測及模型優化

4、 回歸季節預測模型模型

? 回歸季節模型的原理及應用場景

? 加法季節模型

? 乘法季節模型

? 模型解讀

案例：美國航空旅客里程的季節性趨勢分析

5、 新產品累計銷量的S曲線

? S曲線模型的應用場景（最大累計銷量及銷量增長的拐點）

? 珀爾曲線

? 龔鉑茲曲線

案例：如何預測產品的銷售增長拐點，以及銷量上限

演練：預測IPad產品的銷量

第六部分： 定量預測模型—模型評估篇

1、 定量預測模型的評估

? 方程顯著性評估

? 因素顯著性評估

? 擬合優度的評估

? 估計標準誤差評估

? 預測值準確度評估

2、 模型擬合度評估

? 判定系數：

? 調整判定系數：

3、 預測值準確度評估

? 平均絕對誤差：MAE

? 根均方差：RMSE

? 平均誤差率：MAPE

4、 其它評估：殘差檢驗、過擬合檢驗

結束：課程總結與問題答疑。