Python數據建模

【課程目標】

本課程為中級課程《大數據建模》的第二篇：時序篇

本課程主要講解如何利用Python進行時間序列的數據建模，幫助學員構建系統全面的預測建模思維，提升學員的數據建模綜合能力。

本系列課程從實際的業務需求出發，結合行業的典型應用特點，圍繞實際的商業問題，對數據預測建模的過程進行了全面的介紹（從模型選擇，到屬性選擇，再到訓練模型，評估模型以及優化模型），通過大量的操作演練，幫助學員掌握數據建模的思路、方法、技巧，以提升學員的數據建模的能力，支撐運營決策的目的。

通過本課程的學習，達到如下目的：

1、 掌握數據建模的標準流程。

2、 掌握時序預測建模的基本思想，理解因素分解的思路。

3、 掌握常用的趨勢擬合模型。

4、 掌握常用的季節預測模型，能夠進行季節周期性的時序建模。

5、 深刻理念平穩序列的概念，以及平穩性檢驗。

6、 掌握平穩序列的模型識別，以及模型定階。

7、 掌握時序預測模型的評估，以及優化。

8、 掌握高級時序模型的訓練與建模。

【授課時間】

2天時間

（要根據學員的實際情況調整重點內容及時間）

【授課對象】

業務支撐部、運營分析部、數據分析部、IT系統部、大數據系統開發部等相關技術人員。

【學員要求】

1、 每個學員自備一臺便攜機(必須)。

2、 便攜機中事先安裝好Python 3.9版本及以上。

3、 安裝好Numpy,Pandas,statsmodels,sklearn,scipy,keras等擴展庫。

注：講師現場提供分析的代碼和數據源。

【授課方式】

建模流程+ 案例演練 + 開發實踐 + 可視化呈現

采用互動式教學，圍繞業務問題，展開數據分析過程，全過程演練操作，讓學員在分析、分享、講授、總結、自我實踐過程中獲得能力提升。

【課程大綱】

第一部分： 預測建模基礎

1、 數據建模六步法

? 選擇模型：基于業務選擇恰當的數據模型

? 屬性篩選：選擇對目標變量有顯著影響的屬性來建模

? 訓練模型：采用合適的算法，尋找到最合適的模型參數

? 評估模型：進行評估模型的質量，判斷模型是否可用

? 優化模型：如果評估結果不理想，則需要對模型進行優化

? 應用模型：如果評估結果滿足要求，則可應用模型于業務場景

2、 數據挖掘常用的模型

? 數值預測模型：回歸預測、時序預測等

? 分類預測模型：邏輯回歸、決策樹、神經網絡、支持向量機等

? 市場細分：聚類、RFM、PCA等

? 產品推薦：關聯分析、協同過濾等

? 產品優化：回歸、隨機效用等

? 產品定價：定價策略/最優定價等

3、 屬性篩選/特征選擇/變量降維

? 基于變量本身特征

? 基于相關性判斷

? 因子合并（PCA等）

? IV值篩選（評分卡使用）

? 基于信息增益判斷（決策樹使用）

4、 訓練模型及實現算法

? 模型原理

? 算法實現

5、 評估模型

? 評估指標

? 評估方法

? 殘差評估

6、 模型優化

? 優化模型：選擇新模型/修改模型

? 優化數據：新增顯著自變量

? 優化公式：采用新的計算公式

7、 模型應用

? 模型解讀

? 模型保存/加載

? 模型應用/預測

8、 好模型是優化出來的

第二部分： 時序模型評估

1、 評估指標

? 判定系數：和

? 平均誤差：MAE

? 根均方差：RMSE

? 平均誤差率：MAPE

2、 信息準則指標

? 赤池信息準則（Akaike Information Criterion，AIC）

? 貝葉斯信息準則（Bayesian Information Criterion，BIC）

? HQIC（Hannan-Quinn Information Criterion，HQIC）

3、 評估方法

? 滾動交叉驗證法（cross validation）

4、 其它評估

? 殘差評估：白噪聲評估

第三部分： 趨勢預測模型

問題：無法找到影響因素，無法回歸建模，怎么辦？隨著業務受季節性因素影響，未來的銷量如何預測？

1、 時間序列簡介

2、 時序預測的原理及應用場景

3、 常見時序預測模型

? 趨勢類預測模型

? 季節類預測模型

? 平穩時序預測模型

? 其它高級模型

4、 移動平均

? 應用場景及原理

? 理解滑動窗口

? 移動平均種類

2 一次移動平均

2 二次移動平均

2 加權移動平均

2 移動平均比率法

? 移動平均關鍵問題

2 最佳期數N的選擇原則

2 最優權重系數的選取原則

演練：銷售額預測模型及評估

演練：快銷產品季節銷量預測及評估

5、 指數平滑

? 應用場景及原理

? 最優平滑系數的選取原則

? 指數平滑種類

2 一次指數平滑

2 二次指數平滑（Brown線性）

2 三次指數平滑

演練：煤炭產量預測

6、 Holt趨勢模型（亦稱二次指數平滑）

? Holt線性模型

? Holt指數模型

? 阻尼線性趨勢

? 阻尼指數趨勢

第四部分： 季節預測模型

1、 因素分解思想

2、 時間序列的四個構成要素

? 長期趨勢Trend

? 季節變動Seasonality

? 循環變動Circle

? 不規則變動Irregular

案例：時間序列的季節分解

3、 Holt-Winters季節模型

? 三個組成部分

? 三個平滑因子

4、 HW加法模型

? 適用場景

? 計算公式

? 超參優化

? 模型解讀

5、 HW乘法模型

6、 HW指數模型

案例：航空飛行里程預測模型

案例：汽車銷量預測模型

案例：沃爾瑪收益預測模型

7、 基于回歸的季節模型

? 相加模型

? 相乘模型

? 模型訓練及優化

? 模型解讀

第五部分： 平穩序列模型

1、 平穩序列預測模型簡介

2、 序列平穩性概念

? 恒定的均值

? 恒定的標準差

? 與位置無關的協方差

3、 序列平穩性檢驗

? 折線圖法

? ACF/PACF圖

? ADF檢測法

4、 特殊平穩序列：白噪聲

案例：序列平穩性檢驗

案例：白噪聲檢驗

5、 平穩序列常用擬合模型

? AR(p)自回歸模型

? MA(q)移動平均模型

? ARMA(p,q)自回歸移動平均模型

6、 模型識別

? ACF圖

? PACF圖

7、 模型定階

? 圖形定階（ACF/PACF）

? 最小信息準則定階

8、 非平穩序列處理

? 平滑法

? 變量變換

? 差分運算：k步差分與d階差分

9、 ARIMA(p,d,q)建模流程

案例：上海證券交易所收盤價建模

10、 SARIMA(p,d,q)(P,D,Q,S)模型

? 圖形確定階數

? 遍歷確定階數

11、 時序模型總結

第六部分： 模型質量評估篇

1、 回歸模型的評估指標

? 三個基本概念:SSR/SST/SSE

? 兩個判定系數:R^2,調整R^2

? 三個誤差指標:MAE/MAPE/RMSE

2 平均絕對誤差MAE

2 均方差MSE/RMSE

2 平均誤差率MAPE

2、 模型的評估方法

? 原始評估法

? 留出法（Hold-Out）

? 交叉驗證法（k-fold cross validation）

? 自助采樣法（Bootstrapping）

3、 時間序列的滾動交叉驗證

第七部分： 高級時序模型

1、 Prophet模型介紹

? 趨勢擬合

? 季節性預測

? 節假日和特殊事件的影響

? 離群值分析

案例：銷售額時序預測模型

2、 LSTM模型簡介

? 數據集構造

? 形狀構造

? 滾動預測

第八部分： 廣告點擊量時序建模

結束：課程總結與問題答疑。