《互聯網常用中間件之場景化實戰》 企業中間件最佳實踐

【課程背景】

隨著互聯網時代的到來，數據量急劇增加，并發量也越來越大，用戶對于系統的體驗和要求也變得越來越高，從而對系統可靠性、性能及可擴展性目標也提出了更大的挑戰，企業的架構設計和開發人員熟悉業界主流成熟中間件的使用方法和場景就顯得尤為重要。

本課程圍繞業界主流成熟中間件，以場景化案例方式貫穿整個課程，讓學員不僅掌握常用成熟中間件的使用方法和場景，同時也能深刻理解如何高效使用和運維中間件，從而最終達到提高軟件整體的可靠性、性能及可擴展性的目標，從而滿足公司數字化轉型和中心市場化轉型的技術需要。

【課程收益】

? 掌握業界主流中間件應用場景

? 掌握業界主流中間件技術選型

? 掌握業界主流中間件的底層原理

? 掌握業界主流中間件的最佳實踐

【課程對象】CTO、技術總監、研發負責人、架構師、研發工程師、售前技術工程師、運維工程師

【課程時間】1天

【課程大綱】

一、中間件概述及應用場景

1、中間件相關概念

? 中間件的定義

? 為什么使用中間件

2、中間件分類及應用場景

? 消息中間件及應用場景分析

? 緩存類中間件及應用場景分析

? 分布式協調類中間件及應用場景分析

? 檢索類中間件及應用場景分析

? 鏈路跟蹤類中間件及應用場景分析

? 鏈路跟蹤類中間件及應用場景分析

? 日志采集類中間件及應用場景分析

? 主流微服務中間件及應用場景分析

? 數據庫中間件之應用場景分析

案例：億級流量分布式架構設計思路

二、緩存類中間件

1、緩存

? 緩存的定義

? 緩存能解決什么問題？

? 緩存架構之分布式緩存與集中式緩存

? 緩存的基本原則

2、分布式緩存

? 分布式緩存的持久化

? 分布式緩存的高可用

? 分布式緩存的橫向擴展

? 分布式緩存常見業務場景分析

? 多級緩存

3、分布式緩存之Redis

? 分布式緩存的持久化

? 分布式緩存的高可用

? 分布式緩存之Redis

? Redis常用數據結構及其應用場景

? Redis高級特性：發布/訂閱、過期設置、事務支持

? Redis持久化策略之rdb與aof

? Redis主從復制

? Redis集群

? Redis集群擴容

? 如何避免緩存失效，降低緩存性能？

? 緩存雪崩原理以及如何應對？

? 熱點緩存key重建，優化性能

? Key高性能巧妙設計必須遵循的規范

? Redis降低性能的慎用命令

? Redis過期清除策略

案例：基于redis實現的緩存會話共享案例分析

上機實戰：redis集群搭建與部署

上機實戰：基于redis實現熱數據緩存

上機實戰：基于redis實現分布式鎖

三、消息類中間件

1、消息類中間件

? 分布式系統之同步調用案例分析

? 分布式系統同步調用存在問題與優化方向

? 消息隊列之分布式系統異步調用案例分析

? 消息隊列之削峰填谷案例分析

? 消息中間件選型與對比

? 消息隊列編程模型之點對點

? 消息隊列編程模型之發布/訂閱

2、消息中間件之Kafka

? 分布式系統之同步調用案例分析

? 分布式消息系統之Kafka

? Kafka數據分段

? Kafka應用模型

? Kafka集群部署架構

? Kafka相關術語

? Kafka下載和安裝

? Kafka topic管理

? Kafka消息的收發

? Kafka單播、多播

? Kafka消費者分組及偏移量

? Kafka的日志

? Kafka集群配置與消息的收發

? Kafka調優

? 如何避免消息重復消費？

? 如何避免消息堆積？

? 延時隊列使用

? 如何提升消息丟列的消息并發消費能力？

案例：基于kafka設計的千萬級賬單推送系統

實戰：微服務架構下基于消息隊列實現微服務間數據最終一致性

四、分布式協調類中間件

1、分布式協調中間件

2、分布式協調中間件之ZooKeeper

? ZooKeeper誕生的背景和它的作用

? ZooKeeper單機版安裝、常用命令

? ZooKeeper集群版的安裝、節點角色

? ZooKeeper的接入和使用

? ZooKeeper運行機制剖析

? ZooKeeper的典型應用場景與實現思路

? ZooKeeperWatch機制的運行流程

案例：基于ZooKeeper實現的服務注冊與發現

五、檢索類中間件

1、全文檢索

? 全文檢索的定義

? 全文檢索解決了什么問題？

? 搜索引擎的應用場景

2、分布式檢索與分析之ElasticSearch

? 搜索引擎的應用場景

? 分布式檢索與分析之ElasticSearch

? ElasticSearch VS Lucence

? ElasticSearch VS Solr

? 分詞技術與原理

? 分詞之倒排索引

? 基于倒排索引實現的案例演示

? ElasticSearch的核心概念

? ElasticSearch副本集定義與原理

? ElasticSearch分片定義與原理

? ElasticSearch安裝與配置注意事項

? ElasticSearch可視化之Kibana

? IK分詞器的應用

? ElasticSearch數據管理與基本操作

? ElasticSearch的查詢

? ElasticSearch批量文檔處理

? ElasticSearch文檔映射

? ElasticSearch集群環境與原理深入剖析

案例：基于ElasticSearch實現的熱搜評論

六、鏈路跟蹤類中間件

1、微服務架構面臨問題

? 如何快速發現問題？

? 如何判斷故障影響范圍？

? 如何梳理服務依賴及依賴的合理性？

? 如何分析鏈路性能問題及實時容量規劃

2、微服務分布式鏈路追蹤技術實現

? 分布式鏈路追蹤的定義與應用

? 分布式鏈路追蹤之Spring Cloud Sleuth

? Spring Cloud Sleuth相關概念

? Spring Cloud Sleuth鏈路跟蹤數據實現

? Zipkin實現鏈路跟蹤數據的收集、存儲、查找和展現

? 基于Zipkin＋Sleuth整合

? 如何提升鏈路跟蹤數據的存儲性能？

? 如何確保鏈路跟蹤數據不被丟失？

? 如何確保鏈路跟蹤服務端離線期間數據的留存？

? 與Skywalking對比

七、日志采集類中間件

1、日志分析面臨問題

? 傳統日志系統存在問題分析

? 如何實現日志統一搜集、統一存儲、統一查詢？

2、日志中心解決方案ELK

? ELK應用案例分析

? ELK核心組成

? ELK之ElasticSearch

? ELK之logstash

? ELK之kibana

? ELK之工作流程剖析

? ELK常見應用架構

? ELK典型應用架構

? 海量日志的ELK集群架構

案例：基于ELK實現的訪問日志分析

八、主流微服務中間件

1、分布式系統下數據庫面臨問題

? 本地事務VS分布式事務

? 二階段提交協議過程與原理分析

? 二階段提交協議的缺點

? 三階段提交

? 分布式事務的目標

? 分布式事務之強一致性應用場景

? 分布式事務之最終一致性應用場景

2、分布式事務框架之Seata

? 分布式事務框架之Seata

? Seata支持的4種模式

實戰：微服務架構下基于Seata的4種模式實現微服務間數據強一致性

九、數據庫中間件

1、分布式系統下數據庫面臨問題

? 什么是分庫分表？

? 什么情況下需要分庫分表？

? 分庫分表之垂直分表

? 分庫分表之垂直分庫

? 分庫分表之水平分表

? 分庫分表之水平分庫分表

? 分庫分表帶來的問題-跨庫關聯查詢

? 分庫分表帶來的問題-分布式事務

? 分庫分表帶來的問題-排序翻頁函數計算

? 分庫分表帶來的問題-全局主鍵避重

? 如何選擇合適的數據分片鍵？分片鍵常用算法有哪些？

? 如何自定義分片鍵的算法？

2、分庫分表主流中間件之客戶端分庫分表ShardingJDBC

? 分庫分表主流中間件之客戶端分庫分表ShardingJDBC

? ShardingJDBC對于現有應用的SQL或ORM有什么要求或局限性？

? 分庫分表主流中間件之服務端分庫分表MyCat

? 分布式數據庫NoSQL

實戰：基于ShardingJDBC實現的分庫分表之廣播表、綁定表方案