Spark實時項目

本Spark實時項目依托企業級真實的實時數據分析環境，對目前互聯網大廠中常見的實時分析場景提出了一套全面實用的技術解決方案。本項目以Spark為核心技術引擎，并聯合使用了多種大數據流行計算框架，例如Kafka、Canal、Maxwell、ElasticSearch、Redis、Kibana等。為應對不同的流式數據采集場景，本項目給出了多種MySQL變動數據采集方案，并給出詳盡的框架安裝部署過程和代碼解讀流程。本項目全程使用SparkStreaming作為實時計算引擎，使用Scala作為開發語言，簡潔高效，貼近Spark開發背景。通過本項目的學習，學員可以徹底掌握Spark這一流行計算引擎的實時計算功能，并解決了與其余多種大數據分析框架的兼容性，為學員增添了更多的實時計算開發經驗。