本課程將學習Spark In-Memory巨量資料關鍵技術以及串流資料(Streaming)相關處理技術，以及如何利用開源軟體Hortonworks快速建置巨量資料管理與儲存叢集，並學習如何佈署Spark軟體元件。課程將利用此平台進行開發，藉由實際案例操作，讓學員能夠了解Spark核心技術、Spark Streaming、Kafka等操作方式以及巨量資料應用程式實際開發與效能調教。最後將透過實際分組演練真實數據，了解巨量資料處理時會面臨的狀況，透過資料探索的過程，彼此分享學習，並激盪出不同的問題解決方案。
資策會「Spark Streaming巨量資料串流分析實務」將於2016年10月15日開辦，相關資訊請參閱課程網頁，或電(02)6631-6533，黃小姐。
課程大綱：
1.巨量資料分析叢集架設
1.1 Linux、HDFS 基礎指令回顧
1.2 Hortonworks巨量資料分析叢集安裝
1.3 Spark 軟體元件安裝
2.Spark 基礎核心技術介紹與實作
2.1 Spark開發環境建置/運行模式介紹
2.2 Spark 互動式Shell使用介紹
2.3 RDD API 介紹與操作
2.4 Spark相關最佳化技巧
3.資料流獲取
3.1 網頁資料擷取
3.2 Socket 之感測器訊號流擷取
3.3 Twitter、Facebook 資料流獲取
4.Spark Streaming 技術實作
4.1 Spark Streaming API介紹
4.2 Socket 通訊模組介紹與介紹
4.3 Kafka 訊息系統介紹與實作
4.4 Spark Streaming與相關組件界接
5.分組實戰演練 詳細內容請參考課程網址：http://www.iiiedu.org.tw/ites/SST.htm
- 新聞稿有效日期，至2016/10/15為止
聯絡人 ：黃小姐
聯絡電話：(02)6631-6533
電子郵件：julie620@iii.org.tw
 上一篇：資策會「資料分析二部曲-R軟體與資料探勘」(台北10/15)
 下一篇：資策會「巨量資料分析-使用SparkR」(台北10/15)
|
■ 我在中國工作的日子（十四）阿里巴巴敢給股票 - 2023/07/02 ■ 我在中國工作的日子（十三）上億會員怎麼管理 - 2023/06/25 ■ 我在中國工作的日子（十二）最好的公司支付寶 - 2023/06/18 ■ 我在中國工作的日子（十一）兩個女人一個男人 - 2023/06/11 ■ 我在中國工作的日子（十）千團大戰影音帶貨 - 2023/06/04 ■ 我在中國工作的日子（九）電視購物轉型電商 - 2023/05/28 ■ 我在中國工作的日子（八）那些從台灣來的人 - 2023/05/21 ■ 我在中國工作的日子（七）嘉丰資本擦身而過 - 2023/05/14 ■ 我在中國工作的日子（六）跟阿福有關的人們 - 2023/05/07
|
