課程介紹
本課程會透過政府的公開資料和網站內容爬文做分析範例,並且使用圖形視覺化呈現經過離散和統計數學計算出的大數據分析結果,讓學員可以享受政府在這一波開發資料中,實際交叉統計展現出的驚人結果。
課程對象
程式設計相關經驗與基礎。
課程大綱
。簡介大數據分析
。Python 安裝、IDE編譯和除錯
。基礎Python 教學
。Python UI 視窗、按鈕、輸入框等…
。Python List、Dictionaries、Slicing Containers
。Python 資料運算和視覺圖形化應用,圆餅線性
。Python Matpatlab 繪圖、畫線、方塊圖、圖表等…
。Open Data 政府開放數據
。檔案複製、刪除和列出所有檔案
。文字、Excel、CSV 檔案讀取、處理和儲存
。案例:歷年颱風動態分析
。網路資料取得HTTP Get、HTTP Post
。政府公開資料抓取程式
。實作:政府機關位置和電話
。實作:UBike即時車輛數量資訊,即時停車場空位
。XML、JSON、SOAP
。將Python程式成為WebServer
。數據解析函式庫Pandas教學
。Pandas數據分析和量化投資
。取得網路即時股票資訊
。量化投資實戰:Apple股票分析和趨勢圖繪製
。Numpy矩陣運算數學函數函式庫的切割、計算、統計、邏輯判斷
。Python安裝程式的製作
。大數據函式庫SciKit Learn的使用
。Classification SVM,實例-花的分辨
。決策樹和Gini,實例-紅酒等級分辨
。random forest,實例-農產品分辨
。KNN/nearest neighbors,實例-OCR 文字辨識與手寫辨識
。回歸解析Regression,實例-高血壓風險判斷
。SVR,實例-糖尿病的機率
。ridge regression,實例-植物分辨
。Lasso,實例-農產品分辨
。Clustering,k-Means,spectral clustering,mean-shift
。貝氏二元分類,實例-新聞分類
。Dimensionality reduction PCA
。解析結果改進工作,結論解析,改善工作
附件