課程介紹
「大數據」(Big Data)是繼大型電腦、個人電腦、網路與社群媒體等四波資訊科技浪潮之後最被看好的第五波科技新浪潮,透過對大量資料分析後,將可獲致資料的關連性,進而運用於預測商業趨勢、行銷研究、金融財務、疾病研究等等領域。
其中之Python則因程式簡單易懂,功能強大,同時擁有Open Source 和跨平台等優點而被許多公司所使用,本課程會透過政府的公開資料和網站內容爬文做分析範例,並且使用圖形視覺化呈現經過離散和統計數學計算出的大數據分析結果,讓學員可以享受政府在這一波開發資料中,實際交叉統計展現出的驚人結果。
課程對象
程式設計相關經驗與基礎
課程大綱
。簡介大數據分析
。Python 安裝、IDE編譯和除錯
。基礎Python 教學
。Python UI 視窗、按鈕、輸入框等…
。Python List、Dictionaries、Slicing Containers
。Python 資料運算和視覺圖形化應用,圆餅線性
。Python Matpatlab 繪圖、畫線、方塊圖、圖表等…
。Open Data 政府開放數據
。檔案複製、刪除和列出所有檔案
。文字、Excel、CSV 檔案讀取、處理和儲存
。案例:歷年颱風動態分析
。網路資料取得HTTP Get、HTTP Post
。政府公開資料抓取程式
。實作:政府機關位置和電話
。實作:UBike即時車輛數量資訊,即時停車場空位
。XML、JSON、SOAP
。將Python程式成為WebServer
。網路資料爬蟲BS4和selenium
。數據解析函式庫Pandas教學
。Pandas數據分析和量化投資
。取得網路即時股票資訊
。量化投資實戰:Apple股票分析和趨勢圖繪製
。Numpy矩陣運算數學函數函式庫的切割、計算、統計、邏輯判斷
。Python安裝程式的製作
。大數據函式庫SciKit Learn的使用
。Classification SVM,實例:花的分辨
。決策樹 和Gini, 實例:紅酒等級分辨
。random forest,實例:農產品分辨
。KNN/nearest neighbors,實例:OCR 文字辨識 手寫辨識
。回歸解析 Regression,實例:高血壓風險判斷
。SVR,實例:糖尿病的機率
。ridge regression,實例:植物分辨
。Lasso,實例:農產品分辨
。Clustering,k-Means,spectral clustering,mean-shift
。貝氏二元分類 實例:新聞分類
。Dimensionality reduction PCA
。解析結果改進工作,結論解析,改善工作
。機器學習和人工智慧
附件