Ollama是一個專注於本地端部署的大型語言模型管理工具,主要以簡化大型語言模型的部署流程,同時提供靈活的控制和高效運算性能作為目標。立即體驗Ollama的優勢,輕鬆開啟本地端大型語言部署之路!
本課程將介紹學員認識Ollama開源AI工具,以實作為導向,帶領學員在自己的電腦使用大型語言模型(像是Meta Llama, Microsoft Phi-3等),並架設基本網站介面,方便後續與大型語言模型對談,進而打造離線版的智慧生成式AI應用。
(一)本地部署 保護企業隱私與安全
企業為了考量機密資料與安全隱私,需要的是真正可以斷網的大型語言模型執行環境。使用Ollama部署大型語言模型,不僅可以在企業內部安心使用,還可以建立企業專屬資料的聊天機器人,透過Meta Llama與Microsoft Phi-3,就能成功打造離線版的智慧生成式AI應用。
(二)模型可控性和自行定義
使用Ollama部署,能方便調整與微調模型以滿足企業內部的特定業務需求,更能夠選擇使用開源模型或自有模型,完全瞭解訓練和推理的過程,擁有自主功能開發的彈性與掌控優勢。
(三)使用成本低、離線運行且低延遲
只要一次性硬體投資後即可長期運行,不但具備即時運算的延遲性、而且在離線情境下也能正常使用。
鐘老師■Microsoft MVP微軟全球最有價值專家(2023)■AWS Educate 雲端推廣大使專長:機器學習、深度學習、產業AI化應用、AI加值應用程式開發經歷:-Microsoft 微軟國際工作坊訓練講師(資料科學、人工智慧)-元智大學資工系 兼任助理教授-資策會數位教育研究所 專案經理
課程單元
課程大綱
Ollama與大型語言模型
1.安裝Ollama
2.下載大型語言模型
3.設定開發環境VS Code
大型語言模型下載
1.llama 3.2(1b/3b) / llama 3.1(8b)
2. ph3(3.8b/14b)
與大型語言模型對話
1.呼叫大型語言模型
2.建立對話式介面
3.系統提示設定
RAG向量資料庫與資料檢索
1.建立向量資料庫
2.打造企業專屬資料聊天機器人
上課日期:114/5/13(二)、5/20(二),09:30-16:30,共12小時。
上課地點:工研院中興院區21館/新竹縣竹東鎮中興路四段195號(實際教室以上課通知為主)。
報名方式:
-線上報名:請學員前往工研院「產業學習網」報名課程。
-信箱報名:將報名資訊填完並寄至 VHsieh@itri.org.tw 謝小姐。
-課程洽詢:請洽服務專線03-5913417 謝小姐 或 聯絡信箱:VHsieh@itri.org.tw。
生成式AI工程師培訓班(第二梯)
使用Amazon Bedrock建構生成式AI應用