課程代號:2325010031  

開源AI助攻-採用Ollama部署本地端大型語言模型

Ollama大型語言模型平台具備開源免費資源、能離線運作、本地運作等三大優點,本課程將帶領學員使用Ollama並在自己的電腦使用如Meta Llama, Microsoft Phi-3等大型語言模型,並架設基本網站介面,方便學員與大型語言模型對談,輕鬆開啟本地端大型語言部署之路!

課程型態/
實體課程
上課地址/
工研院中興院區21館(實際教室以上課通知為主)
時  數/
12 小時
起迄日期/
2025/05/13 ~ 2025/05/20
聯絡資訊/
謝小姐   03-5913417
報名截止日期:2025/05/12
課程介紹

       Ollama是一個專注於本地端部署的大型語言模型管理工具,主要以簡化大型語言模型的部署流程,同時提供靈活的控制和高效運算性能作為目標。立即體驗Ollama的優勢,輕鬆開啟本地端大型語言部署之路!

       本課程將介紹學員認識Ollama開源AI工具,以實作為導向,帶領學員在自己的電腦使用大型語言模型(像是Meta Llama, Microsoft Phi-3),並架設基本網站介面,方便後續與大型語言模型對談,進而打造離線版的智慧生成式AI應用。

 

課程特色

()本地部署 保護企業隱私與安全

企業為了考量機密資料與安全隱私,需要的是真正可以斷網的大型語言模型執行環境。使用Ollama部署大型語言模型,不僅可以在企業內部安心使用,還可以建立企業專屬資料的聊天機器人,透過Meta LlamaMicrosoft Phi-3,就能成功打造離線版的智慧生成式AI應用。

()模型可控性和自行定義

使用Ollama部署,能方便調整與微調模型以滿足企業內部的特定業務需求,更能夠選擇使用開源模型或自有模型,完全瞭解訓練和推理的過程,擁有自主功能開發的彈性與掌控優勢。

()使用成本低、離線運行且低延遲

只要一次性硬體投資後即可長期運行,不但具備即時運算的延遲性、而且在離線情境下也能正常使用。

 

課程對象

  • 在企業內部擔任資訊人員(IT)、AI軟體開發、AI模型運用、AI程式應用等工程師或研發人員等
  • 對大型語言模型(LLM)開發實務有興趣者

 

講師簡介

鐘老師
■Microsoft MVP微軟全球最有價值專家(2023)
■AWS Educate 雲端推廣大使
專長:機器學習、深度學習、產業AI化應用、AI加值應用程式開發
經歷:
-Microsoft 微軟國際工作坊訓練講師(資料科學、人工智慧)
-元智大學資工系 兼任助理教授
-資策會數位教育研究所 專案經理

 

課程大綱

課程單元

課程大綱

Ollama與大型語言模型

1.安裝Ollama

2.下載大型語言模型

3.設定開發環境VS Code

大型語言模型下載

1.llama 3.2(1b/3b) / llama 3.1(8b)

2. ph3(3.8b/14b)

與大型語言模型對話

1.呼叫大型語言模型

2.建立對話式介面

3.系統提示設定

RAG向量資料庫與資料檢索

1.建立向量資料庫

2.打造企業專屬資料聊天機器人

 

課程資訊

上課日期:114/5/13(二)、5/20()09:30-16:30,共12小時。

上課地點:工研院中興院區21/新竹縣竹東鎮中興路四段195(實際教室以上課通知為主)。

報名方式:

-線上報名:請學員前往工研院「產業學習網」報名課程。

-信箱報名:將報名資訊填完並寄至 VHsieh@itri.org.tw 謝小姐。

-課程洽詢:請洽服務專線03-5913417 謝小姐 或 聯絡信箱:VHsieh@itri.org.tw

 

課程費用

  • 課程原價:11,000元
  • 開課前14天報名,享早鳥優惠價:9,900元
  • 工研人優惠價:9,900元
  • 團報優惠價:9,400元

 

課程注意事項與提醒

  • 為確保上課權益,報名後或開課前未收到任何通知信件,請學員務必來電詢問是否完成報名。我們會在開課前幾天發送上課通知,敬請學員留意信件。
  • 因課前教材、講義製作及餐點等皆需提前準備,若您不克前來,請於開課前三日告知,以利行政作業進行並共同愛護資源。
  • 若原報名者因故不克參加,但欲更換他人參加,敬請於開課前二日通知。
  • 學員於開訓前退訓者,用將依其申請退還所繳上課費90%;若上課當天臨時取消則不退費。在培訓期間因個人因素無法繼續參與課程,若上課未逾總時數1/3,將退還所繳交上課費用之50%,上課已逾總時數1/3,則不予退費。
  • 為保障講師智慧財產權,學員上課期間不得進行錄音、錄影及拍照。