課程代號：2326030071  

【免費報名】使用vLLM部署GPT-OSS 20B：大型語言模型推理實務

本課程會介紹開源模型平台Hugging Face，說明如何取得與應用大型語言模型，讓學員認識熱門模型GPT-OSS 20B的基本運作方式。此外，更帶領學員認識高效推理框架-vLLM，理解模型如何更快、更有效率地運行，最後示範將模型部署至MLSteam，有助完整掌握AI服務上線的概念與實作流程。
課程型態/
雲端自學
時  數/
1 小時
起迄日期/
可依照公告內容期限觀看
聯絡資訊/
謝小姐   03-5913417
直接購買
課程介紹

今年推出一系列AI主題的數位課程，內容包括「模型建立 → 模型部署 → 模型微調 → 多模態應用」，有助學員輕鬆掌握AI學習路徑，在短時間內瞭解AI模型部署之流程，逐步熟悉讓大型語言模型「跑得更快、更省資源」的關鍵心法！

【使用vLLM部署GPT-OSS 20B：大型語言模型推理實務】

本課程將會介紹開源模型平台Hugging Face，說明如何取得與應用大型語言模型，讓學員認識熱門模型GPT-OSS 20B的基本運作方式。同時，帶領學員認識高效推理框架-vLLM，理解模型如何更快、更有效率地運行，最後由講師示範如何將模型部署至MLSteam，有助學員完整掌握AI服務上線的關鍵概念與實作流程。

 

上課對象

【歡迎企業先進、學界教授與學生 免費報名學習】

1.對高效運算、AI技術開發、開源AI有興趣者

2.對生成式AI應用、大型語言模型(LLM)開發有興趣的大專院校學生

3.在企業擔任資訊(IT)、AI軟體開發、AI模型運用、AI程式應用工程師或研發人員等

 

講師簡介

蘇講師

現職：工研院電光所 副工程師

專業領域：LLM on GPU開發

 

課程內容

課程形式

課程大綱

時數

數位自學

1.課程簡介

2.介紹開源機器學習平台Hugging Face

3.如何從Hugging Face上抓取模型(示範實作) 

4.介紹Open AI開源模型GPT-OSS 20B 

5.簡介說明語言模型開源框架-vLLM 

6.MLSteam基礎操作

7.如何將GPT-OSS 20B部署在MLSteam (示範實作)

0.5H

 

課程資訊

 上課日期：開通帳號後即可隨時上課

 上課期間：收到開通帳密的信件通知後，即可在30天內無限次數的觀看與自主學習。

 課程費用：免費

 上課方式：學員完成數位課程報名後，將於5個工作天內收到觀看網址及開通帳密的信件通知。

 主辦單位：AMD_ITRI聯合實驗室

  

AMD算力資源｜免費申請

115年AMD-ITRI高速運算開放平台，歡迎各方產/學/研及新創團隊提出申請!!

*零成本擁抱頂級算力：免費使用AMD MI300X、Radeon R9700運算資源。

*滿足大模型開發所需：搭載192GB頂規記憶體，單卡驅動80B模型，實現極致高效能。

申請資格與流程：

  • 線上填寫「AMD Instinct 算力使用申請書」：https://reurl.cc/Z2GM9A

  • 審查將以專案主題具前瞻性與商業化潛力為優先使用對象

  • 專案結束2週內提交案例分享簡報，並進行線上分享

申請梯次：

 

注意事項

  • 為確保上課權益，報名後若未收到任何通知信件，請學員務必來電/來信詢問是否完成報名。

  • 數位自學課程不提供紙本及電子檔講義。

  • 課程洽詢：工研院產業學院 謝小姐  VHsieh@itri.org.tw / 03-5913417

工研院產業學院 沈小姐  shuhuishen@itri.org.tw / 03-5912657