課程代號:2326060041  

【免費報名】rocBLAS核心架構與其Transformer加速潛力

在生成式AI時代,矩陣運算效能是影響模型訓練與推論的關鍵。本課程從BLAS與GEMM基礎出發,解析Transformer核心運算,並深入介紹AMD ROCm與rocBLAS架構,帶領學員掌握GPU加速原理與AI效能優化之關鍵。

課程型態/
雲端自學
時  數/
1 小時
起迄日期/
可依照公告內容期限觀看
聯絡資訊/
謝小姐   03-5913417
課程介紹

今年推出一系列AI主題的數位課程,內容包括「模型建立 → 模型部署 → 模型微調 → 多模態應用」,有助學員輕鬆掌握AI學習路徑,在短時間內瞭解AI模型部署之流程,逐步熟悉讓大型語言模型「跑得更快、更省資源」的關鍵心法!

 【rocBLAS核心架構與其Transformer加速潛力】

生成式AI與大型語言模型快速發展,矩陣運算效能已成為影響模型訓練與推論速度的關鍵因素。本課程將從AI運算底層的BLASGEMM概念切入,解析Transformer模型中QKVAttentionFFN等主要運算熱點,並介紹AMD ROCm軟體生態系中rocBLAS的角色與技術架構。其中透過APITensilehipBLASLt等核心元件說明,帶領學員瞭解rocBLAS如何發揮GPU運算效能,以及其在Transformer模型加速上的優勢與限制,協助學員建立AI底層運算與效能優化基礎。

 

上課對象

【歡迎企業先進、學界教授與學生 免費報名學習】

1.對高效運算、AI技術開發、開源AI有興趣者

2.對生成式AI應用、大型語言模型(LLM)開發有興趣的大專院校學生

3.適合想要了解AI Agent架構、AMD AI軟硬體生態系及企業AI應用開發的技術人員與開發者參與。

 

講師簡介

蘇講師

現職:工研院電光所 副工程師

專業領域:LLM on GPU開發

 

課程大綱


課程形式


課程大綱


時數

數位自學

  • 瞭解BLASGEMM基礎:AI加速的共同語言

  • Transformer中的GEMM熱點:QKVAttentionFFN

  • ROCm軟體堆疊與rocBLAS的定位

  • rocBLAS核心架構:APITensilehipBLASLt

  • 總結:rocBLASTransformer加速潛力與限制

0.5H

 

課程資訊

上課日期:開通帳號後即可隨時上課

上課期間:收到開通帳密的信件通知後,即可在30天內無限次數的觀看與自主學習。

課程費用:免費

上課方式:學員完成數位課程報名後,將於「5個工作天內」收到開通帳密與觀看網址的信件通知。

主辦單位:AMD_ITRI聯合實驗室

 

AMD算力資源|免費申請

115AMD-ITRI高速運算開放平台,歡迎各方產//研及新創團隊提出申請!!

*零成本擁抱頂級算力:免費使用AMD MI300XRadeon R9700運算資源。

*滿足大模型開發所需:搭載192GB頂規記憶體,單卡驅動80B模型,實現極致高效能。

申請資格與流程

  • 線上填寫「AMD Instinct 算力使用申請書」:https://reurl.cc/Z2GM9A

  • 審查將以專案主題具前瞻性與商業化潛力為優先使用對象

  • 專案結束2週內提交案例分享簡報,並進行線上分享

申請梯次:

 

注意事項

  • 為確保上課權益,報名後若未收到任何報名成功的確認信件,請務必來電/來信詢問是否完成報名。

  • 數位自學課程不提供紙本及電子檔講義。

  • 課程洽詢:

    工研院產業學院 謝小姐  
    VHsieh@itri.org.tw / 03-5913417

    工研院產業學院 沈小姐 
    shuhuishen@itri.org.tw / 03-5912657