生成式預訓練變換模型(Generative Pre-trained Transformer, GPT)是基於變形金剛(transformer)的大語言模型(Large Language Models, LLM),它包含一千七百五十億個模型參數,透過OpenAI公司開發的應用程式介面(Applications Programming Interface, API),任何人均可存取這個大語言模型,實現模型作為服務(model-as-a-service)的人工智慧民主化。
變形金剛模型改變了自然語言處理(Natural Language Processing, NLP)與理解(Understanding, NLU)的樣貌,它開啟了人工智慧的新時代,成為語言模型、聊天機器人、個人助理、問題回答、文本分類、文本摘要、語音轉文字、情感分析、機器翻譯、命名實體辨識等的支柱。
本課程「自然語言處理ChatGPT大語言模型原理與實作」從遞歸神經網路基礎開講,細說傳統自然語言模型的發展瓶頸與沿革,漸次引入模仿人類閱讀學習記憶的並行注意力機制,最後說明摒除人工標記束縛的基於變形金剛的雙向編碼器表示技術(Bi-directional Encoder Representations from Transformers, BERT),幫助學員理解ChatGPT背後大語言模型的原理,並運用Python語言實作NLP/NLU任務,進一步觸發學員思考工作場域中的新應用。
課程提供【數位同步學習】報名方案,歡迎學員報名參加。
上課時間:112年7月13日(四)、7月14日(五),上午9:30~下午4:30,2天共計12小時。
上課地點:工研院產業學院 台北學習中心,實際上課地點,請依上課通知為準。
課程聯絡人:02-2370-1111#312,謝小姐
※本課程歡迎企業包班~請來電洽詢 承辦人楊小姐02-2370-1111#320
從傳統模型瓶頸走向最新的技術突破,幫助學員瞭解大語言模型背後的重要技術細節,活用自然語言資料分析建模技術,並抓住未來發展趨勢。
現任:
國立臺北商業大學資訊與決策科學研究所暨智能控制與決策研究室教授、CSQ大數據品質應用委員會主任委員
經歷:
明志科技大學機械工程系特聘教授兼人工智慧暨資料科學研究中心主任、美國辛辛那提大學工程與應用科學學院訪問教授、新加坡國立大學解析與作業學系訪問教授、西交利物浦大學計算機科學與軟件工程學系暨大數據解析研究院訪問教授、南京理工大學管理科學與工程學系訪問教授、中華R軟體學會創會理事長、臺灣資料科學與商業應用協會創會理事長、中華品質評鑑協會常務監事、中華民國品質學會大數據品質應用委員會主任委員、世新大學資訊管理學系副教授、中華大學企業管理學系副教授
專長:
人工智慧與統計機器學習、大數據與資料科學、賽局模型應用、進化式多目標最佳化、等候網路、系統模擬、時間序列分析與工業控制
著作:
鄒慶士 著 (2019),大數據分析與應用實戰:統計機器學習之資料導向程式設計,東華書局總經銷。
鄒慶士、賴逢輝 譯 (2003),服務業作業管理,雙葉書廊 (原著:Haksever, C., Render, B., Russell, R.S. and Murdick, R.G. (2000), Service Management and Operations, 2nd ed., Prentice Hall)。
賴慶松、鄒慶士 譯 (2001),生產與作業管理,滄海書局(原著:David, M.M., Aquilano, N.J. and Chase, R.B. (1999), Fundamentals of Operations Management, 3rd ed., Irwin/McGraw-Hill)
單元 |
課程大綱 |
傳統自然語言模型 (6小時) |
1. 自然語言序列資料與神經網路 – 遞歸神經網路(recurrent neural network) – 長短期記憶(long short term memory) 2. 文本生成(text generation)模型 3. 機器翻譯與編碼器解碼器(encoder-decoder)模型 4. 遷移學習(transfer learning) |
當代大語言模型技術 (6小時) |
1. 注意力與多頭注意力(multi-head attention)機制 2. 變形金剛(transformers)模型 3. 基於變形金剛的雙向編碼器表示技術 4. 小樣本學習與元學習(few-shot and meta learning) |
※本課程適用【5人報名研習1人免費】活動,凡報名本課程皆可享有五人參訓一人免費之促銷方案,歡迎企業組團參訓。
方案(實體/數位同步) |
課程費用 |
課程原價(個人) |
8,000 |
早鳥優惠(14天前) |
7,800 |
2人以上團報優惠 |
7,200 |
3~4人團報優惠 |
6,800 |
團報專案-優惠價(5人同行1人免費) |
6,400 |