前言

近年來與AI應用廠商互動中，發現其對於AI運行系統如何挑選的問題，無論在測試技術能量或是AI背景知識上都存在門檻，也因此導致各類AI系統在導入各類應用場域前，都需經過重複的測試藉以了解各類類神經網路與各類資料集在應用場域中的適用程度，此舉耗時耗力且拖慢了AI系統進到AI應用場域的時程。

因此，為因應市場需求，工研院將成立AI晶片系統驗證實驗室，旨在協助AI晶片系統產出較全面性之驗測資訊，縮短應用系統整合商於布建應用服務所需之耗時耗力工作，藉此擴展應用機會。在軟體驗測面，提供完整測試數據、平台與類神經網路模板；在硬體面，提供公用測試介面模組；在產業面計畫組織相關產業聯盟，媒合AI晶片系統與應用系統整合業者間供需，縮短應用實現時程。AI晶片系統驗證實驗室基於解決各項AI晶片系統驗證資訊統整問題，其目標有二：（1）建立晶片系統效能驗證流程與建立標準測試樣板資料集與類神經網路，並透過通用型AI晶片系統之驗測案例，逐步補齊與完整驗證流程與資料集，建立應用系統整合商與AI晶片系統商合作示範案例，基於此，拓展更多樣應用場域合作機會；（2）於硬體面設計可供公用驗測之公用驗測版規格與建立驗測流程，藉此介接與打通各類AI晶片系統介面，並透過較統一之軟體介面驅動，減少軟體驗證所需之前置作業，加速後續軟體驗證流程。

實驗室以AI晶片系統驗證流程與驗證資料、報告呈現為主軸，發展系統驗證服務，在軟硬體雙層面，解決目前市場上各AI晶片系統各自呈現驗證資訊問題，呈現較統一且全面的驗證資訊，藉此加速應用場域系統整合商在選用AI晶片系統時，過去需要逐一驗測適用性與效能的問題，加速AI晶片系統導入應用場域時程。此外，透過媒合AI晶片系統產業與應用系統整合商，AI晶片系統可藉此接觸更多可能應用場域機會，擴大商品適用層面，直接擴增商品銷售量，藉此拓展周邊產業結合與應用機會，創造延伸產業價值。對於國內AI系統商而言，更全面且完整的呈現其軟硬體各方面效能表現，於國際市場上呈現更透明與健全的產品樣貌，可有效擴大國際應用系統整合商運用國內AI晶片系統機會，以此累增擴充應用市場。

AI晶片系統市場

近年來各類AI應用與相關軟硬體蓬勃發展，根據MarketsandMarkets市場預測指出全球AI邊緣應用軟體市場規模，從2018年的3.56億美元將於2023年成長至11.52億美元。此外，近年來國內各公私部門也都十分積極採用AI方案解決多年來無法解決的問題，各類的AI智慧化方案落地也漸漸的提升了生活的便利性。

然而，在這幾年與各類廠商的互動中發現，由於AI應用落地目前還是一個很新的市場，因此導致在市場上有許多提供各式各樣AI軟硬體方案的廠商相互競爭也各有優劣，這個狀況讓系統整合商在選擇整體配套時，往往需要花費大量時間與人力。就以過去團隊於執行AI相關的影像辨識應用為例，服務建置商為了符合各種條件需求，如：現場狀況、電耗、網路、耐用度、成本考量等，在執行POC過程約6個月中，就測試了4個不同的AI晶片系統，並在其上運行與調整類神經網路參數，而相關的測試經驗一旦換個廠商換個廠域，或者是由另一個執行團隊執行，則類似的測試就又要再重新來過一次。國內AI系統業者目前遭遇到一個問題在於，所要採用的AI硬體系統在各類應用場域中，沒有一個較統一完整的應用測試SOP，導致各AI系統業者僅能各自提供各類測試效能，而這些測試結果對實際應用場域廠商的參考價值有限。此外，應用系統整合商在選用AI系統時，也苦無此類應用測試報告可參考，最後僅能與各家AI系統業者逐一測試，此舉耗時耗力，對雙方業者以及亟需應用上線的應用場域都是一個很大的成本。再者，由於各自獨立驗測的狀況，其驗測範圍與驗測設備侷限，對於未來應用服務營運續存之韌性也是一大考驗，極需盡速解決。

圖1　業者遭遇困境與解決方案

AI晶片系統驗證資訊

在AI晶片系統驗證服務方面，目前國際上尚未成立公開之相關實驗室或廠商提供通盤性的驗證方案，大部分的系統驗證多為AI晶片系統廠商，如：Nvidia[1-2]，其針對自家產品所提出的相關測試報告（圖1）。以Nvidia官方資訊為例，其旗下各產品均有針對目前較通用的類神經網路DNN模型，如：ResNet、SSD等驗測效能與可用性，也有針對各類平台版本，如：TensorFlow、PyTorch等，測試其相容性表現。此外，對於終端應用商品，如：Tx2、Xavier、Jetson系列，也有提供耗電瓦數、溫度、各主流類神經網路執行效能等資訊（圖2），其目的就在於讓終端應用者，在挑選硬體適用方案時，可依據相關數據挑選合適商品進行應用的佈建。因此，其他各類在市場上相較少量的AI晶片系統，為了盡可能的探尋更多應用契機，透過對其產品的整體測試取得一份涵蓋各面向的測試報告，可令其在應用市場中，更快速的媒合AI晶片系統與應用需求，取得更多的機會。

圖2　各類神經網路於各產品上之效能表現（資料來源：Nvidia）

圖3　各類神經網路於前端設備運行效能比較（資料來源：Nvidia）

各式各樣的AI晶片系統

國內目前在AI晶片系統上，晶片的選擇多採用國際大廠方案，如：Nvidia、Intel等，其周邊擁有相較完整的軟體工具與支援平台，在效能驗證上也都由各大廠提供運算晶片與測試版相關之測試報告。然，各AI晶片系統為了應用於各類場域中所客製化的各類介面、運行環境、周邊可能干擾等，均未於實驗室與測試環境中考量，常造成在實際場域上，整體AI晶片系統的運算表現不佳。而這些問題，是需要在產品設計階段，在商品尚未進到應用場域前，就有相關提供測試驗證服務的實驗室，給予測試建議即可順利解決的。

圖4　Nvidia所提供之晶片效能測試報告（資料來源：Nvidia）

圖5　各類AI晶片系統效能不一

AI晶片系統驗證實驗室

有鑑於各類AI應用在特定場域之專屬特性，少量多樣的AI晶片與AI晶片系統將有機會切入專用的高價市場。然而，國際大廠近年來也逐漸的提出各類可供客製化的解決方案，逐步的由通用市場往專用市場逼近。因此，國內須加速成立少量多樣的AI晶片與相關之AI晶片系統方案，並搭配AI晶片系統驗證實驗室，讓相關產品除軟硬體外，更有完整的資源能對應到可利用的應用場域。因此，AI晶片系統驗證實驗室有以下各要點須落實執行：

• 蒐整國際通用認可之測試資訊，整備AI晶片系統驗證實驗室實力。
• 建構AI晶片實驗室多面向測試能力，重現應用場域需求，實測各類系統能力。
• 協助AI晶片系統最佳化調校，藉此符合應用市場所需，縮短差距。
• 組織AI應用系統整合商與AI晶片系統商聯盟，加速媒合雙方應用市場。

AI晶片系統驗證可分2個面向，其一是貼近應用端，由深度學習模型、資料集到晶片系統上之作業系統、驅動程式、SDK、API等。其二是貼近硬體端，如：系統電耗、晶片效能、散熱處理、硬體瓶頸等。2個面向之系統驗證目標均為協助AI晶片系統業者與應用系統整合業者加速導入，令各類應用系統於挑選AI晶片系統時，有較完整與統一之驗測報告可供參考。此外，透過完整且全面的評測與驗證，AI晶片系統更可進一步的藉此拓展新形態應用。

面對各類少量多樣應用場域，AI晶片系統驗證實驗室須具備各類應用所需驗證之各類設計，在硬體與環境面向上，諸如：測試公版規格、電耗、溫度、濕度、環境干擾等，在軟體與平台面上，如：資料集、神經網路類別、超參數調教、實現平台。此外，合適的媒合應用需求與AI晶片系統更可加速相關應用推展。而透過蒐集整理通用測試資料集與通用測試類神經網路集資訊，將相關測試標準程序SOP建立完成，並依此取得最佳化晶片系統表現參數驗測，並在跨平台測試與數據報告呈現，讓應用需求與晶片系統媒合，擴展晶片系統應用機會。

晶片系統驗證實驗室透過提供應用層的驗證服務，提供AI晶片系統各類應用場域情境驗測數據。實驗室透過使用AI晶片系統提供之SDK、API，結合各類AI開發平台以及類神經網路與資料集，完成驗證報告。相關驗證報告可作為應用場域系統整合商，在導入應用建置時參考，藉此減少雙方互測時程，加速AI晶片系統軟硬體導入。

圖6　AI晶片系統驗證實驗室服務示意圖

AI晶片系統驗證實驗室為了完成協助廠商量測AI晶片系統與效能呈現，透過大量蒐集標準測試集，並制定標準化軟硬體測試流程與測試服務平台環境。此外，將測試過程公開為公認之測試方法與工具，藉此建立應用系統業者認定公標。進一步於累積多樣化之測試經驗後，將測試經驗與參數調校，提供廠商最佳化AI晶片系統於各類應用之產品表現。此外，亦設計提供媒合平台，擴大AI晶片系統可運用範圍。

圖7　AI晶片系統驗證實驗室定位

AI晶片系統驗證實驗室之定位為協助加速晶片系統業者與應用場域系統整合商之應用媒合。晶片系統業者於驗證實驗室執行完測各類驗測並取得數據後，可據此提供應用場域系統整合商作為硬體採用導入參考。可藉此大幅縮短雙方認知差距，並統整各類測試情境，可有效讓應用場域整合業者，在挑選晶片系統時，有較統一與完整的驗測報告數據，可據此設計場域應用方案。

結論

AI晶片系統驗證實驗室以驗證流程與驗證資料、報告呈現為主軸，發展系統驗證服務，在軟硬體雙層面，解決目前市場上各AI晶片系統各自呈現驗證資訊問題，呈現較統一且全面的驗證資訊，藉此加速應用場域系統整合商在選用AI晶片系統時，過去需要逐一驗測適用性與效能的問題，加速AI晶片系統導入應用場域時程。後續實驗室之驗證服務可結合AI晶片系統與應用場域系統整合商業者聯盟、環境建構計畫等模式，持續維運驗證實驗室，藉此全面擴大國內AI晶片系統產品可應用範圍，提升產品之價值。