工業技術研究院 資訊與通訊研究所 黃献竤
時間序列預測分析是一種依據歷史資料的發展過程、方向和趨勢，進行類推或是延伸，藉此預測未來一段時間，在統計的領域中已經發展了很多時間序列的分析方法，像是季節性分析、自我相關性檢定、移動平均……等。在資料爆炸性增加的現代，其影響因子也隨著變多，原本多影響因子在傳統的統計模型是一大負擔，若加入了人工智慧的強大運算能力，可以在眾多的影響因子中隨著時間動態的萃取出重要因子，可以動態的建立模型，與傳統的統計模型有相輔相成的效果。
人工智慧（AI）的感知與認知能力
現今發展的人工智慧都是弱人工智慧（applied AI，narrow AI，weak AI），只需要處理特定問題或是擁有人類的部分感知與認知能力，感知能力指的是人類五官的看、聽、說、讀、寫等能力。AI透過模擬人腦學習人類的感知能力、察覺訊息的能力，接收環境的刺激，刺激轉化為訊息，其中包括圖像辨識、臉部辨識、語音辨識、物件偵測、語音轉換文字、機器翻譯、文字轉換語音……等。人腦在感知能力接受訊息後會產生認知能力，認知能力是指與生俱來用以思考、學習及處理訊息的能力，AI模仿人腦進一步分析感知訊息，其中包含（一）分析辨識能力，醫學影像辨識、推薦系統、信用風險分析；（二）判斷決策能力，自動駕駛、智慧庫存規劃、金融投資決策；（三）預測未來能力，金融業漲跌預測、時間序列預測，在各大領域中AI憑藉著硬體快速發展，能夠感知分析更多樣化的資料，也因此在特殊領域中AI甚至可以勝過人腦，或是協助人類決策以減少成本。
時序分析預測技術
時間序列資料與我們的生活息息相關，而且還會有不同頻次的資料，例如金融業每分鐘、每秒鐘的交易金額、零售業的每日銷售量、每週進貨量、每月庫存量、各國家的每季、每年國內生產毛額（Gross Domestic Product，GDP）指數等。時間序列分析在單一因子中還會加上特徵工程，特徵工程可以讓單一因子產生有代表性的特徵，例如金融策略中的黃金與死亡交叉，就是將長期平均與短期平均做比較，產生的投資策略。往往單一個序列因子是不夠的，通常時間序列會互相影響，而且影響會隨著時間變化，例如零售業的銷售量預測，在同類型商品中有缺貨替代互補關係，而有時候同類商品互相也會有競爭關係，所以依據時間動態的在成千上萬的因子與特徵中，找出相關性高的因子與特徵是時序分析中的一大課題。
一、透過卷積計算，降低人工介入特徵工程，建構多樣化特徵：
卷積神經網路（Convolutional Neural Network，CNN）已經成功應用於圖像辨識中，自動化的生成特徵，不需要再以人工進行特徵工程萃取特徵。此外一維卷積神經網路（1D CNN）也成功應用於時間序列分析，卷積神經網路包含三種層：卷積層、池化層和全連接層，其中卷積層的主要任務是從輸入數據中學習特徵，1D卷積運算可以萃取出時間序列的局部特徵，1D卷積運算如圖1所示，為了萃取更多全域的特徵，擴張卷積（Dilated Convolution）被提出來，此機制可以讓單位時間跨度（Time Span）更多變化萃取更久遠的特徵，如圖2所示，透過隨機產生大量的卷積核萃取各式各樣的特徵，意即將原始時間序列對應到高維度的特徵空間，提供高維度的特徵給後續模型建置，使模型能夠有更多樣化的特徵可以學習。
二、導入重新訓練機制，達到動態超參數調校：
要達到動態的在成千上萬的因子與特徵中找出相關性高的因子與特徵，必須要先有多樣化的特徵，這點先前的Random Convolutional Kernel Transform技術已經可以支援並擴展到多因子的時序資料，接下來將資料切成訓練集（train data）、驗證集（validation data）、測試集（test data），利用機器學習或是深度學習針對訓練集資料訓練模型，在固定的超參數下，演算法可以找出有影響力的特徵並且建立模型，並利用驗證集資料找出表現較好的模型。在此加入重新訓練機制（retrain），每隔一段時間模型會增加重新訓練資料（retrain data）再重新訓練調整參數建立模型，如圖3所示，因此可以達到隨時間動態的建模並找出重要特徵。利用測試集資料驗證模型成效，在此也會每隔一段時間重新建模（refit）但是不會重新調整超參數，主要是在測試模型的成效如何。
三、端到端時序自動化建模技術，大幅降低人工建模調參的時間成本：
從特徵萃取到模型建置的過程中有許多超參數需要設定，例如特徵萃取的卷積層個數或是模型建置的模型選擇、超參數調校都需要人工的調整以及設定，同時需要多個模型預測時，整個過程曠日廢時，甚至可能無法達到。例如零售業者商品數量動輒上千、上萬，每個商品建立一個模型是不可能的任務，因此時序預測自動化技術由此誕生，其中包含模型架構搜索技術（Network Architecture Search，NAS），可以自動化且有效率的建構深度學習網路架構，大幅降低人工測試架構的時間成本，另外超參數調校引入超參數優化技術（Hyper Parameter Optimization，HPO），不再是將超參數集合全部撒下去等結果，在此有更好的優化方向，減少走冤枉路的時間。時序自動化技術提供上千、上萬個任務的模型建置，也提供端到端的服務，只需要準備好資料，而不需要太多的演算法背景，就可以藉由自動化建模技術取得預測。
時序分析預測技術案例分享
時序分析在實際案例中最常遇到的困難是可能影響的因子非常多，大部分因子的影響程度又會隨著時間產生變化，導致模型預測不穩定，使得愈遠期的預測愈困難。在每個因子中都需要做特徵萃取，這也會導致整個模型的輸入資料有指數倍的成長，在眾多的因子特徵中找尋重要的特徵更是困難，有時候也會因為考慮的影響因子不夠導致模型成效差，以上幾點都在實際場域中時常遇到，在這邊分享幾個實際的案例。
一、零售商品銷量：
零售商品數量眾多，而且因為需求量不穩定，時有時無，因此在此案例中會先針對商品需求量的分布以及歷史的資料分類，針對不同的需求分類建立不同類的演算法，利用演算法特性可以解決需求量不穩定的問題，也不會影響到需求量穩定的商品。實際應用在汽車百貨業的銷售量預測，相較於業者預測精準度改善超越30％，存貨週轉天數降低10％。
二、景點人潮預測：
景點人潮預測案例中，依據台灣人的旅遊習性加入特徵，包含搜尋引擎的聲量、COVID-19的確診人數、COVID-19的警戒級數、天氣降雨量、是否為假日等。因為旅遊前經常會於搜尋引擎尋找當地的資訊，因此聲量的因子就是一個景點人潮的領先指標，在特徵重要度上甚至超逾原本的歷史人潮特徵，另外是否為假日特徵也影響巨大，我們還發現了COVID-19的確診人數也會影響到部分地區人潮的預測，反而天氣的特徵比較不顯著。
三、金融商品預測：
金融商品影響因子非常多，大多都是將相關的金融商品一併加入特徵萃取，但實際上發現金融商品不只跟其他金融商品有關，也特別請教了操作金融商品的專家，得知他們也會解讀金融文章協助操作。因此在此案例中特別加入文章的資訊，將文章量化轉到高維度的空間中作為特徵，考慮到文章效果可能隨時間改變，也會隨著不同文章來源而有所變化，所以導入多模型投票機制，讓模型有更多面向的評估，最終約有80％的文章模型被挑出來投票，可以說明文章特徵重要度非常高。
結語
時間序列預測分析在統計已經發展許久，近幾年資料大爆炸的年代，加上人工智慧的浪潮，傳統的統計方法加上人工智慧，建立出一套端到端時序自動化建模技術，從最一開始的特徵萃取到訓練模型，再到挑選模型全部自動化一條龍的系統建立，可以大幅降低人工建模調參的時間成本，也可以將引入人工智慧的門檻降低一點。
參考文獻
[1] Wiki time series. Available at: https://en.wikipedia.org/wiki/Time_series
[2] Dempster A, Petitjean F, Webb G “ROCKET: exceptionally fast and accurate time series classification using random convolutional kernels”. Data Min Knowl Disc. pp. 6-17, 2020. Available at: https://arxiv.org/pdf/1910.13051.pdf
[3] Elsken, T.; Metzen, J. H.; and Hutter, F. “Neural architecture search: A survey”. arXiv. pp. 8-11, 2018. Available at: https://www.jmlr.org/papers/volume20/18-598/18-598.pdf
[4] Yu T., Zhu H.”Hyper-parameter optimization: A review of algorithms and applications”, arXiv preprint. pp. 16-23, 2020. Available at: https://arxiv.org/pdf/2003.05689.pdf
[5] P.-H. Kuo, C.-J. Huang. ”A green energy application in energy management systems by an artificial intelligence-based solar radiation forecasting model” Energies, pp. 8-11, 2018. Available at: https://www.semanticscholar.org/paper/A-Green-Energy-Application-in-Energy-Management-by-Kuo-Huang/7bd5e046f5f764b32af0ab94de925d94766b3dfd[6] Aäron van den Oord, S. Dieleman, H. Zen, K. Simonyan, Oriol Vinyals, A. Graves, Nal Kalchbrenner, A. Senior, and K. Kavukcuoglu.” Wavenet: A generative model for raw audio”, SSW, pp. 3, 2016. Available at: https://arxiv.org/pdf/1609.03499.pdf
