使用者友善系統可協助開發者建立更有效率的模擬與人工智慧模型 | 麻省理工學院新聞

神經網絡人工智慧的運作

在醫療影像處理和語音識別等應用中，神經網絡人工智慧模型需要處理非常複雜的數據結構，這需要大量的計算能力。因此，深度學習模型消耗了很多能源。

MIT的自動化系統

為了提高人工智慧模型的效率，麻省理工學院 (MIT) 的研究人員創建了一個自動化系統，讓深度學習算法的開發者可以同時利用兩種數據冗餘。這樣可以減少機器學習操作所需的計算量、帶寬和記憶體存儲。

優化算法的挑戰

目前的優化算法技術通常很繁瑣，並且通常只能讓開發者利用稀疏性或對稱性這兩種不同的冗餘。這些冗餘存在於深度學習數據結構中。

MIT的研究人員的這種方法，讓開發者能夠從頭開始建立一個同時利用這兩種冗餘的算法，這樣在某些實驗中計算速度提高了近30倍。

友好的編程語言

這個系統使用了一種使用者友好的編程語言，可以優化各種應用的機器學習算法。即使是對深度學習不太熟悉的科學家，也能利用這個系統來提高他們用來處理數據的人工智慧算法的效率。此外，這個系統還可以應用於科學計算。

簡化計算過程

在機器學習中，數據通常以多維數組的形式表示，稱為張量 (tensor)。張量就像一個矩陣，是一個在兩個軸（行和列）上排列的值的矩形數組。但與二維矩陣不同，張量可以有多個維度，這使得操作張量變得更加困難。

深度學習模型通過重複的矩陣乘法和加法來對張量進行操作，這是神經網絡學習數據中複雜模式的方式。對這些多維數據結構進行的計算量非常龐大，因此需要大量的計算和能源。

數據冗餘的例子

由於張量中數據的排列方式，工程師通常可以通過刪除冗餘計算來提高神經網絡的速度。

例如，如果一個張量代表電子商務網站的用戶評論數據，因為不是每個用戶都評論每個產品，所以該張量中的大多數值可能是零。這種數據冗餘稱為稀疏性。模型可以通過僅存儲和操作非零值來節省時間和計算。

此外，有時張量是對稱的，這意味著數據結構的上半部分和下半部分是相等的。在這種情況下，模型只需要操作一半，從而減少計算量。這種數據冗餘稱為對稱性。

簡化的編譯器

為了簡化這個過程，Ahrens和她的同事們建立了一個新的編譯器，這是一個將複雜代碼轉換為機器可處理的簡單語言的計算機程序。他們的編譯器名為SySTeC，可以通過自動利用張量中的稀疏性和對稱性來優化計算。

同時優化的過程

使用SySTeC時，開發者輸入他們的程序，系統會自動優化他們的代碼以符合三種對稱性。然後，SySTeC的第二階段進行額外的轉換，只存儲非零數據值，從而優化程序的稀疏性。

最終，SySTeC生成可直接使用的代碼。

未來的計畫

研究人員希望將SySTeC整合到現有的稀疏張量編譯器系統中，為用戶創建一個無縫的界面。此外，他們還希望用它來優化更複雜程序的代碼。

這項工作部分由英特爾 (Intel)、國家科學基金會 (National Science Foundation)、國防高級研究計劃局 (Defense Advanced Research Projects Agency) 和能源部 (Department of Energy) 資助。