Perception的Ergo 2芯片現(xiàn)在為變壓器提供硬件支持。

　　從Xperi分離出來的AI芯片初創(chuàng)公司Perception發(fā)布了第二款芯片，該芯片為變壓器提供了硬件支持，包括邊緣的大型語言模型(LLM)。該公司在 CES 2023 上通過 RoBERTa(一個具有 1.1 億個參數(shù)的變壓器網(wǎng)絡(luò))在其 Ergo 2 芯片上展示了句子完成。

　　爾格 2 采用與 原版爾格，但提供大約 4× 的性能。這種性能提升轉(zhuǎn)化為具有超過 1 億個參數(shù)的變壓器的邊緣推理、更高幀速率的視頻處理或一次推理多個大型神經(jīng)網(wǎng)絡(luò)。例如，YoloV5-S 推理在爾格 2 上最多可以每秒運行 115 個推理;YoloV5-S 以每秒 30 張圖像的速度進行推理僅需 75 mW。典型應(yīng)用的功耗低于 100 mW，或最高可達 200 mW。

　　爾格2的性能與爾格相比。爾格將繼續(xù)可用，因為芯片適合略有不同的功率配置文件(來源：感知)

　　Perception的神經(jīng)網(wǎng)絡(luò)加速方法利用了專有的模型壓縮技術(shù)，結(jié)合神經(jīng)網(wǎng)絡(luò)的不同數(shù)學表示，以及兩者的硬件加速。

　　“我們技術(shù)的核心是認真壓縮的原則方法，”Perception首席執(zhí)行官Steve Teig告訴EE Times?！斑@意味著有一個數(shù)學上嚴格的策略來辨別計算的意義，并在以新的方式表示神經(jīng)網(wǎng)絡(luò)的同時保留這種意義。

　　史蒂夫·泰格(來源：感知)

　　Teig說，使用Perception今天使用的壓縮方案，通常可以對模型進行50-100×壓縮。

　　“我們認為學習和壓縮實際上是一回事，”他說。“這兩項任務(wù)都在數(shù)據(jù)中找到結(jié)構(gòu)并加以利用。您可以壓縮可壓縮數(shù)據(jù)的唯一原因是因為它是結(jié)構(gòu)化的——隨機數(shù)據(jù)是不可壓縮的......如果你可以利用這種結(jié)構(gòu)，你就可以使用更少的內(nèi)存位。

　　Perception正在使用信息論來找到這種結(jié)構(gòu) - 特別是對于激活 - 因為它是激活而不是權(quán)重主導當今大多數(shù)神經(jīng)網(wǎng)絡(luò)的內(nèi)存足跡。感知壓縮激活，以最大程度地減少存儲激活所需的內(nèi)存。如果直接計算壓縮激活不方便，則可以在需要時解壓縮它們，根據(jù)神經(jīng)網(wǎng)絡(luò)的不同，這可能會更進一步。同時，釋放了大部分內(nèi)存。

　　Teig說，激活可以被壓縮以將其大小減小10倍，而量化可能是“微不足道”的2-4倍×但沒有相應(yīng)的精度損失。但是，壓縮和量化是互補的。

　　Perception使用的其他壓縮技術(shù)包括在空間和時間上重新排序推理計算的部分。對于推理，計算中的所有依賴項在編譯時都是已知的，這意味著推理可以分為子問題。然后根據(jù)需要重新排列這些子問題。

　　“這使我們能夠運行比你想象的更大的模型，因為我們有足夠的馬力，基本上我們可以用空間換取時間......擁有和我們一樣快的芯片意味著我們可以通過按順序進行一些計算來節(jié)省空間，并讓它們看起來并行，“Teig在 此前接受EE Times采訪.

　　轉(zhuǎn)換壓縮

　　對于爾格2，Perception找到了一種壓縮變壓器模型的方法，并為這些壓縮模型增加了硬件支持。

　　Perception的優(yōu)勢有多少取決于對工作負載的操縱，有多少取決于硬件加速?

　　“兩者兼而有之，但大多數(shù)肯定是軟件或數(shù)學，”泰格說。“這是我們的數(shù)學方法，在哪里找到壓縮是第一位的。第二是軟件視角，第三是芯片和硬件上神經(jīng)網(wǎng)絡(luò)的表示，以加速[該表示]。

　　感知的壓縮工具流程由三部分組成——宏、微觀和編譯。宏發(fā)現(xiàn)大規(guī)模壓縮機會并利用它們，微觀使用不同的壓縮技術(shù)尋找進一步的小規(guī)模機會，編譯階段管理內(nèi)存并優(yōu)化功耗。爾格2的性能依賴于這三者。

　　在SDK級別，Perception的軟件堆棧重新訓練Pytorch模型，使其與Ergo或Ergo 2兼容。還有一個用于芯片CPU上后處理任務(wù)的C庫，以及一個由大約20個模型組成的模型庫，客戶可以構(gòu)建。

　　爾格2還具有架構(gòu)變化 - 這包括新的統(tǒng)一內(nèi)存空間(原始爾格為神經(jīng)網(wǎng)絡(luò)和片上CPU提供單獨的內(nèi)存空間)以及對變壓器的硬件支持。Teig拒絕透露新的內(nèi)存空間有多大，但指出統(tǒng)一的內(nèi)存空間意味著子系統(tǒng)可以更有效地共享內(nèi)存。例如，在圖像推理過程中，整個內(nèi)存可能首先用作幀緩沖區(qū)。當神經(jīng)網(wǎng)絡(luò)消化圖像時，它可以根據(jù)需要逐漸接管內(nèi)存，然后 CPU 使用相同的內(nèi)存進行后處理。

　　與原始的爾格相比，Perception的Ergo 2將適合略有不同的邊緣應(yīng)用。(來源：感知)

　　爾格 2 還可以接受更高分辨率的視頻 — MIPI 接口因客戶需求而加快，將 Ergo 2 上可接受的最高分辨率從 4K 增加到 1200 萬或 1600 萬像素數(shù)據(jù)。這也擴大了芯片的吸引力，包括需要更高分辨率視頻的筆記本電腦、平板電腦、無人機和企業(yè)應(yīng)用程序。

　　Percieve的原始Ergo仍將可用于需要最嚴格功率預算的應(yīng)用，而Ergo 2將支持那些需要更多性能但具有更多功率的應(yīng)用。

　　“電池供電的相機具有兩年的電池壽命可能想要使用爾格，但超分辨率到4K可能需要爾格2，”Teig說。

　　相比之下，Perception的數(shù)據(jù)具有爾格的功率效率，每瓦每秒2727張ResNet-50圖像，而爾格2可以達到2465張。這比競爭邊緣芯片高出一個數(shù)量級。

　　未來變壓器

　　在Teig看來，越大越好，這與目前變壓器越來越大的趨勢相反。

　　“從數(shù)學的角度來看，你試圖捕獲的概念的信息理論復雜性應(yīng)該決定你的網(wǎng)絡(luò)有多大，”他說。“我們可以從數(shù)學上證明，像GPT這樣捕捉英語語法豐富的語言模型，仍然應(yīng)該以數(shù)百萬，而不是數(shù)十億，當然也不是數(shù)萬億個參數(shù)來衡量。

　　有了這些知識，Perception將繼續(xù)致力于變壓器的壓縮，使邊緣網(wǎng)絡(luò)越來越大。

　　“壓縮是要采取的。唯一的問題是，作為一個社區(qū)，而不僅僅是Perception，我們是否足夠聰明，能夠弄清楚如何提取模型的潛在含義，這就是我們在向技術(shù)展示更大的[變壓器]模型時所觀察到的，“他說?！八趯ふ覊嚎s它們的方法，遠遠超過以前的模型，因為基礎(chǔ)概念的復雜性并沒有增加太多，只有用于表示它們的模型增長了很多。

　　但是，是什么讓變壓器比任何其他類型的神經(jīng)網(wǎng)絡(luò)更具可壓縮性呢?

　　“如果你唯一愿意使用的詞是矩陣乘法和ReLU，想想說任何有趣的東西需要多少個詞，”他說?！叭绻愕恼Z言中唯一的單詞是那些，你將不得不談?wù)摵荛L時間來描述一個復雜的概念，一旦你從那些是唯一允許使用的單詞的信念中退后一步，你就可以做得更好。

　　Teig補充說，雖然50-100×的壓縮率今天對爾格2來說沒有問題，但他預計未來1000的壓縮系數(shù)將觸手可及，“甚至可能是10，000×，”他說。

　　本文最初發(fā)表于 電子電氣時報.

　　莎莉·沃德-?？怂诡D 為EETimes Europe雜志涵蓋 EETimes.com 和歐洲工業(yè)各個方面的AI技術(shù)和相關(guān)問題。Sally 花了超過 15 年的時間在英國倫敦撰寫有關(guān)電子行業(yè)的文章。她為電子設(shè)計，ECN，電子規(guī)范符：設(shè)計，電子組件等撰寫文章。她擁有劍橋大學電氣和電子工程碩士學位。