新創公司Lemurian?Labs發明了一種專為AI加速設計的對數(logarithmic)數字新格式，并打造了一款利用該格式優勢、鎖定數據中心AI工作負載應用的芯片。
美國AI芯片新創公司Lemurian Labs發明了一種專為AI加速設計的對數(logarithmic)數字新格式，并打造了一款利用該格式優勢、鎖定數據中心AI工作負載應用的芯片。
“2018年，我正在訓練機器人模型，該模型有一部份是卷積、一部份是Transformer，還有一部份是強化學習；”Lemurian共同創辦人暨首席執行官Jay Dawani接受《EE Times》訪問時表示：“在1萬顆Nvidia的V100 GPU上訓練這個模型要花6個月時間…模型呈指數型成長，但很少人擁有那樣的計算資源進行訓練、甚至連去試都很難，有很多想法因此被放棄。我正在努力為那些擁有偉大想法、卻缺乏計算資源的機器學習工程師打造解決方案。”
Lemurian共同創辦人暨首席執行官Jay Dawani。
(來源：Lemurian Labs)
Lemurian的第一款芯片尚未投片，其軟件模擬結果顯示，該新數字系統，以及特別設計的芯片，其性能可以超越Nvidia的H100芯片(以H100的最新MLPerf推論性能測試結果為準)──根據軟件模擬，在離線模式下，Lemurian的芯片能以每秒17.54次推論的速度執行MLPerf版本的GPT-J模型(Nvidia的H100在同樣的離線模式下能執行每秒13.07次推論)。
Dawani表示，Lemurian以軟件模擬得出的性能測試結果，大概跟實際芯片相差在10%之內，而他的團隊接下來打算從軟件“榨”出更高性能；他指出，軟件最佳化加上稀疏性(sparsity)可將性能再提升3~5倍。
對數數字系統
Lemurian的秘密武器是以該公司開發之新數字格式PAL──平行適應性對數(parallel adaptive logarithms)為基礎。“作為一家企業，我們一開始就朝向8位元整數量化(integer quantization)，因為從角度來看，那是我們最具效益的東西；”Dawani表示，“但沒有軟件工程師曾說過：我想要8位元整數！”
針對今日的大型語言模型(LLM)推論，INT8精度經過證實是不夠的，產業界已經轉向FP8；但Dawani解釋，AI工作負載的本質意味著數字通常在次正規(subnormal)范圍，也就是接近0的區域，在其中FP8可以代表更少的數字，因此精度也較低；FP8在次正規范圍內的覆蓋差距，是很多訓練方法需要較高精度數據類型如BF16與FP32的原因。
Lemurian共同創辦人Vassil Dimitrov提出了利用多基數(multiple bases)與多指數(multiple exponents)來擴展數十年來應用于數字處理器(DSP)之現有對數數字系統(Logarithmic number system，LNS)的想法。
“我們穿插了多指數的表示(representation)，以重新打造浮點的精確度與范圍；”Dawani表示，“這提供了更好的覆蓋…那會自然地在次正規范圍內的重要地方，建立一個擁有非常高精度的錐形輪廓(tapered profile)。”
這個精度范圍能進行偏移以覆蓋所需的范圍，類似于浮點的運作方式；Dawani表示，它能以比浮點更細粒化(grained)的方式控制偏移。
不同數字規格的覆蓋范圍比較。在次正規范圍，Lemurian的8位元對數數據類型PAL8相較于CFP8 (configurable floating point)、INT8，以及現有的對數數字系統LNS8有更好的覆蓋率。
(來源：Lemurian Labs)
Lemurian開發了從PAL2到PAL64的PAL格式，其中14位元的格式媲美BF16；與FP8相較，PAL8獲得額外的位元精度，其大小則約為INT8的1.2倍。Dawani預期，其他公司在未來也會采用這些格式；“我想要更多人采用這種格式，因為我認為是我們擺脫浮點的時候了。“
他指出：“PAL能被用在任何一個目前采用浮點的應用，從DSP到HPC，以及介于兩者之間的應用，而且不只是AI，不過那是我們目前的焦點應用。我們很有可能會與其他公司合作，針對那些應用打造芯片，以幫助他們采用我們的格式。“
對數加法器
LNS已經在DSP工作負載中被使用了很長一段時間，其中大多數計算都是乘法，因為它簡化了乘法。在LNS中兩個數字的乘法是以這兩個數字的對數加法來表示，不過要將兩個LNS數字加起來會難得多。
傳統上DSP是使用查找表(LUT)來完成加法，雖然效率相對較低，不過對大多數需要乘法的計算來說已經夠好了。對AI工作負載來說，矩陣乘法需要乘法與累加；Dawani表示，Lemurian秘密武器的一部份是能“解決在硬件中的對數加法。”
“我們已經完全廢除LUT，打造了一種純粹的代數加法器；”他指出：“我們有一個比浮點精確得更多的確切方法。我們仍在進行更多最佳化，看看是否能讓它更便宜、更快速；而從功耗、效能與面積(PPA)的表現來看，已經比FP8高出兩倍以上。”
Lemurian數據流架構的高階視角；該芯片是圍繞著該公司的對數數字系統所設計。
(來源：Lemurian Labs)
Lemurian已經為這種加法器申請了數個專利。“DSP世界以查看一個工作負載，并從數字上了解它正在尋找的東西然后利用它、并將之導入芯片而聞名；”Dawani表示：“這與我們正在做事情的沒有差別──但我們并非打造只能做一件事的ASIC，我們研究整個神經網路空間的數值，建構了一個具有適當程度靈活性的特定領域架構。”
軟件堆疊
要以有效方式實現PAL格式，需要硬件也需要軟件。“我們花了很多功夫嘗試思考如何讓硬件更容易編程，因為除非你能讓工程師生產力成為被加速的第一件事情，任何架構都不可能成功；”Dawani表示：“我寧愿擁有糟糕的硬件架構跟很厲害的軟件堆疊，而非相反。”
Lemurian甚至在開始思考期硬件架構之前，就將其編譯器軟件完成了約40%；他指出，該公司目前的軟件堆疊已經開始運轉，并打算要完全開放，讓使用者能編寫自己的軟件核心(kernel)與融合(fusion)。該軟件堆疊包括Lemurian的混合精度對數量化器(logarithmic quantizer)，能將浮點與整數工作負載映射到PAL格式，同時維持準確度。
“我們采用了存在于神經架構搜尋(neural architecture search)的許多想法，并將它們運用于量化，因為我們想讓那個部份變得容易；”Dawani表示，雖然卷積神經網路相對容易量化， Transformer模型則不然──在激勵函數中會有需要更高精度的離群值(outlier)，因此整體上Transformer會需要更復雜的混合精度方法。
不過Dawani表示，根據他正在追蹤的多個研究顯示，到Lemurian的芯片上市時，Transformer模型還不會成為主流。他認為，未來的AI工作負載可能會依循由Google Gemini，以及其他模型所設定的路徑，將以不確定性(non-deterministic)步驟數執行，這打破了大多數硬件與軟件堆疊的假設。
“如果你不能預先知道你的模型需要多少步驟來執行，你如何進行排程，以及知道需要多少計算來啟動排程？”他解釋：“你需要在本質上更具動力的東西，這對我們的想法產生了很大的影響。”Lemurian的芯片將會是300W的數據中心加速器，配備128GB的HBM3高帶寬存儲器，可提供3.5 POPS的密集計算(稀疏性會在稍后進行)。
整體來說，Dawani的目標是打造比H100性能更高的芯片，但價格則與Nvidia前一代的A100芯片相當；其目標應用包括在地部署(on-prem)的AI伺服器(涵蓋所有應用領域)，以及一些二級(Tier 2)或專業型云端企業(非超大規模數據中心企業)。
目前Lemurian的團隊在美國與加拿大有27名員工，最近募得一輪900萬美元的種子資金。Dawani的目標是在2024年第三季進行第一款Lemurian芯片投片，并于2024年第二季發表第一個生產用軟件堆疊；他補充，目前該公司可提供虛擬開發套件給想要“試水溫”的客戶。
(參考原文：Can DSP Math Help Beat The GPU for AI?，by Sally Ward-Foxton)
- TI 對此有何看法？
您可能感興趣
