今年8月，集成1.2萬億個晶體管的“史上最大芯片”The Cerebras Wafer Scale Engine（簡稱WSE）誕生，在11月19日召開的Supercomputing 2019大會上，該芯片制造公司Cerebras Systems推出了搭載該芯片的計算機系統(tǒng)——Cerebras CS-1，這也將是世界上最強大的AI計算系統(tǒng)。美國兩家國家實驗室是該公司的客戶，其中阿貢國家實驗室已成功部署并宣布，將用這套系統(tǒng)發(fā)現(xiàn)癌癥療法和理解黑洞碰撞。
圖| Cerebras CS-1
通常，硅芯片是從8、10或12英寸等不同規(guī)格的晶圓上單獨切下來的。而CS-1搭載的并不是一個芯片，而是一整個晶圓，它把晶圓切割成一個很大的長方形，每個芯片都相互連接，可以使每個晶體管都能像整體一樣高速運轉(zhuǎn)。一個典型處理器可能在一個芯片上有100億個晶體管，而CS-1搭載的整個晶片上所有核的晶體管總數(shù)超過1.2萬億個。
在AI計算中，芯片尺寸至關(guān)重要，但是高級處理器必須要有專用的硬件和軟件系統(tǒng)相配合才能實現(xiàn)理想的性能。CS-1系統(tǒng)設(shè)計和Cerebras軟件平臺相結(jié)合，可以充分用到從WSE上的40多萬個計算內(nèi)核和18 GB高性能片上存儲器中提取的每一點的處理能力。
圖| Cerebras晶片規(guī)模的引擎
而且，CS-1不需要大量修改現(xiàn)有模型，并且用戶只需將基于標準的100Gb以太網(wǎng)鏈路插入交換機就可以啟動培訓模型。
CS-1有15個機架，大概是26英寸高（66.04厘米）。研究人員Andrew Feldman表示，CS-1是“最快的AI計算機”。CS-1計算機的機器學習能力相當于數(shù)百架基于GPU的計算機能力，這些計算會消耗數(shù)百千瓦。但CS-1僅消耗17千瓦，占標準機架能耗的三分之一。他把CS-1和谷歌的TPU計算集群相比，強調(diào)谷歌的TPU2機器學習集群需要10個機架和超過100千瓦的功耗，才能提供一個CS-1機箱三分之一的性能。
Feldman說：“我們是由40萬個專用AI處理器組成的AI機器。”CS-1由40萬核、1萬億晶體管大小的處理器芯片驅(qū)動，可將原本需要至少幾周的大型神經(jīng)網(wǎng)絡(luò)訓練任務(wù)縮短到幾分鐘甚至幾秒鐘。同時，它通過讓潛在客戶在Cerebras的機器上訓練他們自己的神經(jīng)網(wǎng)絡(luò)模型吸引潛在客戶。
另外，Cerebras還公布了一些系統(tǒng)軟件的細節(jié)，該軟件允許用戶使用Pytorch和Tensorflow之類的ML標準框架編寫他們的機器學習模型。強大的圖形編譯器可自動將這些模型轉(zhuǎn)換為CS-1的優(yōu)化可執(zhí)行文件，而豐富的工具集可實現(xiàn)直觀的模型調(diào)試和性能分析。
圖| Cerebras軟件系統(tǒng)允許用戶使用Pytorch和Tensorflow之類的ML標準框架來編寫他們的機器學習模型
CS-1的第一個應(yīng)用是預測癌癥藥物反應(yīng)，這是美國能源部和美國國家癌癥研究所合作的一個項目。能源部負責人工智能與技術(shù)的副部長Dimitri Kusnezov在一份聲明中說：“在能源部，我們相信公私合作是加速美國人工智能研究的重要組成部分。”“我們期待與Cerebras建立長期而富有成效的合作關(guān)系，這將有助于定義下一代人工智能技術(shù)，并改變能源部的運作、業(yè)務(wù)和使命。”或許這也是Feldman能籌集到數(shù)億美元并雇用大量員工的原因。
圖|阿貢實驗室（Argonne National Laboratory）
阿貢實驗室與Cerebras的合作已經(jīng)有兩年了。其計算總監(jiān)Rick Stevens在新聞發(fā)布會上表示：“通過部署CS-1，我們大大縮短了神經(jīng)網(wǎng)絡(luò)的訓練時間，使研究人員能夠更高效地開展深度學習研究，在癌癥、創(chuàng)傷性腦損傷以及當今和未來對社會有重要意義的其他領(lǐng)域取得重大進展。”
阿貢實驗室是全球最大的超級計算機站點之一，而CS-1可以使這個站點比現(xiàn)有的AI加速器得到100到1000倍的提升，有望在2021年實現(xiàn)Aurora百萬兆級超算的能力。一臺百萬兆級的計算機一瞬間進行的計算量，相當于地球上的所有人每天每秒都不停地計算四年。
除了用在研究抗癌藥物之外，該系統(tǒng)還將被用來幫助理解黑洞碰撞行為及其引力波。此前做過類似研究的Theta超級計算機，在研究黑洞碰撞問題時需要調(diào)動超算所配置的4392個節(jié)點中的1024個節(jié)點，每個節(jié)點包含了一個64核處理器和16 GB的高帶寬封裝內(nèi)存（MCDRAM），192 GB的DDR4 RAM和128 GB的SSD。
