在AI行業從業至今,寫瞭大量的代碼項目,在創作過程中遇到過很多問題,而做自媒體也有快兩年瞭,同樣踩瞭很多坑。
今天就從硬件這方面總結一下目前對設備的一些使用經驗,主要也是談談之前自己在日常開發和創作中所面臨的問題,以及這些問題是如何被【工作站】這一方案一招解決的。——先從大傢最關心的日常開發使用這塊講起。
技術開發
在技術開發上,平時用的最多的開發環境是基於IntelliJ IDEA、Visual studio這兩個平臺,主要是進行代碼的調試、編寫等需求——當然底層都同樣用的一套Anaconda。
最開始做開發的時候我還在讀研,那個時候用自己幾年前的老遊戲本,無論是跑Matlab(研一的最優化課程作業)還是寫C++小項目,速度都非常慢,包括但不限於repo編譯、矩陣計算、Matlab渲染——尤其是渲染,本來軟件就做的不太好,很多坑,但這還並不是主要問題——工作場景中的存儲穩定性才是核心。之前的遊戲本用來跑簡單的深度學習demo不但非常慢,代碼項目如果多開超過2個就會非常卡,甚至會出現閃退、崩潰問題(說到底還是窮~)。
那個時候太年輕,不知道實時灌日志的重要性,CMD崩潰導致幾個小時的計算結果丟失真的十分令人痛苦,而從那以後即使到今天我也養成瞭每2分鐘保存的習慣。
這幾方面的問題是在畢業後將遊戲本升級成工作站之後才徹底解決的(讀書時就一直用的戴爾,畢業時才升級到瞭Precision工作站),並且這套方案一直延續至今。以今年剛升級的Precision 3660為例,相比自己辦公用遊戲本和打遊戲的臺式機,工作站的優勢非常明顯,在技術開發上有更好的體驗,讓AI的編程設計也更高效。
其實最主要還是計算設備上升瞭很多檔,Precision 3660的兩大算力核心都比較強,CPU和GPU都可選配。最高支持英特爾第12代酷睿i9-12900K處理器——之前我在一期視頻裡說過,12代酷睿基本屬於牙膏擠爆瞭,12900K又是旗艦天花板。另外Intel針對這一代工作站不再用衍生Xeon W-1xxx系列的做法來支持ECC內存瞭,酷睿CPU+W680芯片組主板可支持ECC或非ECC內存,直接簡單省事。而這次像PCIe 5.0和x4 PCIe 4.0 Lane都是直接連接CPU的。
此外,這次英特爾還將RST RAID對NVMe SSD的支持擴展到瞭CPU直連的通道,使其不再受限於PCH芯片組與CPU之間DMI 4.0連接的帶寬——簡答來說就是包括L3緩存在內的幾個模塊讀的更快瞭。
b87bf57e837e074134612cbc9992a964
在日常使用中,還有兩點不得不提:
哦對瞭,這代Tower的CPU散熱器還加入瞭液冷選項,雖然困於預算我沒上,但據說效率趕上一些小型數據中心瞭,運行高能耗的算力程序時控溫能力很強,超頻跟喝水一樣。
整體看下來這是日常使用的服務器裡相對較高的規格瞭——和Xeon Gold系列相比,性價比算是很不錯,畢竟租一臺服務器隻能以小時計費。當然,像很多矢量運算、矩陣運算,除瞭框架自身的設計,也依賴GPU的性能聯動。考慮到這一點,工作站的GPU也基本開始一步到位,官方頂配直接就上瞭英偉達專業顯卡RTX A6000 48G(8nm制程,沒記錯的話),學校裡的新服務器不少也用的這套,提供PCIe 4/5擴展槽,加上Precision DO軟件智能調優,跑CV據說非常絲滑,比V100有明顯進步。一臺3660就相當於一臺專屬的深度學習服務器,雖然聽著略顯誇張,但Precision真就做出來瞭——不過為瞭避免顯卡爆炸,戴爾很謹慎的把電源功率最高升到瞭1000W(估計是友商的前車之鑒)
4ffac84a27cf03e56f891b919e5f9845
最後還有個重要區別——跟傳統設備相比,3660這類中高端工作站的可擴展潛力更大。以AI行業為例,硬件更新換代很頻繁,所以對顯卡、內存的擴展非常必要。之前我那臺遊戲本可擴展性基本等於0,而Precision工作站則擁有很多擴展接口,比如
除此之外還有個前置插拔驅動器,這東西之前確實沒見過,如下圖
說白瞭就是個硬盤/SSD擴展位,並且可以加鎖。我看說明書上寫的,這個位置可選3.5英寸、2.5英寸或者M.2 NVMe SSD,如果配NVMe時估計支持熱插拔(前提不要是系統盤或RAID組成員)
舉個例子你就懂瞭——當你抱著這臺工作站到實驗室,準備放在那跑實驗,給師弟師妹炫耀一下不用搶計算資源的壕氣,但是又怕隱私數據被看到,這時候就可以把實驗結果保存在這個擴展位的卡上,當你離開主機時,可以采取“盤隨人走”的方式來避免數據/隱私泄露。
當然,除瞭上面場景的專業性要求,日常使用中還有些別的方面Precision也比較符合我的口味,比如:工作室空間有限,3660的放置占用空間比臺式機小很多,外觀低調,設計感足,噪音也很少,而益於液冷和機箱設計,這臺Precision在超頻時也不會很吵。
其實作為互聯網技術和媒體從業者,我在很多方面都對電腦的軟硬件性能有更高要求,一方面是為瞭讓創作更加高效,另一方面對生產設備的性能追求也影響瞭我的科技觀感,讓很多思路也更加清晰。
未來隨著Precision系列的不斷迭代,會有更加高效、有趣的工作設備出現(比如基於VR、AR的高性能計算設備),讓我們在未來的創作中更加具備效率和體驗,也兼具娛樂,讓成本越來越低、生產力越來越高。
讓我們拭目以待。
上一篇
下一篇