我們擅長商業(yè)策略與用戶體驗的完美結合。
歡迎瀏覽我們的案例。
對此,《科創(chuàng)板日報》記者詢問百度、騰訊和阿里巴巴方面,均未有回應。
不過,阿里巴巴集團董事會主席兼 CEO 張勇在財報溝通會上坦言,GPU 在中國市場供應確實緊缺。“新一代人工智能發(fā)展帶來的模型訓練和推理場景,對 AI 云服務的需求非常旺盛,但是由于短期內 GPU 在中國市場供應的緊缺,使得這樣的需求只得到了部分滿足,AI 相關服務所帶來的增量機會剛剛開始得到釋放。”
有大模型創(chuàng)業(yè)公司高層向《科創(chuàng)板日報》透露,”相比 5 月份英偉達芯片上漲了百分之小幾十,A100 和 H100 都已經買不到了。”
一家算力服務平臺的相關人員告訴《科創(chuàng)板日報》記者,當前算力資源較為緊缺,有幾百家企業(yè)都在排隊。
未來推理算力需求或遠高于訓練算力
隨著 AI 大模型加速在實際場景落地,算力需求也隨之激增。
以 AI 應用“妙鴨相機”為例,其上線不到一個月,算力需求暴漲數百倍。據相關負責人透露,“妙鴨相機”已在阿里云上進行緊急擴容,應對暴漲數百倍的算力需求。雖然算力一邊加,但另一邊用戶也在漲,但高峰期排隊現象已經有了緩解。
“此前,大家對大模型訓練需要的算力關注較多,尤其是 GPT 類的模型訓練,動輒需要上萬張顯卡。”某資深人士分析,隨著 Llama2 等開源大模型的流行,大模型應用推理端的算力需求更值得關注。隨著各個行業(yè)的 AIGC 開發(fā)逐步完成,對業(yè)務開展階段使用的推理算力需求開始大幅增長,未來幾個月推理的算力需求總量可能遠高于訓練算力。
優(yōu)刻得董事長兼 CEO 季昕華認為,未來對 GPU 的需求會繼續(xù)增長。“國產大模型的玩家越來越多,算力需求越來越高漲,同時大模型訓練的數量、數據和參數越來越大,也導致需求越來越多。其中,對推理算力的需求會更大。
“這是因為推理和用戶數直接相關。目前,優(yōu)刻得用于客戶訓練的 GPU 和推理的 GPU 的比例大概在3:7。假設三萬張卡做訓練的話,對應到七萬張卡做推理,這也是為何 ChatGPT 會限制大家使用和注冊,就是因為推理(的卡)不夠。” 季昕華說,“如今受限于整個供應鏈,全球缺貨。雖然我們能買,但是到貨時間會很難。此外,也受限于整個美國的政策,對 A100 和 H100 有限制。”
國產芯片相比英偉達仍有差距
當下,已有不少國內企業(yè)入局 AI 芯片,包括華為昇騰、寒武紀、天數智芯、燧原科技、沐曦科技、壁仞科技等。
“國內真正已經參與大模型訓練的廠商,主要是華為昇騰、寒武紀。”一位 AI 專家指出。“其他初創(chuàng)企業(yè)的痛點,主要是生態(tài)上不夠成熟,但在細分領域可以落地,比如,燧原科技在某些領域的加速表現不錯。”
另有大模型創(chuàng)業(yè)者對《科創(chuàng)板日報》記者表示,目前已經與昇騰、燧原等國產芯片進行適配。“雖然距離英偉達高端芯片還需要加油,華為昇騰在國產芯片中已經很優(yōu)秀了。”
一位相關芯片技術人員則向記者強調,昇騰芯片在某些深度學習的特定場景上性能已經趕上英偉達。
天數智芯相關負責人則對記者表示,其產品已成功支撐大模型訓練、推理,取得一定程度的突破。此外,在數據中心、能源、教育以及醫(yī)療等方面都有訂單,整體銷售額已經突破 5 億。
“國產芯片和英偉達的差距主要在于生態(tài)和通信性能。”季昕華指出,“現在大部分的人工智能方案都是基于英偉達的 CUDA 平臺,國產芯片需要兼容 CUDA 架構,對生態(tài)要求還是比較高的。其次,在整個通信的性能上仍有挑戰(zhàn),推理今年能夠實現使用,但訓練方面還需要一點時間。不過進步非??臁N覀儸F在也積極地與國產 GPU 對接,能讓他們用起來。”
(邯鄲小程序)