《開放加速規(guī)范AI服務(wù)器設(shè)計指南》發(fā)布
【資料圖】
(CWW)日前,在2023年開放計算社區(qū)中國峰會(OCP China Day 2023)上,《開放加速規(guī)范AI服務(wù)器設(shè)計指南》(以下簡稱《指南》)發(fā)布。《指南》面向生成式AI應(yīng)用場景,進一步發(fā)展和完善了開放加速規(guī)范AI服務(wù)器的設(shè)計理論和設(shè)計方法,將助力社區(qū)成員高效開發(fā)符合開放加速規(guī)范的AI加速卡,并大幅縮短與AI服務(wù)器的適配周期,為用戶提供最佳匹配應(yīng)用場景的AI算力產(chǎn)品方案,把握生成式AI爆發(fā)帶來的算力產(chǎn)業(yè)巨大機遇。
當(dāng)前,生成式AI技術(shù)飛速發(fā)展,引領(lǐng)了新一輪AI創(chuàng)新浪潮。AI大模型是生成式AI的關(guān)鍵底座,對生產(chǎn)效率提升、傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級具有重大的價值潛力,而大模型的高效訓(xùn)練通常需要具備千卡以上高算力AI芯片構(gòu)成的AI服務(wù)器集群支撐。隨著生成式AI加速落地,業(yè)界對配置高算力AI芯片的AI服務(wù)器需求也不斷高漲。在此背景下,全球已有上百家公司投入新型AI加速芯片的開發(fā),AI計算芯片多元化趨勢凸顯。由于缺乏統(tǒng)一的業(yè)界規(guī)范,不同廠商的AI加速芯片存在顯著差異,導(dǎo)致不同芯片需要定制化的系統(tǒng)硬件平臺承載,帶來更高的開發(fā)成本和更長的開發(fā)周期。
OCP是全球基礎(chǔ)硬件技術(shù)領(lǐng)域覆蓋面最廣、最有影響力的開源組織。2019年OCP成立OAI(Open Accelerator Infrastructure)小組,對更適合超大規(guī)模深度學(xué)習(xí)訓(xùn)練的AI加速卡形態(tài)進行了定義,以解決多元AI加速卡形態(tài)和接口不統(tǒng)一的問題。2019年底,OCP正式發(fā)布了OAI-UBB(Universal Baseboard)1.0設(shè)計規(guī)范,并隨后推出了基于OAI-UBB1.0規(guī)范的開放加速硬件平臺,無需硬件修改即可支持不同廠商的OAM產(chǎn)品。近年來,以浪潮信息為代表的系統(tǒng)廠商研制了多款符合開放加速規(guī)范的AI服務(wù)器,實現(xiàn)了開放加速AI服務(wù)器的產(chǎn)業(yè)化實踐。
基于在開放加速計算領(lǐng)域的產(chǎn)品研發(fā)和工程實踐經(jīng)驗,《指南》進一步發(fā)展和完善了開放加速規(guī)范AI服務(wù)器的設(shè)計理論和設(shè)計方法,提出四大設(shè)計原則、全棧設(shè)計方法,包括硬件設(shè)計參考、管理接口規(guī)范和性能測試標(biāo)準(zhǔn),旨在幫助社區(qū)成員更快更好地開發(fā)AI加速卡并適配開放加速AI服務(wù)器,應(yīng)對生成式AI的算力挑戰(zhàn)。
《指南》指出,開放加速規(guī)范AI服務(wù)器設(shè)計應(yīng)遵循四大設(shè)計原則,即應(yīng)用導(dǎo)向、多元開放、綠色高效、統(tǒng)籌設(shè)計。在此基礎(chǔ)上,應(yīng)采用多維協(xié)同設(shè)計、全面系統(tǒng)測試和性能測評調(diào)優(yōu)的設(shè)計方法,以提高適配部署效率、系統(tǒng)穩(wěn)定性、系統(tǒng)可用性。
多維協(xié)同設(shè)計是指系統(tǒng)廠商和芯片廠商在規(guī)劃初期要做好全方位、多維度的協(xié)同,最大化減少定制開發(fā)內(nèi)容。大模型計算系統(tǒng)通常是一體化高集成度算力集群,包含計算、存儲、網(wǎng)絡(luò)設(shè)備,軟件、框架、模型組件,機柜、制冷、供電、液冷基礎(chǔ)設(shè)施等。只有通過多維協(xié)同,才能實現(xiàn)全局最優(yōu)的性能、能效或TCO指標(biāo),提高系統(tǒng)適配和集群部署效率。《指南》給出了從節(jié)點到集群的軟硬全棧參考設(shè)計。
全面系統(tǒng)測試是指異構(gòu)加速計算節(jié)點通常故障率高,需要更加全面、嚴(yán)苛的測試,才能最大程度降低系統(tǒng)生產(chǎn)、部署、運行過程中的故障風(fēng)險,提高系統(tǒng)穩(wěn)定性,減少斷點對訓(xùn)練持續(xù)性的影響?!吨改稀穼Y(jié)構(gòu)、散熱、壓力、穩(wěn)定性、軟件兼容性等方面的測試要點進行了全面梳理。
性能測評調(diào)優(yōu)是指需要對大模型加速計算系統(tǒng)開展多層次的性能評測和軟硬件深度調(diào)優(yōu)。《指南》給出了基礎(chǔ)性能、互連性能、模型性能測試的要點和指標(biāo),并指出了針對大模型訓(xùn)練和推理性能調(diào)優(yōu)的要點,以確保開放加速規(guī)范AI服務(wù)器能夠有效完成當(dāng)前主流大模型的創(chuàng)新應(yīng)用支撐。
關(guān)鍵詞:
您可能也感興趣:
為您推薦
中央氣象臺:我國東部和南部部分海域?qū)⒂?~10級雷暴大風(fēng)
【文化評析】“脫水”電視劇,更能贏得觀眾
魅族推出Flyme 10.2穩(wěn)定版,flyme Link功能推出
排行
- 拼多多盯上了日本韓國,但這回好像有點砍不動。
- 凱德華北區(qū)與菜百股份將在開店拓展等多方面達成合作
- 前三季度商業(yè)地產(chǎn)租賃需求創(chuàng)新高,存量地產(chǎn)價值提升空間廣闊
- 零氪科技暫停赴美IPO,上市計劃被延期
- 永定門電烤串完成近千萬元天使輪融資
- 廈門市黑色金屬產(chǎn)業(yè)招商又節(jié)碩果 金馬能源新項目落戶
- 東方雨虹上半年歸屬凈利潤約14.81億元-15.90億元
- 格林酒店一季度經(jīng)營利潤為6139萬元,同比增長64.9%
- 愛立信正進一步加大在中國本土研發(fā)的投入 推動5G技術(shù)創(chuàng)新
- 途虎養(yǎng)車與德國馬牌簽署戰(zhàn)略合作協(xié)議
最近更新
- 《開放加速規(guī)范AI服務(wù)器設(shè)計指南》發(fā)布
- 長三乙火箭成功發(fā)射陸地探測四號01星
- 專家解讀臺風(fēng)“卡努”:影響東北分“三步走”
- 讓老年患者看得清藥品說明書,這些好法子開始試點
- 北京房山區(qū)82處水毀點位臨時修復(fù)完成
- 地鐵5號線信號系統(tǒng)換上“中國芯”
- 安徽“雙創(chuàng)匯”交出亮眼“成績單”
- 鄧亞萍兒子奪乒乓冠軍!17歲身高1米8壯如牛,卻更喜歡玩電競游戲
- 以數(shù)字檢察戰(zhàn)略賦能法律監(jiān)督提質(zhì)增效
- 美軍警告:遠離伊朗領(lǐng)海!什么情況?7800億資管巨頭大動作
- 2次空籃不中+對抗走步!周琦難當(dāng)男籃領(lǐng)袖 姚明歸化李凱爾有原因
- 喬帥死亡五大定勝局!楊毅直呼“他高啊” 杜鋒李楠三后衛(wèi)終作古
- 水果撈女老板道歉,罵人女讀手稿似僵尸,人的丑陋刻在骨子里!
- 保安公司歸還軍人榮譽
- 基本功還要練??!中國罰球27中17 命中率僅62%
- 奧巴馬倆女兒越長越偏,小女兒體重失控變阿姨,長女發(fā)包比臉還大
- 今年穿“短上衣+開叉裙”,氣質(zhì)優(yōu)雅顯腿長,性感又高級
- 中國男籃險勝!多人被打成業(yè)余選手,遭球迷吐槽,低級失誤很無語
- 消息稱《女神異聞錄6》首發(fā)登陸Xbox
- 發(fā)芽小麥去哪兒了
- 可可期貨飆漲!這些知名巧克力品牌要漲價?
- 券商二季度新進重倉39只個股 電子、電力行業(yè)獲青睞
- 華大教授:生物物理化學(xué)與活細胞
- 洪澇災(zāi)害后,如何做好個人住宅的環(huán)境衛(wèi)生清理與消毒? | 科普時間
- 大動作!新疆生產(chǎn)建設(shè)兵團出手
- 社保基金投資路線浮現(xiàn) 二季度新進6股增持21股
- WNBA中國女籃雙核遇冷:李夢僅3分全隊最低 韓旭歸隊仍未被激活
- 車評頭條:新一代MBUX預(yù)覽2021年梅賽德斯奔馳S級轎車的內(nèi)飾
- 云南楚雄發(fā)生4.4級地震
- 車評頭條:顏值提升 測試東風(fēng)雪鐵龍全新C4L 1.2T