世界熱訊:MosaicML 推出 300 億參數(shù)模型,訓(xùn)練成本 70 萬(wàn)
(資料圖)
AI 創(chuàng)業(yè)公司 MosaicML 近日發(fā)布了其語(yǔ)言模型 MPT-30B,單從參數(shù)來(lái)看,這個(gè)模型具有 300 億參數(shù),放在如今動(dòng)則上千億參數(shù)的模型領(lǐng)域中并沒有什么突出的地方。但這個(gè)新模型的訓(xùn)練成本卻只有其他模型的零頭,有望擴(kuò)大模型在更廣泛領(lǐng)域的運(yùn)用。
MosaicML 的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Naveen Rao 表示,MPT-30B 的訓(xùn)練成本為 70 萬(wàn)美元,遠(yuǎn)低于訓(xùn)練 GPT-3 所需的數(shù)千萬(wàn)美元。此外,MPT-30B 模型的質(zhì)量超過(guò)了 OpenAI 在 2020 年發(fā)布的初版 GPT-3。由于 MPT-30B 的成本較低,體積較小,它也可以更快速地被訓(xùn)練,并部署在本地硬件設(shè)備上。
MosaicML 使用了 Alibi 和 FlashAttention 技術(shù)來(lái)優(yōu)化模型,可以實(shí)現(xiàn)更長(zhǎng)的文本長(zhǎng)度和對(duì) GPU 計(jì)算的高利用率。MosaicML 也是少數(shù)幾個(gè)能夠使用 Nvidia H100 GPU 的實(shí)驗(yàn)室,相比以往,這使得每 GPU 的吞吐量增加了 2.4 倍以上,帶來(lái)更快的完成時(shí)間。
300 億參數(shù)這是一個(gè)在大模型領(lǐng)域經(jīng)常看到的數(shù)字,300 億參數(shù)為什么這么特殊呢?MosaicML 首席科學(xué)家 Frankle 則解釋道,首先 300 億參數(shù)能夠確保它可以在本地硬件上輕松運(yùn)行,同時(shí)保持質(zhì)量與 GPT-3 差不多或略優(yōu)于它。
其次任何超過(guò) 300 億參數(shù)限制的模型都需要將模型分解成多個(gè)平行段,通常也需要更加昂貴的多 GPU 設(shè)置。
除了讓 AI 技術(shù)更容易獲得之外,MosaicML 還專注于提高數(shù)據(jù)質(zhì)量,以提高模型性能。他們目前正在開發(fā)工具,幫助用戶在預(yù)訓(xùn)練過(guò)程中分層加入特定領(lǐng)域的數(shù)據(jù)。這確保了多樣化和高質(zhì)量的數(shù)據(jù)組合。將模型擴(kuò)展到 300 億參數(shù)只是 MosaicML 的第一步,接下來(lái)他們將以降低成本為前提,推出更大的、更高質(zhì)量的模型。
開發(fā)者可以從 Hugging Face 下載并使用開源的 MPT-30B 基礎(chǔ)模型,開發(fā)者還可以在自己的硬件上用自己的數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)。
關(guān)鍵詞:
您可能也感興趣:
今日熱點(diǎn)
為您推薦
2023年黑龍江省高考錄取控制分?jǐn)?shù)線劃定|今日最新
快消息!感冒喝蜂蜜水有用不_感冒喝蜂蜜水有用
世界速遞!福建2023年高考成績(jī)下午可查 錄取控制線傍晚或發(fā)布
更多
- 重要提醒!事關(guān)余杭家家戶戶!|視訊
- 【全球熱聞】神似科比!克里斯蒂曬出訓(xùn)練照:夏日訓(xùn)練 嚴(yán)格對(duì)待
- 創(chuàng)業(yè)板健康概念股名單_創(chuàng)業(yè)板健康概念股一覽(6/21)-世界熱資...
- 全球熱點(diǎn)評(píng)!商洛市商務(wù)局與商洛市飯店協(xié)會(huì)發(fā)出倡議:加強(qiáng)燃...
- 端午假期交通部門加強(qiáng)多種出行方式聯(lián)動(dòng)_觀速訊
- 突發(fā)!“瓦格納首領(lǐng)號(hào)召叛亂” “部隊(duì)進(jìn)入俄南部” 全球新資訊
- 每日速看!太原人!高溫“炙烤”,注意防暑降溫~
- 各地高考成績(jī)今天起陸續(xù)公布,認(rèn)準(zhǔn)3072所高校名單
更多
- 會(huì)用五筆的人是不是很厲害? 現(xiàn)在還用五筆打字的,究竟是些什...
- “中國(guó)天眼”發(fā)現(xiàn)迄今軌道周期最短脈沖星雙星系統(tǒng)
- 全球視訊!h8和h9的油耗_哈佛h8和h9哪個(gè)好看哪個(gè)油耗高
- 數(shù)字文明尼山對(duì)話預(yù)熱宣傳片《過(guò)去未去,未來(lái)已來(lái)》發(fā)布
- 高峰每分鐘超10萬(wàn)人同時(shí)叫車,滴滴發(fā)布端午打車出行數(shù)據(jù) 環(huán)...
- 環(huán)球今日訊!什么烏龜(養(yǎng)什么烏龜比較好?)
- 運(yùn)河水系發(fā)生今年第1號(hào)洪水|微資訊
- 十證齊發(fā)!武漢蔡甸重點(diǎn)項(xiàng)目“承諾即開工”獲企業(yè)力贊
排行
- 每日熱議!讓趙麗穎陪跑,51歲的吳越卻是影視圈不一樣的煙火 ...
- 碧桂園400億元房地產(chǎn)ABS亮眼
- 北京“3·17”調(diào)控一周年 樓市成交全面萎縮
- 荷蘭農(nóng)場(chǎng)再度暴發(fā)禽流感疫情撲殺逾3萬(wàn)只家禽
- 北京二手房掛牌價(jià)再下降交易量有望“穩(wěn)中有升”
- 云南一村民誤把黑熊當(dāng)狗養(yǎng)
- 中國(guó)海外地產(chǎn)投資逾2500億元 近半買歐洲物業(yè)資產(chǎn)
- 央視主播胡悅鑫:"最帥實(shí)習(xí)生"十年磨一劍褪去青澀
- 華裔女孩為阿爾茨海默癥患者開發(fā)APP
- 廣州向全國(guó)名師發(fā)出“英雄帖”
最近更新
- 世界熱訊:MosaicML 推出 300 億參數(shù)模型,訓(xùn)練成本 70 萬(wàn)
- 日本強(qiáng)推核污染水排海 日本民眾:不應(yīng)做危害子孫后代的事|焦...
- 今頭條!合同因清償而終止的情形有哪些
- 頭條焦點(diǎn):“蒙哥馬利”為啥會(huì)被蘇軍解救?
- 房屋拆遷合同樣本
- 天天實(shí)時(shí):黨建引領(lǐng)促共建 端午“粽”情暖民心
- 安全生產(chǎn)許可證查詢系統(tǒng)專區(qū) 安全生產(chǎn)許可證查詢系統(tǒng) 世界微資訊
- 合伙人利潤(rùn)分配計(jì)算公式 合伙人利潤(rùn)分配方案|環(huán)球今頭條
- 漢陽(yáng):漢水公園荷花開滿塘
- 天天關(guān)注:宋白釉蓮口弦紋六管瓶
- 哈爾濱人才補(bǔ)貼_哈爾濱人才 環(huán)球熱文
- 宋白釉瓷碗 全球速讀
- 每日熱議!讓趙麗穎陪跑,51歲的吳越卻是影視圈不一樣的煙火 ...
- 環(huán)球熱議:天天精選!如何辦理手機(jī)電子證據(jù)保全公證
- 肺結(jié)核解除勞動(dòng)合同可不可以?
- 【世界快播報(bào)】安徽農(nóng)業(yè)大學(xué)貼吧2018_安徽農(nóng)業(yè)大學(xué)貼吧
- 世界快資訊丨10省區(qū)市將現(xiàn)大到暴雨 上海廣東等地局部有大暴雨
- Meta將在加拿大終止提供新聞服務(wù)|焦點(diǎn)速讀
- 今日熱門!駕駛證a2幾年年審一次
- 全球資訊:女子到賓館匆匆開房浙江老板娘報(bào)警 聽到里面?zhèn)鞒?..
- 全球消息!杰特-霍華德:最期待和喬治交手 我看他的比賽&偷...
- 環(huán)球微速訊:國(guó)服關(guān)停5個(gè)月 暴雪禁止國(guó)內(nèi)玩家參與暗黑4活動(dòng)
- 0糖0脂0卡:旭日森林無(wú)糖烏龍茶2.33元/瓶官方狂促
- 巴媒列有資格參加2025世俱杯的32支球隊(duì):曼城、皇馬、切爾西...
- 機(jī)構(gòu)不看好?多只債基凈值創(chuàng)新高后遭大額贖回 如何應(yīng)對(duì)?-熱點(diǎn)評(píng)
- 全球播報(bào):俄羅斯首都莫斯科已加強(qiáng)安全措施
- 金針菇怎么保存? 金針菇放10天還能吃么?怎么看金針菇是不...
- 古老運(yùn)動(dòng)“火出圈” 龍舟也有“冷知識(shí)”-世界快消息
- 世界快資訊:保護(hù)知識(shí)產(chǎn)權(quán)激發(fā)創(chuàng)新活力
- 滴滴:端午休閑娛樂訂單較節(jié)前增長(zhǎng)80%
今日要聞
- 世界熱頭條丨成熟的標(biāo)志是什么 世界快看
- 重要提醒!事關(guān)余杭家家戶戶!|視訊
- 房屋拆遷合同樣本
- 燃?xì)忾y門怎樣操作,你都了解嗎?請(qǐng)收藏轉(zhuǎn)發(fā)!|資訊
- 世界訊息:英特爾停產(chǎn)16GB顯存的Arc A770 Limited Edition,合作伙伴仍會(huì)提供同類產(chǎn)品
- 世界快資訊:保護(hù)知識(shí)產(chǎn)權(quán)激發(fā)創(chuàng)新活力
- 頭條焦點(diǎn):“蒙哥馬利”為啥會(huì)被蘇軍解救?
- 鼓勵(lì)通過(guò)互聯(lián)網(wǎng)開具長(zhǎng)期處方,用可穿戴設(shè)備對(duì)患者開展遠(yuǎn)程監(jiān)測(cè)-資訊
- 每日訊息!僅4人踢遍五大聯(lián)賽:拉杜喬尤&鮑爾森&約維蒂奇&小克魯伊維特
- 瞿穎 我不想讓自己翻紅|今日熱聞