欧美精品一区二区三区_孕妇孕妇aaaaa级真人片视频_在线观看亚洲免费视频_日本亚州视频在线八a

當(dāng)前位置: 蘇州資訊網(wǎng) >熱點 >

昆侖萬維宣布開源2千億稀疏大模型Skywork-MoE

時間:2024-06-03 21:42   閱讀量:19065   

6月3日,昆侖萬維宣布開源2千億稀疏大模型Skywork-MoE,性能強勁,同時推理成本更低。Skywork-MoE基于之前昆侖萬維開源的Skywork-13B模型中間checkpoint擴(kuò)展而來,是首個完整將MoE Upcycling技術(shù)應(yīng)用并落地的開源千億MoE大模型,也是首個支持用單臺4090服務(wù)器推理的開源千億MoE大模型。

開源地址

Skywork-MoE的模型權(quán)重、技術(shù)報告完全開源,免費商用,無需申請。

模型架構(gòu)

本次開源的Skywork-MoE模型隸屬于天工3.0的研發(fā)模型系列,是其中的中檔大小模型,模型的總參數(shù)量為146B,激活參數(shù)量22B,共有16個Expert,每個Expert大小為13B,每次激活其中的2個Expert。

模型能力

昆侖萬維基于目前各大主流模型評測榜單評測了Skywork-MoE,在相同的激活參數(shù)量20B下,Skywork-MoE能力在行業(yè)前列,接近70B的Dense模型,使得模型的推理成本有近3倍的下降。同時Skywork-MoE的總參數(shù)大小比DeepSeekV2的總參數(shù)大小要小1/3,用更小的參數(shù)規(guī)模做到了相近的能力。

技術(shù)創(chuàng)新

為了解決MoE模型訓(xùn)練困難,泛化性能差的問題,相較于Mixtral-MoE, Skywork-MoE設(shè)計了兩種訓(xùn)練優(yōu)化算法:

1.Gating Logits歸一化操作

昆侖萬維在Gating Layer的token分發(fā)邏輯處新增了一個normalization操作,使得Gating Layer的參數(shù)學(xué)習(xí)更加趨向于被選中的top-2 experts,增加MoE模型對于top-2的置信度:

2.自適應(yīng)的 Aux Loss

有別于傳統(tǒng)的固定系數(shù)的aux loss,昆侖萬維在MoE訓(xùn)練的不同階段讓模型自適應(yīng)的選擇合適的aux loss超參系數(shù),從而讓Drop Token Rate保持在合適的區(qū)間內(nèi),既能做到expert分發(fā)的平衡,又能讓expert學(xué)習(xí)具備差異化,從而提升模型整體的性能和泛化水平。在MoE訓(xùn)練的前期,由于參數(shù)學(xué)習(xí)不到位,導(dǎo)致Drop Token Rate太高(token分布差異太大),此時需要較大的aux loss幫助token load balance;在MoE訓(xùn)練的后期,昆侖萬維希望Expert之間仍保證一定的區(qū)分度,避免 Gating傾向為隨機(jī)分發(fā)Token,因此需要較低的aux loss降低糾偏。

訓(xùn)練Infra

如何對MoE模型高效的進(jìn)行大規(guī)模分布式訓(xùn)練是一個有難度的挑戰(zhàn),目前社區(qū)還沒有一個最佳實踐。Skywork-MoE提出了兩個重要的并行優(yōu)化設(shè)計,從而在千卡集群上實現(xiàn)了MFU 38%的訓(xùn)練吞吐,其中MFU以22B的激活參數(shù)計算理論計算量。

1.Expert Data Parallel

區(qū)別于Megatron-LM社區(qū)已有的EP和ETP(Expert Tensor Parallel)設(shè)計,昆侖萬維提出了一種稱之為Expert Data Parallel的并行設(shè)計方案,這種并行方案可以在Expert數(shù)量較小時仍能高效的切分模型,對Expert引入的 all2all通信也可以最大程度的優(yōu)化和掩蓋。相較于EP對GPU數(shù)量的限制和ETP在千卡集群上的低效, EDP可以較好的解決大規(guī)模分布式訓(xùn)練MoE的并行痛點,同時EDP的設(shè)計簡單、魯棒、易擴(kuò)展,可以較快的實現(xiàn)和驗證。

2.非均勻切分流水并行

由于first stage的Embedding計算和last stage的Loss計算,以及Pipeline Buffer的存在,流水并行下均勻切分Layer時的各stage計算負(fù)載和顯存負(fù)載均有較明顯的不均衡情況。昆侖萬維提出了非均勻的流水并行切分和重計算Layer分配方式,使得總體的計算/顯存負(fù)載更均衡,約有10%左右的端到端訓(xùn)練吞吐提升。

MoE Know-how

此外,Skywork-MoE還通過一系列基于Scaling Laws的實驗,探究哪些約束會影響Upcycling和From Scratch訓(xùn)練MoE模型的好壞。

一個可以遵循的經(jīng)驗規(guī)則是:如果訓(xùn)練MoE模型的FLOPs是訓(xùn)練Dense模型的2倍以上,那么選擇from Scratch訓(xùn)練MoE會更好,否則的話,選擇Upcycling訓(xùn)練MoE 可以明顯減少訓(xùn)練成本。

4090推理

Skywork-MoE是目前能在8x4090服務(wù)器上推理的最大的開源MoE模型。8x4090服務(wù)器一共有192GB的GPU顯存,在FP8量化下,使用昆侖萬維首創(chuàng)的非均勻Tensor Parallel并行推理方式,Skywork-MoE可以在合適的batch size 內(nèi)達(dá)到2200 tokens/s的吞吐。

昆侖萬維希望本次開源的Skywork-MoE模型、技術(shù)報告和相關(guān)的實驗結(jié)果可以給開源社區(qū)貢獻(xiàn)更多的MoE訓(xùn)練經(jīng)驗和Know-how,包括模型結(jié)構(gòu)、超參選擇、訓(xùn)練技巧、訓(xùn)練推理加速等各方面,探索用更低的訓(xùn)練推理成本訓(xùn)更大更強的模型,在通往AGI的道路上貢獻(xiàn)一點力量。

來源: 中新網(wǎng) 編輯: 文輝

鄭重聲明:此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊,目的在于傳播更多信息,與本站立場無關(guān)。僅供讀者參考,并請自行核實相關(guān)內(nèi)容。

  • 蘇州
  • 江蘇
  • 財經(jīng)
  • 資訊
  • 旅游
  • 文化
周莊 今晚亮燈“燈”你,共度佳節(jié)
周莊 今晚亮燈“燈”你,共度佳節(jié)
第十四屆全國運動會開幕 目前已決出多枚金牌
第十四屆全國運動會開幕 目前已決
億聯(lián)銀行同業(yè)交流會開幕,全國各地近66家金融機(jī)構(gòu)125名代表出席會議
億聯(lián)銀行同業(yè)交流會開幕,全國各地
【傳承民族經(jīng)典 弘揚中華武術(shù)】蘇州市青少年武術(shù)錦標(biāo)賽開賽
【傳承民族經(jīng)典 弘揚中華武術(shù)】蘇
“鷺島”為家:蒼鷺的東北安家之旅
“鷺島”為家:蒼鷺的東北安家之旅
國家大劇院周末音樂會迎來600場
國家大劇院周末音樂會迎來600場