盤古團隊迴應抄襲指控:並非基於其他模型訓練,已標註開源代碼版權聲明

7月5日下午消息,盤古Pro MoE技術開發團隊今天發佈聲明,表示注意到近期開源社區及網絡平臺關於盤古大模型開源代碼的討論。盤古Pro MoE開源模型是基於昇騰硬件平臺開發、訓練的基礎大模型,並非基於其他廠商模型增量訓練而來,在架構設計、技術特性等方面做了關鍵創新,是全球首個面向昇騰硬件平臺設計的同規格混合專家模型,創新性地提出了分組混合專家模型(MoGE)架構,有效解決了大規模分佈式訓練的負載均衡難題,提升訓練效率。

聲明稱,盤古Pro MoE開源模型部分基礎組件的代碼實現參考了業界開源實踐,涉及其他開源大模型的部分開源代碼,嚴格遵循開源許可證的要求,在開源代碼文件中清晰標註開源代碼的版權聲明。

近日,一項發佈於GitHub的研究引發業界熱議,該研究的作者認爲,華爲推出的盤古大模型(Pangu Pro MoE)與阿里巴巴發佈的通義千問Qwen-2.5 14B模型在參數結構上存在“驚人一致”。該作者通過實證比較,發現Pangu Pro MoE模型與Qwen-2.5 14B模型在注意力參數分佈上的平均相關性高達0.927,遠超其他模型對比的正常範圍。網友們認爲,這可能意味着Pangu Pro MoE存在抄襲。

據悉,盤古大模型團隊在GitHub中進行了迴應,否認抄襲指控,並且認爲該作者的評估方法不科學。

轉自:新浪科技