小紅書首次開源文本大模型dots.llm1

6月10日，據小紅書技術團隊消息，小紅書hi lab（Humane Intelligence Lab，人文智能實驗室）團隊首次開源文本大模型 dots.llm1。據介紹，dots.llm1是一個大規模的Mixture of Experts（MoE）語言模型，在總共1420億參數中激活140億參數，dots.llm1在訓練11.2T token高質量數據後，達到了可與Qwen2.5-72B相媲美的性能。