小紅書開源首個大模型 預訓練未使用合成數據

【小紅書開源首個大模型 預訓練未使用合成數據】《科創板日報》10日訊，小紅書開源了首個大模型dots.llm1，小紅書方面告訴《科創板日報》，dots.llm1是一個1420億參數的混合專家模型（MoE），在推理過程中僅激活140億參數，能保持高性能的同時大幅度降低訓練和推理成本。此外，dots.llm1.ins在預訓練階段使用了11.2萬億的非合成數據，最終性能與阿里Qwen3-32b相比，在中英文、數學、對齊任務上表現接近。（記者 張洋洋）