
(圖說:以 AIME 25 為例,Ling-1T 拓展了推理準確率和平均推理長度的帕累托前沿)
據(jù)螞蟻百靈團隊透露,Ling-1T沿用Ling 2.0架構,在20T+ tokens高質量、高推理濃度的語料上完成預訓練,支持最高128K上下文窗口,通過“中訓練+后訓練”的演進式思維鏈(Evo-CoT)極大地提升了模型的高效思考和精準推理能力。
值得一提的是,Ling-1T 全程采用 FP8 混合精度訓練(部分技術已開源),是目前已知規(guī)模最大的使用 FP8 訓練的基座模型。這一設計為訓練帶來了顯著的顯存節(jié)省、更靈活的并行切分策略和 15%+ 的端到端加速。
在強化學習階段,螞蟻百靈團隊創(chuàng)新性地提出了LPO方法(Linguistics-Unit Policy Optimization,LingPO) ,這是一種以“句子”為粒度的策略優(yōu)化算法,為萬億參數(shù)模型的穩(wěn)定訓練提供了關鍵支持。這種方法既避免了詞元級別的破碎感,也克服了序列級別的籠統(tǒng)性,使得獎勵信號與模型行為在語義層面實現(xiàn)了更精準的對齊。
另外,螞蟻百靈團隊提出了“語法-功能-美學”的混合獎勵機制,在確保代碼正確、功能完善的同時持續(xù)提升這個萬億基座對視覺美學的認知。在ArtifactsBench前端能力基準上,Ling-1T得分59.31,在可視化和前端開發(fā)任務領域,僅次于Gemini-2.5-Pro-lowthink的得分60.28,以顯著優(yōu)勢位居開源模型榜首。

(圖說:ArtifactsBench 前端能力基準測試上,Ling-1T位居開源模型榜首)
據(jù)了解,除了Ling-1T這款非思考模型,螞蟻百靈團隊還在訓練萬億參數(shù)級的深度思考大模型Ring-1T,已在9月30日開源了preview版。目前,開發(fā)者通過Hugging Face和螞蟻百寶箱等平臺都可以體驗Ling-1T模型。
]]>