1月6日|科大訊飛在互動平台表示,科大訊飛過去幾年在受限的有限算力資源條件下,關於星火大模型訓練和推理成本效率的持續優化做了大量投入,和直接使用英偉達卡上開展的各種工程優化不同,科大訊飛選擇了更難的全國產算力路線。從2023年5月起,科大訊飛就聯合華為先後攻克了萬卡高速互聯組網、計算通信隱藏、訓練推理強交互、高吞吐推理優化以及國產算子優化等一系列難題,將通用大模型、類o1的深度推理模型等的訓練效率對標A100均從最初的30%-50%優化達到了85%-95%以上;2025年以來,科大訊飛再次攻克國產算力訓練的兩座大山,一是攻克長思維鏈強化學習訓練效率,深度推理訓練效率從對標A800的30%提升至84%以上,二是攻克MoE模型全鏈路訓練效率,MoE模型的訓練效率從今年3月對標A800的30%提高到93%,實現國產算力平台上在該領域從0到1的重大突破。隨着國產算力在底層能力上進一步提升,訊飛星火的訓練成本還有較大的下降空間。
新聞來源 (不包括新聞圖片): 格隆匯